법무팀 과장이 챗GPT랑 3개월 싸우고 깨달은 프롬프트 엔지니어링 기초 2026년판

솔직히 말해서 작년 초까지만 해도 저는 챗GPT 같은 인공지능이 저랑은 상관없는 얘기인 줄 알았어요. 법무팀에서 계약서 검토하고 건설 현장 공문이나 뒤적거리는 40대 아재가 무슨 대단한 테크 기술을 배우겠나 싶었거든요. 근데 회사 분위기가 이상하게 돌아가더라고요. 신입 사원 녀석들이 보고서를 뚝딱 써오는 걸 보고 "이거 뭐지?" 싶었는데, 알고 보니 다들 AI를 끼고 살더군요. 저도 지기 싫어서 호기롭게 챗GPT 유료 결제부터 하고 질문을 던져봤는데, 결과는 처참했어요. 질문 하나 던지면 무슨 백과사전 읊는 소리만 하고, 제가 원하는 실무적인 답변은 하나도 안 나오더라고요. 진짜 돈 아깝다는 생각만 들었죠.

근데 이게 알고 보니 챗GPT가 바보인 게 아니라, 제가 질문을 개떡같이 했던 거였어요. 프롬프트 엔지니어링 기초라는 걸 접하고 나서야 깨달았죠. "계약서 법적 검토해줘"라고만 하면 AI는 그냥 일반적인 얘기만 할 뿐이거든요. 제가 건설 현장에서 겪는 특수한 상황이나 법적인 맥락을 전혀 모르니까요. 마치 신입 사원한테 "가서 일 좀 해와"라고 말하는 거랑 똑같은 짓을 하고 있었던 거예요. 그 삽질을 한 달 넘게 하다가 제대로 된 공부를 시작했는데, 이게 생각보다 어렵지 않더라고요. 수학 공식처럼 정해진 틀이 있다는 걸 알게 된 후로는 제 업무 효율이 진짜 3배는 올라간 것 같아요.

처음엔 챗GPT가 바보인 줄로만 알았던 저의 뼈아픈 실패담

처음엔 진짜 단순하게 물어봤어요. "공기 연장 공문 좀 써줘"라고요. 그랬더니 정말 초등학생이 쓴 것 같은 수준의 편지가 나오더라고요. "공사가 늦어져서 죄송합니다. 좀 봐주세요." 이런 느낌이랄까요? 건설업계에서 이런 공문 보냈다가는 바로 지체상금 폭탄 맞거든요. 그때 느꼈죠. 아, 내가 지금 얘를 너무 과대평가했거나, 아니면 내가 사용하는 방법이 완전히 틀렸구나 싶더라고요. 사실 이건 챗GPT뿐만 아니라 클로드나 제미나이 같은 다른 AI들도 마찬가지였어요.

그때부터 인터넷 강의도 찾아보고 관련 서적도 몇 권 읽어봤는데, 공통적으로 하는 말이 있더라고요. 바로 '구체성'이었어요. 저는 그냥 결과물만 바랐지, 이 결과물이 나오기까지의 과정이나 제약 조건을 하나도 안 줬던 거죠. 예를 들어, 어떤 법 규정을 근거로 해야 하는지, 수신자가 발주처인지 감리단인지, 그리고 말투는 얼마나 정중해야 하는지 같은 것들 말이에요. 이런 것들을 하나도 안 가르쳐주고 좋은 글이 나오길 바란 제가 도둑놈 심보였다는 걸 나중에야 알았습니다.

더 웃긴 건, 제가 답답해서 "왜 이렇게밖에 못 써?"라고 AI한테 화를 내기도 했다는 거예요. 지금 생각하면 정말 이불 킥 할 일이죠. AI는 제가 준 데이터 안에서만 움직이는데, 제가 준 데이터가 '공기 연장'이라는 단어 두 개뿐이었으니 당연한 결과였는데 말이죠. 2026년인 지금은 프롬프트 잘 짜는 게 직장인들의 필수 생존 전략이 됐지만, 그 당시의 저는 정말 아무것도 모르는 까막눈이나 다름없었네요.

프롬프트 엔지니어링 기초, 이것만 알아도 절반은 먹고 들어갑니다

공부를 좀 해보니 프롬프트라는 게 결국 '명령어의 조합'이더라고요. 그런데 그냥 막 던지는 게 아니라 구조가 있어요. 저는 이걸 '역할, 배경, 임무, 형식'이라는 네 가지 기둥으로 정리했어요. 프롬프트 엔지니어링 기초에서 가장 중요한 건 AI에게 '가면'을 씌워주는 거예요. 너는 지금부터 20년 경력의 베테랑 건설 전문 변호사야, 혹은 너는 깐깐하기로 소문난 품질 관리 팀장이야, 이런 식으로 역할을 정해주는 거죠.

이게 왜 중요하냐면, 역할에 따라 AI가 사용하는 단어의 톤과 매너가 완전히 달라지거든요. 법무팀 과장인 제 입장에선 "법적인 근거를 명확히 하되, 상대방의 기분을 상하게 하지 않는 정중한 비즈니스 말투"가 필요했는데, 페르소나(역할)를 설정하니까 귀신같이 알아듣더라고요. 그다음에는 구체적인 배경 지식을 줍니다. "지금 장마 때문에 공기가 20일 밀렸고, 이건 천재지변에 해당해" 같은 정보를 넣어주는 거죠.

사실 많은 분이 실수하는 게, 질문을 너무 짧게 한다는 거예요. 질문은 길수록 좋아요. 아니, 길다기보다는 상세할수록 좋습니다. 저는 요즘 프롬프트 하나 짤 때 거의 A4 용지 반 페이지 분량의 조건을 넣기도 해요. 그러면 AI가 헛소리할 확률이 확 줄어들거든요. "대충 알아서 해줘"가 아니라 "이건 이렇게, 저건 저렇게, 대신 이건 빼고" 식으로 아주 깐깐한 상사가 되어야 합니다.

꿀팁: 프롬프트 구성의 4단계 공식

1. 페르소나 설정: "너는 OO 전문가야."
2. 컨텍스트 제공: "지금 상황은 이렇고, 대상은 누구야."
3. 명확한 지시: "무엇을 분석해서 어떤 결과물을 만들어줘."
4. 제약 조건 및 형식: "표 형태로 만들어줘, 혹은 3줄 요약해줘."

페르소나 설정이 진짜 업무 퀄리티를 바꿨어요

제가 가장 크게 효과를 본 게 바로 이 페르소나 설정이에요. 예전에는 그냥 "계약서 특약 조항 좀 검토해줘"라고 했다면, 이제는 "너는 대형 건설사 법무팀에서 15년 동안 클레임 대응만 전문으로 한 수석 변호사야. 이번에 하도급 업체와 맺는 계약서에서 우리 회사에 독소 조항이 될 만한 걸 5개만 찾아내고, 수정 안을 제시해줘."라고 말해요. 이렇게 하면 답변의 깊이 자체가 달라지더라고요.

건설 현장 공문 쓸 때 써먹은 3가지 실전 테크닉

실무에서 바로 써먹을 수 있는 팁을 좀 드려볼게요. 제가 건설업에 있다 보니 공문 쓸 일이 진짜 많거든요. 근데 이게 참 귀찮은 작업이에요. 법적 근거 찾아야지, 날짜 맞춰야지, 말투 골라야지... 이때 제가 쓰는 첫 번째 방법은 'Few-shot 프롬프팅'이라는 거예요. 용어가 좀 어려운데, 쉽게 말해서 "예시를 주는 거"예요. "내가 예전에 썼던 잘 된 공문 예시 하나 줄게, 이거랑 비슷한 느낌으로 이번 건도 써줘"라고 하는 거죠.

두 번째는 '단계별로 생각하기'입니다. 한 번에 완벽한 공문을 뽑으려고 하지 마세요. 먼저 개요부터 짜달라고 하고, 그 개요가 맘에 들면 내용을 채우라고 시키는 거죠. "일단 공기 연장의 정당성을 주장할 수 있는 논리 3가지만 먼저 뽑아봐"라고 시킨 뒤에, 그 논리가 괜찮으면 "자, 그럼 이제 1번 논리를 바탕으로 구체적인 문장을 작성해줘"라고 이어가는 식이에요. 이렇게 하면 AI가 중간에 딴길로 새는 걸 막을 수 있어요.

마지막 세 번째는 '비판적 검토'를 시키는 거예요. 다 쓴 글을 보고 "자, 이제 네가 발주처 담당자라고 생각하고 이 공문의 약점을 찾아봐. 그리고 그 약점을 보완하려면 어떻게 수정해야 할지 알려줘"라고 말해보세요. 그러면 생각지도 못한 빈틈을 찾아내 주더라고요. 이건 진짜 소름 돋는 포인트였어요. 제가 미처 생각 못한 지체상금 관련 조항을 언급하면서 "이 문구는 나중에 불리하게 작용할 수 있으니 삭제하는 게 좋겠습니다"라고 조언해주는데, 와... 진짜 동료 한 명 있는 기분이었다니까요.

• 예시 제공(Few-shot): 이전의 성공 사례를 복사해서 붙여넣고 참고하라고 지시하기
• 단계별 지시(Chain of Thought): 한꺼번에 시키지 말고 목차부터 본문까지 차근차근 진행하기
• 역할 반전 검토: 작성된 결과물을 반대 입장에서 비판해보라고 시키기

실패하지 않는 질문법, '맥락'을 넣느냐 안 넣느냐의 차이

사실 프롬프트 엔지니어링 기초의 핵심은 결국 '맥락(Context)'입니다. 저는 이걸 '정보의 온도를 맞추는 작업'이라고 불러요. AI는 차가운 기계잖아요? 제가 처한 상황의 온도를 얘한테 전달해줘야 해요. "지금 현장 분위기가 너무 안 좋아, 이번에 이거 통과 안 되면 큰일 나"라는 감정적인 맥락이 아니라, "현재 공정률은 70%이고, 예산은 이미 90% 소진된 상태에서 추가 비용 발생이 예상되는 긴박한 상황이야"라는 데이터 기반의 맥락을 줘야 한다는 거죠.

예를 들어 계약서 검토를 할 때도 단순히 조항을 복사해서 붙여넣는 게 아니라, "우리 회사는 이번 계약에서 리스크를 최소화하는 게 목적이고, 특히 지체상금 요율이 0.03%를 넘지 않게 협상하려고 해. 이 관점에서 독소 조항을 봐줘"라고 명확한 가이드라인을 줘야 합니다. 이렇게 맥락을 꽉 채워주면 답변이 훨씬 날카로워져요. 예전에는 뜬구름 잡는 소리만 하던 녀석이 갑자기 유능한 대리급 사원으로 변신하는 순간이죠.

솔직히 처음엔 이런 거 다 적어주는 게 더 귀찮게 느껴질 수도 있어요. "아니, 내가 이거 다 적을 시간이면 그냥 내가 쓰고 말지!"라는 생각이 절로 들거든요. 저도 그랬으니까요. 근데 딱 한 번만 제대로 된 프롬프트를 만들어두면, 그다음부터는 복사해서 내용만 살짝 바꿔 쓰면 되거든요. 그 '한 번의 고생'이 앞으로의 한 달, 일 년을 편하게 해준다는 걸 잊지 마세요.

주의사항: 개인정보와 기밀 데이터

프롬프트를 짤 때 너무 신나서 현장의 구체적인 실명이나 금액, 계약 상대방의 정보 같은 민감한 데이터는 그대로 넣지 마세요. 저는 'A사', 'B현장' 이런 식으로 익명화해서 물어보고 결과물이 나오면 제가 직접 실명으로 수정합니다. 2026년에도 보안은 여전히 중요한 화두니까요.

제약 조건을 걸어주는 게 핵심이었어요

프롬프트 마지막에 꼭 넣어주는 게 있어요. 바로 '출력 형식'과 '금지 사항'이에요. "답변은 반드시 개조식으로 써줘", "전문 용어는 되도록 풀어서 설명해줘", "답변 길이는 500자 이내로 제한해줘" 같은 식이죠. 특히 법무 문서는 말이 길어지면 꼬이기 마련이라, 저는 항상 "간결하고 명확한 문장을 사용해"라는 제약 조건을 꼭 넣습니다. 이렇게 하면 가독성이 훨씬 좋아진 결과물을 얻을 수 있더라고요.

2026년에도 여전히 유효한 나만의 프롬프트 공식

벌써 AI를 업무에 도입한 지 꽤 시간이 흘렀네요. 처음엔 정말 막막하고 "이게 진짜 도움이 될까?" 의심도 많았지만, 지금은 제 업무의 50% 이상을 AI와 협업하고 있어요. 프롬프트 엔지니어링 기초를 익힌 게 제 직장 생활의 터닝포인트가 된 셈이죠. 이제는 후배들이 저한테 와서 프롬프트 어떻게 짜냐고 물어보기도 해요. 40대 아재가 팀 내에서 'AI 능력자' 소리를 들으니까 솔직히 좀 기분 좋더라고요.

생각해보면 프롬프트 엔지니어링은 대단한 코딩 기술이 아니에요. 우리가 평소에 직장 동료나 부하 직원에게 업무 지시를 내리는 '커뮤니케이션 능력'이 디지털로 옮겨간 것뿐이죠. 내가 뭘 원하는지 명확히 알고, 그걸 논리적으로 설명할 줄 아는 사람이라면 누구나 잘할 수 있는 영역입니다. 오히려 현장 경험이 많고 실무 맥락을 잘 아는 우리 같은 시니어 직장인들이 더 잘할 수 있는 부분도 분명히 있어요.

세상은 정말 빠르게 변하고, AI 모델도 매달 업데이트되지만, 결국 인간이 기계에게 '의도'를 전달하는 방식은 크게 변하지 않는 것 같아요. 혹시 아직도 챗GPT한테 "이거 해줘" 한마디만 던지고 실망하고 계신가요? 오늘 제가 말씀드린 것처럼 페르소나도 씌워보고, 구체적인 상황도 설명해보세요. 정말 놀라운 답변이 돌아올 거예요. 저 같은 법무/건설맨도 해냈는데, 여러분이 못할 리가 없잖아요?

혹시 여러분은 AI를 쓰면서 가장 당황스러웠던 경험이 언제였나요? 아니면 본인만의 기막힌 프롬프트 팁이 있으신가요? 댓글로 같이 공유해보면 좋을 것 같아요. 저도 아직 배울 게 많아서 다른 분들은 어떻게 쓰고 계시는지 궁금하네요. 그럼 오늘 하루도 고생 많으셨고, 내일은 조금 더 스마트하게 일하시길 응원하겠습니다!

함께 읽으면 좋은 글

• ▸ 2026년 신차 살 때 할부 이자 계산기 안 쓰고 직접 계산해 보고 250만 원 아낀 썰
• ▸ 중도상환수수료 계산 직접 해보고 120만원 아껴서 대출 갈아타기 성공했어요
• ▸ 2026년 자동차보험 다이렉트 갱신하면서 4곳 비교하고 23만원 아낀 찐 후기