[AI 현장수업] AI가 틀렸다고 멈추지 않습니다 — ChatGPT 답변 검증 3가지: 원본대조·레드팀·블루팀
AI가 틀렸다고 멈추지 않습니다 — 그럴싸하게 계속 씁니다. 원본대조·레드팀·블루팀으로 잡아내는 법
기업이든 공공기관이든 대학이든, 강의를 다니면서 공통으로 보는 장면이 하나 있습니다. 시키는 건 다들 정말 잘하십니다. 그런데 AI가 내놓은 답에서 무엇이 맞고 무엇이 틀렸는지 확인하는 방법은 모르십니다. 문제는 AI가 틀렸다고 해서 멈추지 않는다는 데 있습니다. 틀린 채로, 아주 그럴싸한 문장을 계속 만들어 냅니다. 그대로 팀장님께 올라가고, 고객에게 나가고, 시민에게 배포됩니다. 이 글은 연구 업무가 많은 한 공공기관 특강 현장에서 다룬 검증 3종 — 원본대조 · 레드팀 · 블루팀을 그대로 정리한 것입니다. 붙여넣어 바로 쓸 문장 세 개까지 담았습니다.
▶ 먼저 영상(12분)을 보고 오시면 아래 글이 복습이자 심화가 됩니다. 강의 현장 장면이 중간에 함께 담겨 있습니다.
기차는 선로를 벗어나면 티가 납니다. AI는 안 납니다
기차가 선로를 벗어나면 큰 사고입니다. 대신 벗어난 게 곧바로 보입니다. 그런데 AI는 다릅니다.
AI는 선로를 벗어나도 너무 그럴싸하게 벗어납니다. 문장은 매끄럽고, 형식은 완벽하고, 자신감은 넘칩니다. 그래서 탈선했다는 신호 자체가 없습니다. 확인하는 사람이 없으면 그대로 목적지까지 갑니다.
그래서 빠르게 많이 시키는 능력만큼 중요한 게 우리의 원본과 기준에서 벗어났는지 확인하는 능력입니다. 잘못 나가면 예전엔 "집중 안 했나 보다"로 끝났지만, 요즘은 질문이 다릅니다 — "AI 썼어? 그런데 왜 확인을 안 했어?"
"네가 만든 것 중에 틀린 거 있어?" — 이 질문이 안 되는 이유
이 정도는 하신다는 분들이 많습니다. 결과를 받고 나서 같은 AI에게 이렇게 묻는 거죠. "네가 만든 것 중에 틀린 게 뭔지 확인해 줘."
자기가 낸 시험 문제를 자기가 채점하는 것과 같습니다. 대부분 "별 문제 없습니다"로 통과시킵니다. 모델이 좋아지면 논리적 모순 정도는 한 번 더 짚어 주겠지만, 완벽하지 않습니다. 완벽하지 않은 것을 내 직장과 내 비즈니스에 그대로 쓸 수는 없습니다.
그래서 방향을 바꿔야 합니다. "확인해 줘"가 아니라 "이 원본과 대조해", 그리고 "내 초안을 반박해"로요.
1단계 — 네 글자만 기억하세요: 원본대조
가장 먼저 할 일은 느낌으로 판단하지 않는 것입니다. "좋은데?" "싼데?"는 검증이 아닙니다. 검증은 비교할 원본을 붙여 넣는 것에서 시작합니다.
| 반드시 대조할 것 | 왜 위험한가 |
|---|---|
| 숫자 | 한 자리만 틀려도 결론이 뒤집힌다. 가장 자주, 가장 조용히 틀린다 |
| 날짜·기간 | 연도와 기간이 어긋나면 근거 전체가 무효가 된다 |
| 기관명·사람 이름 | 밖으로 나가면 수습이 안 되는 항목. 사과로 끝나지 않는다 |
| 출처 | 있어야 할 자리에 없거나, 있는데 원문에 없는 내용을 가리킨다 |
"내가 업로드한 원본과 비교해서 숫자·날짜·기간·인명·기관명·출처가 정확한지 항목별로 대조하고, 원본에서 확인되지 않는 항목은 「확인 필요」라고 표시해 줘. 원본에 없는 문장은 넣지 마."
이렇게 하면 눈으로 하나하나 찾는 것보다 빠르고, 대개 더 정확합니다.
2단계 — 원문이 말하지 않은 결론을 걸러냅니다
숫자만큼 위험한 게 원문에 없는 단정입니다. 강의 현장에서 반복해서 나오는 표현들이 있습니다.
| 이런 표현이 나오면 | 확인할 것 |
|---|---|
| "최초다" | 원문이 정말 최초라고 했는가, 아니면 AI가 붙인 수식인가 |
| "효과가 없다" | 어떤 기준으로 없다는 것인가. 연구에서는 유의수준 안에 들어갔는지에 따라 뜻이 완전히 달라진다. 전혀 없는 것과 일부만 있는 것은 다른 이야기다 |
| "무관하다" | 원문이 관계없음을 밝힌 것인가, 언급이 없었을 뿐인가 |
"원본이 없으면 쓰지 않는다. 원본을 못 찾은 숫자에는 「확인 필요」를 붙인다." 이 두 문장을 지침으로 걸어 두면, 나중에 출처를 거꾸로 찾느라 쓰는 시간이 크게 줄어듭니다.
3단계 — 레드팀: 사람이 하기 어려운 반박을 AI에게 시킵니다
여기서 생각을 한 번 뒤집습니다. 답을 받고 내가 확인하는 게 아니라, 내 초안을 넣고 반박하게 하는 것입니다. 영상에서는 이걸 레드팀이라고 소개합니다 — AI에서 나온 말이 아니라, 조직이 의사결정을 할 때 쓰던 말이라고요.
사장이 옆자리 대리에게 "내가 무슨 말을 하든 무조건 반대해"라고 시켰다고 합시다. 대리 입장에서는 부담스럽습니다. 잘릴 걱정도 되고, 애초에 사장과 같은 생각일 수도 있습니다. 그래서 사람이 맡는 반대역은 잘 작동하지 않습니다. AI는 이 자리에 아주 잘 맞습니다.
사용법은 간단합니다. "레드팀 가동해 줘" 한마디만으로도 꽤 잘 잡아 줍니다. 쭉 읽어 보시고 "1번, 3번, 4번은 맞는 말 같다. 그거 반영해서 고쳐 줘" 하시면 됩니다.
4단계 — 블루팀: 비판에서 끝내지 말고 대안까지
반박만 받으면 답답합니다. 특히 내가 처음 다뤄 보는 영역이라면 "그래서 어떻게 고치라는 거지?"에서 막힙니다. 그때가 블루팀입니다.
| 하는 일 | 이럴 때 | |
|---|---|---|
| 레드팀 | 내 초안을 반박한다 | 내 자료에 내 생각만 들어가 있는지, 사실이 맞는지 걸러야 할 때 |
| 블루팀 | 비판에 그치지 않고 대안을 제시한다 | 지적은 받았는데 어떻게 고쳐야 할지 감이 안 올 때 |
순서는 레드팀 → 골라서 반영 → 애매하면 블루팀입니다. 업무 경력과 도메인이 넓으신 분은 레드팀만으로 충분하고, 새로운 영역이면 블루팀까지 가시면 됩니다.
영상이 특별히 강조한 대목입니다. 논리적으로 따지고 새로운 걸 만들어야 하는 작업은 얕게 두면 얕은 답이 나옵니다. 레드팀·블루팀을 돌릴 때는 생각의 깊이를 높게 두세요. 반대로 단순 요약·정리는 굳이 깊게 둘 필요가 없습니다.
바로 붙여 쓰는 문장 세 개
세 개만 써 보셔도 업무 시간이 확 줄어듭니다.
| # | 붙여넣을 문장 | 무엇을 잡아내나 |
|---|---|---|
| 1 | "이 초안의 주장마다 옆에 근거를 달아 줘. 근거가 없으면 「근거 없음」이라고 써. 출처가 없는 문장은 빼고, 있는 것만 남겨." | 보고·배포 전에 반드시 필요한 출처. 나중에 거꾸로 찾는 시간이 가장 오래 걸린다 |
| 2 | "너는 이 초안을 가장 싫어하는 심사위원이야. 반대 의견을 다섯 개 써 줘. 각 의견 옆에 내가 답하려면 어떤 자료가 더 필요한지 한 줄로 적어." | 가장 보수적인 시선에서의 구멍. 레드팀을 더 구체적으로 돌리는 방법 |
| 3 | "이 초안이 틀렸을 때 가장 크게 다칠 문장 세 개만 골라 줘. 왜 그 문장인지 한 줄씩 설명해." | 위험의 우선순위. 전부는 못 봐도 이 세 줄은 반드시 확인하면 된다 |
이 검증 절차는 쓰는 도구에 지침으로 저장해 두는 게 가장 좋습니다. 매번 "검증해 줘"라고 부탁하는 대신, 기본값으로 검증이 돌게 만드는 것이죠. 도구마다 저장하는 자리 이름은 바뀌므로(프로젝트 지침·맞춤 설정 등) 지금 쓰시는 도구의 안내를 확인하시고, 위 세 문장을 그 자리에 그대로 넣어 두세요.
마지막 — 판단은 절대 넘기지 않습니다
정리하면 이렇습니다. AI에게 답을 받는 것도 중요하지만, 앞으로 더 중요한 건 받은 답을 내 상황과 내 맥락에 맞게 고치고 최종 판단을 내리는 능력입니다.
AI가 아무리 좋아져도 판정하고 판단하는 일만은 넘기면 안 됩니다. AI가 내놓은 답을 제대로 확인하지 못해 생긴 책임은 AI가 아니라 내가 집니다. 벌금도, 그 이상의 결과도 사람 몫입니다.
그러니 "이거 맞는지 한번 체크해 줘"에서 멈추지 마세요. 원본을 붙여 넣고, 반박하게 하고, 대안을 받고, 마지막 판단은 내가. 이 순서면 충분합니다.
오늘 핵심 3가지를 점검합니다. 답을 고르고 [정답 확인]을 누르면 즉시 채점됩니다.
Q1. AI에게 "네가 만든 것 중 틀린 게 있는지 확인해 줘"라고 묻는 방식의 가장 큰 문제는?
Q2. 원본대조에서 밖으로 나갔을 때 수습이 가장 어려운 항목으로 영상이 특별히 짚은 것은?
Q3. 레드팀으로 지적을 받았는데 처음 다루는 영역이라 어떻게 고쳐야 할지 막막합니다. 다음 순서는?
🎯 AI 결과물 검증 준비도 점수
해당되는 항목을 모두 클릭해 체크하세요. 마지막에 [내 점수 보기]를 누르면 등급이 나옵니다.
- AI가 틀려도 멈추지 않고 그럴싸하게 계속 쓴다는 것을 안다
- 같은 AI에게 자기 결과를 검수시키는 게 왜 모순인지 설명할 수 있다
- 검증을 시작할 때 비교할 원본부터 붙여 넣는다
- 숫자·날짜·기간·인명·기관명·출처를 항목별로 대조시킨다
- 확인되지 않은 항목에 「확인 필요」를 표시하게 지침을 준다
- "최초다·효과가 없다·무관하다" 같은 원문에 없는 단정을 걸러낸다
- 내 초안을 반박하게 하는 레드팀을, 대안이 필요할 땐 블루팀을 쓸 수 있다
- 최종 판단과 책임은 사람 몫이라는 것을 업무 규칙으로 지키고 있다
AI는 선로를 벗어나도 그럴싸하게 벗어나기 때문에 탈선 신호가 없습니다. 그래서 순서는 이렇습니다. ① 원본을 붙여 넣고 숫자·날짜·기간·인명·기관명·출처를 대조시키고, 확인 안 되는 건 「확인 필요」로 표시하게 한다. ② 원문에 없는 단정("최초다·효과가 없다·무관하다")을 걸러낸다. ③ 내 초안을 레드팀으로 반박하게 하고, 막히면 블루팀으로 대안까지 받는다. 그리고 마지막 판단은 절대 넘기지 않습니다 — 책임은 AI가 아니라 내가 지기 때문입니다.
전국 강의 현장에서 실제로 나오는 질문과 고민을 영상으로 나누고 있습니다. 유튜브 채널 구독으로 새 영상을 가장 먼저 받아보시고, AI아카데미 자료실에서 「비개발자 사고법」 시리즈 정리와 다른 무료 자료도 함께 보세요.
검증은 개인 요령으로 두면 사람마다 달라집니다. 조직의 기본값으로 만들어야 합니다. 온라인 강의로 처음부터 순서대로 익히거나, 1:1 컨설팅·강의 문의로 우리 업무 문서에 맞춘 검증 지침을 함께 만들어 보세요. 외부강사 김지백이 직접 안내합니다.
자주 묻는 질문
주간 AI 실무 레터
이 글이 도움이 됐다면, 매주 현장에서 검증한 AI 활용법·새 자료를 이메일로 받아보세요. 광고 없이, 바로 쓰는 것만.
우리 조직에 맞는 AI 교육을
설계해드립니다.
위 자료의 내용을 기반으로 맞춤형 강의 커리큘럼을 구성해드립니다. 기업·공공기관·임원 대상 프로그램 모두 가능합니다.
조회수·다운로드 카운트 등 인터랙티브 기능은 자료실 인터랙티브 페이지에서 이용하실 수 있습니다.