AI 기초2026.05.26

[6강] AI가 거짓말할 때 — 환각 구별과 팩트체크

AI 첫걸음 시리즈 · 6강

AI가 거짓말할 때 — 환각 구별과 팩트체크

AI는 가끔 없는 사실을 너무나 자신 있게 지어냅니다. 이것을 '환각(할루시네이션)'이라 합니다. 왜 그러는지, 어떤 상황에서 잘 나오는지, 그리고 3초 만에 거짓을 가려내는 습관까지 — 팩트체크 퀴즈로 직접 연습해 봅니다.

⏱ 약 8분 분량 ✍ 약 3,300자 🎯 AI 입문자 · 직장인 · 학생

핵심 한 줄 — AI는 '모른다'고 하기보다 그럴듯하게 지어내는 쪽을 택할 때가 있습니다. 특히 숫자·출처·최신 정보·고유명사·법규는 의심하고 확인하세요. AI의 답은 '초안'이지 '정답'이 아닙니다.

01

AI는 왜 자신 있게 틀릴까 — 환각의 원리

생성형 AI는 '사실을 찾아오는' 기계가 아니라 '그럴듯한 다음 말을 이어 쓰는' 기계에 가깝습니다. 방대한 글을 학습해 "이 질문에는 보통 이런 문장이 따라온다"를 예측하는 방식이라, 정답을 모를 때도 문장은 매끄럽게 완성됩니다. 그래서 틀린 내용도 아주 자신 있는 말투로 나옵니다. 이렇게 사실이 아닌 것을 사실처럼 지어내는 현상을 환각(hallucination)이라고 합니다.

김지백 강사에 따르면, 환각은 'AI가 멍청해서'가 아니라 'AI가 작동하는 방식 자체의 특성'입니다. 그래서 더 똑똑한 모델이 나와도 환각이 완전히 사라지지는 않습니다. 중요한 건 환각을 두려워해 AI를 안 쓰는 게 아니라, 환각이 잘 나오는 자리를 알고 그 부분만 확인하는 습관을 들이는 것입니다.

02

환각이 잘 나오는 상황 5가지

아래 다섯 가지는 환각이 특히 자주 나오는 자리입니다. 이 신호가 보이면 "한 번 더 확인" 버튼을 마음속에 누르세요.

위험 신호왜 위험한가
구체적인 숫자·통계"매출이 23% 증가" 같은 정밀한 수치는 지어낸 것일 수 있음
출처·논문·인용그럴듯한 책 제목·저자·연구를 실제처럼 만들어 냄
최신·실시간 정보모델이 학습한 시점 이후의 일은 모르거나 추측함
고유명사·사람 이름비슷한 이름·직책을 헷갈리거나 섞어 버림
법규·규정·절차나라·시기마다 다른데 일반론으로 단정해 버림

03

3초 팩트체크 습관

거창한 검증이 아니어도 됩니다. 다음 세 가지만 몸에 익히면 대부분의 환각을 걸러낼 수 있습니다.

  • 출처를 요구한다 — "그 근거(출처)는 뭐야? 링크나 원문을 알려줘." 출처를 못 대거나 어색하면 의심 신호입니다.
  • 교차 확인한다 — 중요한 숫자·사실은 검색이나 다른 AI(예: Gemini)에 한 번 더 물어 대조합니다.
  • 되묻는다 — "확실해? 틀릴 수 있는 부분이 있다면 알려줘." 이렇게 물으면 AI가 불확실한 부분을 스스로 짚어주기도 합니다.
환각을 줄이는 프롬프트 한 줄 — "모르면 모른다고 말하고, 추측이면 추측이라고 표시해줘." 이 한 줄을 덧붙이면 AI가 없는 사실을 지어낼 확률이 줄고, 불확실한 부분을 구분해 줍니다.

04

팩트체크 퀴즈 — 직접 가려내 보기

AI가 내놓은 아래 답변들, 그대로 믿어도 될까요? 각 항목을 '믿을 만함' 또는 '의심해야 함'으로 판정해 보세요.

팩트체크 퀴즈

총 4문항 · 판정하면 바로 정답과 이유가 나옵니다.

"세종대왕은 1418년에 한글을 반포했습니다."

의심이 정답! 연도가 틀렸습니다. 한글은 1443년 창제·1446년 반포이고, 1418년은 세종 즉위년입니다. 이렇게 연도·숫자는 AI가 자주 헷갈리니 꼭 확인하세요.

"한 연구에 따르면 아침형 인간이 저녁형보다 평균 연봉이 17% 높다고 합니다."

의심이 정답! '한 연구', '17%'처럼 모호한 출처 + 정밀한 수치 조합은 환각의 전형적 신호입니다. "그 연구의 정확한 출처를 알려줘"라고 되물어 확인하세요.

"물은 1기압(해수면 기준)에서 약 100도에 끓습니다."

믿을 만함이 정답! 널리 알려진 안정적인 상식은 비교적 믿을 수 있습니다. 다만 '해수면 기준'처럼 조건이 붙는지, 일반 상식인지 전문 영역인지는 늘 살펴보세요.

"아인슈타인은 1931년 자서전에서 '상상력은 지식보다 중요하다'고 썼습니다."

의심이 정답! 인용구 자체는 유명하지만 '1931년 자서전'처럼 구체적 출처는 지어냈을 가능성이 큽니다. 인용문 + 출처 조합은 특히 환각이 잦으니 교차 확인하세요.

오늘 해볼 것

  • AI 답변에서 숫자·출처·최신 정보가 나오면 '확인 버튼'을 눌렀다
  • "출처(근거)를 알려줘"라고 되물어 봤다
  • "모르면 모른다고 말해줘" 한 줄을 프롬프트에 덧붙여 봤다
  • 중요한 사실을 검색이나 다른 AI로 교차 확인해 봤다
#AI 환각#할루시네이션#ChatGPT 틀린 정보#AI 팩트체크#AI 신뢰성#생성형 AI 한계#AI 기초#AI 첫걸음#비판적 AI 활용#김지백

자주 묻는 질문

Q. AI 환각(할루시네이션)이 정확히 뭔가요?
AI가 사실이 아닌 내용을 사실처럼 그럴듯하게 지어내는 현상을 환각이라고 합니다. 생성형 AI는 사실을 검색해 오는 게 아니라 '그럴듯한 다음 문장'을 이어 쓰는 방식이라, 정답을 모를 때도 매끄럽고 자신 있는 문장을 만들어 냅니다. 그래서 틀린 내용도 진짜처럼 보입니다.
Q. 더 좋은 AI를 쓰면 환각이 없어지나요?
줄어들 수는 있지만 완전히 사라지지는 않습니다. 환각은 특정 모델의 결함이 아니라 생성형 AI가 작동하는 방식 자체의 특성에 가깝기 때문입니다. 그래서 '환각이 없는 AI'를 기다리기보다, 숫자·출처·최신 정보처럼 환각이 잘 나오는 부분을 확인하는 습관을 들이는 것이 현실적입니다.
Q. 최신 정보를 물어보면 왜 틀리나요?
AI 모델은 특정 시점까지의 데이터로 학습되어, 그 이후에 일어난 일은 모르거나 추측할 수 있습니다. 최신 뉴스·환율·인사 정보 같은 실시간 내용은 구글 검색과 연동된 Gemini나 검색 기능이 있는 도구를 쓰고, 그래도 중요한 건 원본 출처를 직접 확인하세요.
Q. 환각을 줄이는 가장 쉬운 방법은 무엇인가요?
프롬프트에 '모르면 모른다고 말하고, 추측이면 추측이라고 표시해줘'라는 한 줄을 덧붙이는 것입니다. 또한 '근거(출처)를 함께 알려줘'라고 요구하고, 숫자·출처·인용처럼 위험 신호가 보이면 검색이나 다른 AI로 교차 확인하면 대부분의 환각을 걸러낼 수 있습니다.
이 주제로 강의 문의

우리 조직에 맞는 AI 교육을
설계해드립니다.

위 자료의 내용을 기반으로 맞춤형 강의 커리큘럼을 구성해드립니다. 기업·공공기관·임원 대상 프로그램 모두 가능합니다.

강의 소개 보기강의 문의하기

조회수·다운로드 카운트 등 인터랙티브 기능은 자료실 인터랙티브 페이지에서 이용하실 수 있습니다.