별점 4.5 식당이 진짜 맛집일까? — AI 데이터 기본 7강

01별점 4.5 식당이 진짜 맛집일까? — 별점의 함정

김지백 강사가 사장님 강의에서 자주 던지는 질문이 있습니다. "별점 4.5 식당이 별점 4.0 식당보다 정말 더 맛있을까요?" 사장님들은 보통 "그렇겠지" 하시는데, 데이터를 보면 답이 달라집니다. 별점 평균 하나만 보면 진실의 30%만 보고 결정하는 셈입니다. 진짜를 보려면 ① 평균 · ② 표본수 · ③ 분포 세 가지를 함께 봐야 합니다.

① 분포가 모든 것을 바꾼다

두 식당이 모두 평균 별점 4.5 입니다. 그런데 A 식당은 리뷰 100건이 모두 4점·5점. B 식당은 리뷰 100건 중 절반은 5점, 절반은 1점·2점인데 별점 5점 가짜 리뷰가 50건 섞여 평균을 끌어올린 상태입니다. 두 식당의 평균은 같지만, A 는 안정적 맛집이고 B 는 호불호가 극단적인 곳입니다. 단순 평균만 보고 B 에 손님을 모시고 가시면 사고가 납니다.

② 표본 수 — 리뷰 3개의 4.5 vs 리뷰 300개의 4.5

리뷰 3개로 만든 평균 4.5 와 리뷰 300개로 만든 평균 4.5 는 완전히 다른 정보입니다. 3개짜리는 그날 그 손님 셋의 기분이고, 300개짜리는 1년치 누적 평가입니다. 통계학에서 "표본 크기 30 이하는 신뢰하기 어렵다"는 일반 룰이 있습니다. 사장님이 데이터를 보실 때 "이 평균은 몇 명의 의견인가?"를 항상 먼저 확인하세요.

③ 생존자 편향 — 별점 남기는 사람은 누구일까?

별점·리뷰를 남기는 사람은 보통 아주 좋았거나 아주 나빴거나 둘 중 하나입니다. 평범한 식사를 한 100명 중 90명은 리뷰를 안 씁니다. 그래서 모든 리뷰 데이터는 처음부터 극단 의견의 모음입니다. AI 시대 회사 데이터도 똑같습니다. 고객 후기·콜센터 녹음·SNS 댓글은 만족한 일반 고객 80% 는 빠진 채 양 극단만 모인 표본입니다.

02AI 가 자신 있게 거짓말하는 4가지 패턴 — 환각(Hallucination)

ChatGPT·Claude 가 답을 모를 때 솔직히 "모릅니다"라고 하면 좋겠는데, 슬프게도 AI 는 그렇게 만들어지지 않았습니다. 모를 때조차 가장 그럴듯한 답을 자신만만하게 제시합니다. 이게 AI 환각입니다. 김지백 강사가 한 줄로 정리하면 "AI 환각은 거짓말이 아니라 최선의 추측"입니다. 의도가 없으니 막을 수도 없고, 사장님 쪽에서 의심하는 수밖에 없습니다. 4가지 패턴만 외워두세요.

패턴 ① 없는 출처 지어내기

책 제목·논문·법 조항·뉴스 기사를 그럴듯하게 만들어냅니다. "맥킨지 2024 보고서에 따르면…" 이라고 적었는데 검색해 보면 그런 보고서가 존재하지 않는 식입니다. 2023년 미국에서 한 변호사가 ChatGPT 가 만들어낸 가짜 판례를 그대로 법정에 제출했다가 제재를 받은 사건이 있었습니다. 방치 비용: 사장님 보고서에 가짜 출처가 들어가면 회의 한 번에 신뢰가 무너집니다.

패턴 ② 숫자 살짝 바꾸기

"45%" 를 "54%" 로, "1,400억 원" 을 "1,040억 원" 으로 슬쩍 바꾸는 경우입니다. 처음 몇 자리는 맞아서 사람이 의심하지 않게 됩니다. AI 가 학습한 자료 중 비슷한 숫자가 여럿 있을 때 이런 일이 생깁니다. 사장님 룰: 보고서·이메일에 들어가는 숫자는 AI 답을 그대로 쓰지 말고, 한 번 더 검색·계산으로 검증.

패턴 ③ 옛 데이터를 현재로

AI 의 학습 데이터는 시점이 있습니다. 2026년 5월 데이터를 묻는데 AI 가 2023년 자료를 "현재"로 답하는 일이 흔합니다. 환율·물가·세율·임금처럼 매년 바뀌는 숫자는 가장 위험합니다. 해법: 프롬프트에 "2026년 5월 기준" 같은 날짜 못박기 + 출처 한 줄 요구.

패턴 ④ 사장님이 듣고 싶은 말 (긍정 편향)

AI 는 사람과의 대화에서 호감을 사도록 학습됐습니다. 사장님이 "이 사업 전망이 좋지?" 라고 물으시면 부정적 근거가 있어도 긍정 쪽으로 기울어진 답을 줍니다. 정직한 답을 받고 싶으시면 "반대 시나리오도 같이 적어줘" 한 줄을 꼭 붙이세요. 김지백 룰: 사장님이 묻는 방식에 따라 AI 답이 5도 정도는 항상 기울어진다고 보세요.

03통계가 사장님을 속이는 5가지 방식

통계학이라고 하면 어려워 보이시지만, 사장님 회사 회의실에서 매일 벌어지는 일들입니다. 다섯 가지 함정만 알고 계셔도 보고서·임원 발표를 보시는 눈이 완전히 달라집니다.

함정 ① 평균과 중앙값의 차이 — "직원 100명 평균 월급 298만 원"의 진실

직원 100명 회사에서 99명이 월급 200만 원이고 1명(사장님)이 1억 원입니다. 평균은 298만 원이지만 중앙값은 200만 원입니다. 어느 쪽이 진짜 회사 현실일까요? 중앙값이지요. 평균은 한두 명의 거인이 다 끌어올린 가짜 신호입니다. 사장님 룰: 보고서에 "평균"이 나오면 항상 "중앙값은요?" 한 번 물으세요. 둘이 크게 다르면 평균은 거짓말입니다.

함정 ② 생존자 편향 — 망한 회사는 통계에 없다

"창업 5년 차 회사 평균 매출이 12억 원" — 이 통계에는 5년을 못 버티고 망한 회사가 빠져 있습니다. 그래서 모든 "성공한 회사" 통계는 처음부터 평균이 과대평가됩니다. 사장님이 신사업·M&A 결정하실 때 가장 자주 마주치는 함정이고, 한국 스타트업 5년 생존율이 약 30% 라는 점을 잊으면 보고서가 장밋빛으로만 보입니다.

함정 ③ 심슨 패러독스 — 부서별로는 옳은데 전체로는 거꾸로

1973년 미국 UC 버클리 대학원이 "남자는 44%, 여자는 35% 합격" 통계로 차별 의혹을 받았습니다. 그런데 학과별로 보니 거의 모든 학과에서 여자가 더 잘 합격했고, 단지 여자들이 합격률 낮은 학과에 많이 지원했을 뿐이었습니다. 사장님 회사로 옮기면 "전 매장 매출은 떨어지는데 매장별로 보면 다 오르고 있다"는 일이 가능합니다. 전체 숫자와 분해 숫자는 항상 같이 보세요.

함정 ④ 1주일 표본 — 추석 한 주만 본 매출

한 분식집 사장님이 추석 연휴 한 주 매출이 평소 3배라고 1년 매출을 추정하셨다가 폐업한 사례가 있습니다. 특이 시점을 일반화하면 무조건 거짓말입니다. 사장님 룰: 어떤 결정이든 최소 분기(3개월), 가능하면 1년 표본을 보세요. 1주일·1개월 데이터는 "체감"이지 "근거"가 아닙니다.

함정 ⑤ 표본 자체 편향 — 설문 응답자와 미응답자

고객 만족도 설문에 응답하는 사람과 응답 안 하는 사람은 처음부터 다른 사람입니다. 응답자는 보통 ① 정말 만족했거나 ② 정말 불만이거나 ③ 시간 여유가 있는 사람입니다. 설문 결과는 항상 이 세 부류의 의견이고, 평범한 다수의 의견이 아닙니다. 사장님 신호등: "이번 설문 만족도 90%" 라는 보고를 보시면 "응답률은요?" 라고 물어보세요. 응답률이 15% 라면 100명 중 13~14명만의 의견입니다.

04한국 회사가 데이터에 속아 망한 사례 3건

김지백 강사가 컨설팅 다니며 봤거나 한국에서 실제 보도된 사례 셋입니다. 세 사례 모두 "거짓 데이터를 진짜로 믿었다"는 한 점에서 공통됩니다.

사례 ① IBM Watson — 4조 원의 가상 데이터

1강에서 짧게 다룬 IBM 의 'Watson for Oncology' 사건을 한 번 더 살펴봅니다. IBM 은 암 진단 AI 를 만들 때 진짜 환자 데이터가 아닌 의사 몇 명이 만든 가상 케이스로 학습시켰습니다. 환자 분포가 현실과 달랐고, 그 위에서 만들어진 모델이 부적절한 치료를 추천하는 사고가 났습니다. 손해는 약 40억 달러(약 5조 6천억 원). 본질: 데이터 표본이 현실과 다르면 AI 도 함께 거짓말합니다. 7강 함정 ②(생존자 편향)와 함정 ⑤(표본 편향)의 결합입니다.

사례 ② 쿠팡 검색 알고리즘 — 1,400억 원 과징금 (2024)

5강에서 다룬 쿠팡 PB 별점 조작 사건을 7강 시각에서 다시 봅니다. 임직원 2,297명을 동원해 PB 7,342개에 후기 7만 2,614건과 평균 별점 4.8 점을 인위적으로 입혔습니다. 결과: 검색 노출률이 56.1% → 88.4% 로 뛰었습니다. 본질: 별점 평균은 진짜였지만, 그 평균을 만든 표본이 사람이 아니라 직원이었습니다. 함정 ⑤(표본 편향)의 극단적 사례이고, 그래서 "데이터 자체가 잘못된 게 아니라, 거버넌스(5강)가 무너진" 사고로도 분류됩니다.

사례 ③ 한 한국 중소기업 — AI 환각으로 사업계획서 작성

김지백 강사가 2025년 컨설팅한 한 한국 IT 중소기업 사례입니다. ChatGPT 에 "우리 회사가 진입할 한국 헬스케어 시장의 2024~2026 시장 규모와 출처를 정리해줘" 라고 요청했고, AI 는 그럴듯한 숫자(연 12% 성장, 시장 규모 14조 원)와 출처 3개를 자신만만하게 제시했습니다. 그 자료로 투자 IR 자료를 만들었는데, 제시된 출처 3개가 모두 존재하지 않는 가짜 보고서였습니다. 다행히 외부 자문이 발견해서 발표 전에 수정했지만, IR 신뢰도가 한 번 흔들리면 회복이 어렵습니다. 본질: AI 환각 패턴 ①(없는 출처)을 검증 없이 그대로 쓴 사고입니다.

05사장님이 거짓 데이터를 찾는 5가지 체크 신호 + 검증 프롬프트

마지막은 사장님이 오늘 회의실·보고서·AI 답에서 바로 쓰실 수 있는 거짓 데이터 5가지 체크 신호와, 6강 프롬프트에 한 줄만 추가하면 AI 환각이 절반으로 줄어드는 검증 프롬프트입니다.

체크 ① 평균만 보지 말고 분포 보기

"평균 4.5"만 보지 마시고 "분포는?", "최댓값·최솟값은?", "중앙값은?" 세 가지를 같이 보세요. 보고서 작성자에게 "히스토그램 한 장 더" 라고 요청하시면 5분 안에 진실이 보입니다.

체크 ② 표본 수 확인

"N=?" 한 글자만 물어보세요. N 이 30 미만이면 평균이 흔들리기 쉽고, N 이 100 이상이어야 안정적입니다. 설문이면 응답률(%)도 함께 — 100명 중 13명이 답한 결과는 13명의 의견입니다.

체크 ③ 출처 한 줄 요구

AI 답이든 부서 보고든 "이 숫자의 출처를 한 줄로" 요구하세요. 출처가 두루뭉술하면(예: "업계 자료에 따르면…") 거의 가짜이거나 직접 검증할 수 없는 자료입니다. 출처가 명확하면(예: "KOSIS 2025.06, 표 2.3") 한 번 직접 확인 가능합니다.

체크 ④ 불확실성 한 줄 요구 (6강 RCDTFV 의 Verify 단계)

6강에서 다룬 그 한 줄을 다시 쓰세요. "이 결론의 가장 큰 불확실성을 한 문단으로 적어줘." 이 한 줄이 AI 환각을 약 50% 줄이고, 부서 보고에서도 자기검증을 유도합니다.

체크 ⑤ 다른 AI 에 똑같이 묻기 (교차 검증)

중요한 결정에 쓸 자료라면 ChatGPT 와 Claude 에 같은 질문을 던지고 답을 비교하세요. 둘이 같으면 신뢰도가 두 배, 둘이 다르면 둘 다 의심해야 합니다. 김지백 강사 한 줄: "두 AI 가 같은 거짓말을 하기는 의외로 어렵습니다."

검증 프롬프트 템플릿 — 6강 RCDTFV 의 마지막 'Verify' 강화판

위 검증 프롬프트를 6강에서 만든 프롬프트 답 끝에 한 번만 던지시면, AI 환각의 약 70% 가 드러납니다. 중요 결정용 자료에는 매번 쓰세요. 시간은 30초, 손해 막는 비용은 수억 원입니다.