[심화 3강] 생각의 과정 끌어내기 — "단계별로 생각해줘"의 힘

01

AI에게 '생각할 시간'을 주면 정확해진다

간단한 실험을 해본 적 있으신가요? AI에게 약간 복잡한 계산이나 논리 문제를 주고 "답이 뭐야?"라고 물으면, AI는 즉시 그럴듯한 답을 내놓습니다. 그런데 그게 틀릴 때가 있습니다. 같은 문제에 "단계별로 차근차근 생각한 뒤에 답해줘"라고 하면? 정답을 맞히는 경우가 눈에 띄게 늘어납니다.

왜 그럴까요? 1강에서 봤듯 AI는 '다음 단어'를 이어 쓰며 답합니다. 결론부터 내라고 하면, 충분히 '따져 보지' 않고 가장 그럴듯한 결론을 바로 뱉습니다. 반면 단계를 펼치게 하면, 중간 과정을 하나하나 글로 풀어내면서 스스로 따져 보게 되어 더 정확한 결론에 도달합니다. 사람으로 치면, 암산으로 급히 답하는 것과 종이에 풀이를 적으며 푸는 것의 차이죠.

이 방법은 기초 4강에서 배운 '대화로 다듬기'와도 통하지만, 한 걸음 더 나아간 것입니다. 4강이 '답을 받은 뒤 고치는' 방식이라면, 이번 기법은 '답을 내기 전에 잘 생각하게' 하는 방식입니다. 둘을 함께 쓰면 가장 좋습니다 — 과정을 펼쳐 정확도를 높이고, 나온 결과를 다시 대화로 다듬는 거죠. 심화로 올라올수록 이렇게 기초의 기법들이 서로 맞물리며 더 큰 힘을 냅니다.

구체적인 예를 들어 볼까요. "사과 12개를 3명이 나누고, 그중 한 명이 자기 몫의 절반을 돌려줬어. 그 사람은 지금 몇 개 있어?"처럼 몇 단계를 거쳐야 하는 문제를 즉답시키면 AI가 헷갈릴 수 있습니다. 하지만 "단계별로 풀어줘"라고 하면 '12÷3=4 → 4의 절반인 2를 돌려줌 → 4-2=2'처럼 차근차근 짚어 정답에 이릅니다. 업무에서도 마찬가지입니다. 여러 조건이 얽힌 일정 계산, 할인율이 겹친 가격 산정, 여러 요인을 따져야 하는 판단 — 이런 다단계 문제일수록 '과정을 펼치게 하기'의 효과가 큽니다.

김지백 강사는 이렇게 비유합니다. "AI에게 '생각할 여백'을 주는 겁니다. 사람도 어려운 결정을 즉답하라고 하면 실수하지만, '잠깐 정리하고 말씀드릴게요' 하면 더 나은 답을 내놓잖아요. AI도 그 여백이 필요합니다." 이번 강은 그 여백을 만들어 주는 기술입니다.

02

"단계별로 생각해줘" — Chain-of-Thought

이 기법에는 정식 이름이 있습니다. Chain-of-Thought(CoT, 생각의 사슬) 프롬프팅입니다. 2022년 구글 연구진(Wei 등)이 「Chain-of-Thought Prompting Elicits Reasoning in Large Language Models」에서 정리한 기법으로, AI에게 추론 과정을 단계적으로 펼치게 하면 특히 산술·논리·다단계 추론 문제에서 정확도가 크게 오른다는 것을 보였습니다.

더 간단한 버전도 있습니다. 같은 해 또 다른 연구(Kojima 등, 「Large Language Models are Zero-Shot Reasoners」)는 예시를 주지 않고 그저 "Let's think step by step(단계별로 생각해 보자)"라는 한 문장만 덧붙여도 추론 정확도가 오른다는 것을 발견했습니다. 즉 거창한 설정 없이, 프롬프트에 "단계별로 생각한 뒤 답해줘"를 더하는 것만으로 효과를 볼 수 있다는 뜻입니다. 한국어로도 똑같이 통합니다.

흥미로운 점이 있습니다. 이 연구들이 나오기 전에는 'AI를 더 똑똑하게 만들려면 덩치를 키워야 한다'는 생각이 강했습니다. 그런데 같은 AI라도 '생각하는 방식'만 바꿔 줘도 추론 능력이 확 올라간다는 게 밝혀졌죠. 프롬프트를 어떻게 짜느냐가 얼마나 중요한지 보여 주는 대표 사례입니다. 더 비싼 AI를 찾기 전에, 지금 쓰는 AI에게 '제대로 생각할 기회'부터 주고 있는지 돌아보세요. 이건 무료 AI에서도 그대로 통하는 기술입니다.

03

실전 — 추론을 끌어내는 프롬프트

탭에서 상황별 추론 유도 프롬프트를 확인하세요. 복잡하거나 정확도가 중요한 문제에 써보면 차이를 느낄 수 있습니다.

아래 문제를 풀어줘.
- 바로 답하지 말고, 단계별로 차근차근 따져 봐
- 각 단계의 근거를 한 줄씩 적고
- 마지막에 '최종 답:'으로 결론을 정리해줘

[문제 / 상황 붙여넣기]

[복잡한 작업]을 해줘.
- 먼저 어떻게 접근할지 '계획'을 3~5단계로 세워줘
- 내가 계획을 확인하면, 그때 실제 실행을 시작하자
(바로 결과물부터 만들지 말고, 계획을 먼저 보여줘)

[고민/선택]에 대해, 결론부터 내지 말고
- 가능한 선택지를 2~3개 나열하고
- 각각의 장단점을 따져 본 뒤
- 그 분석을 근거로 추천과 이유를 말해줘

세 방식의 공통점은 '결론을 미루고 과정을 먼저'입니다. 특히 두 번째 '계획부터 세우기'는 심화 1강의 프롬프트 체이닝과도 통합니다. AI가 무작정 결과물을 쏟아내기 전에 접근 방법을 먼저 보여 주게 하면, 잘못된 방향으로 가는 것을 일찍 잡을 수 있습니다. 추론을 끌어내는 것은 단지 정답률만 높이는 게 아니라, AI가 왜 그렇게 판단했는지 들여다볼 수 있게 해줍니다 — 그래서 검증도 쉬워집니다.

04

요즘 '추론 모델'과 언제 쓰면 좋은가

최근에는 사용자가 "단계별로 생각해"라고 시키지 않아도, 스스로 충분히 따져 본 뒤 답하도록 설계된 '추론 모델'도 등장했습니다. 이런 모델은 내부적으로 생각의 과정을 거치므로, 복잡한 문제에서 기본적으로 더 정확한 경향이 있습니다. 그렇다면 CoT 프롬프트는 필요 없어진 걸까요? 그렇지 않습니다.

이유는 두 가지입니다. 첫째, 모든 모델·상황에서 추론 기능이 켜져 있는 건 아닙니다. 일반 모델이나 빠른 응답 모드에서는 여전히 "단계별로 생각해줘"가 효과적입니다. 둘째, 추론 모델을 쓰더라도 "계획을 먼저 보여줘", "여러 선택지를 비교해줘"처럼 과정을 드러내게 하면, 우리가 그 판단을 검토하고 방향을 조정할 수 있습니다. 즉 CoT는 '정확도를 위한 기술'이자 '투명성을 위한 기술'입니다.

언제 쓰면 좋을까요? 계산이 들어가거나, 여러 조건을 동시에 고려해야 하거나, 논리적 판단·비교가 필요한 문제에 효과적입니다. 반대로 단순한 사실 질문이나 가벼운 글쓰기에는 굳이 필요 없습니다(오히려 답이 장황해질 수 있습니다). 9강의 데이터 분석, 10강의 보고서 논리 검토 같은 작업에 특히 잘 어울립니다.

실무에서 자주 쓰이는 응용 하나를 더 소개합니다. AI가 어떤 결론을 냈는데 그 근거가 미심쩍을 때, "그 결론에 이른 과정을 단계별로 다시 설명해줘"라고 되물어 보세요. 처음엔 결론만 줬더라도, 과정을 펼치게 하면 스스로 오류를 발견해 답을 수정하는 경우가 있습니다. 일종의 '사후 검산'인 셈이죠. 추론을 끌어내는 기술은 '새 답을 얻는 것'뿐 아니라 '기존 답·생각을 검증하는 것'에도 똑같이 강력합니다.

05

함정 — 펼쳐진 추론이 늘 옳은 건 아니다

여기에 꼭 알아야 할 한계가 있습니다. AI가 단계별로 그럴듯한 추론을 펼친다고 해서 그 결론이 반드시 옳은 것은 아닙니다. 중간 과정 어딘가에 오류가 있어도 매끄럽게 이어 써서, 틀린 결론이 오히려 더 설득력 있어 보일 수 있습니다. 단계적 설명에 속아 검증을 건너뛰면, 17강에서 본 자동화 편향에 더 깊이 빠지게 됩니다.

또 하나, AI가 보여 주는 '추론 과정'이 그 모델이 실제로 답을 낸 진짜 사고 과정과 늘 일치하는 것도 아닙니다. 우리에게 보여 주려고 만들어 낸 '그럴듯한 설명'일 수 있습니다. 그러니 추론 과정은 '결론을 검토하는 단서'로 활용하되, 맹신하지는 마세요. 특히 숫자가 들어간 계산은 단계마다 직접 확인하고, 중요한 판단은 그 근거가 사실인지 따져 봐야 합니다(기초 15강·17강).

그래도 펼쳐진 추론은 검증을 '훨씬 쉽게' 만들어 줍니다. 결론만 덜렁 나오면 어디서부터 의심해야 할지 막막하지만, 과정이 단계로 보이면 "아, 2단계 계산이 틀렸네"처럼 오류 지점을 콕 집을 수 있습니다. 즉 CoT는 답을 보증하진 못해도, 사람이 틀린 곳을 빨리 찾도록 도와줍니다. 그래서 중요한 작업일수록 "과정을 보여줘"라고 한 뒤 그 과정을 훑어보는 습관이 좋습니다. AI가 펼친 추론에서 한 군데만 짚어 "이 단계 다시 확인해줘"라고 하면, 거기서부터 바로잡아 줍니다. 결론을 통째로 다시 받는 것보다 빠르고 정확하죠.

06

정리 — 결론을 미루면 정확해진다

이번 강의 핵심은 한 문장입니다. "AI에게 결론을 서두르게 하지 말고, 과정을 거치게 하라." "단계별로 생각해줘", "계획을 먼저 세워줘", "선택지를 비교해줘" — 이 작은 한마디들이 복잡한 문제에서 AI의 정확도를 끌어올리고, 동시에 그 판단을 사람이 들여다볼 수 있게 만듭니다.

지금까지 배운 심화 기법을 묶어 보면 흐름이 보입니다. 1강 체이닝(단계로 나누기), 2강 few-shot(예시로 가르치기), 그리고 3강 CoT(생각의 과정 펼치기) — 모두 'AI를 더 깊이 생각하게 만들어 품질을 높이는' 방법들입니다. 흥미롭게도 셋은 서로 잘 어울립니다. 복잡한 작업이라면 체인으로 단계를 나누고(1강), 각 단계에서 예시로 형식을 잡고(2강), 판단이 필요한 단계에선 과정을 펼치게(3강) 하면 됩니다.

한 가지 덧붙이면, 이 세 기법은 '비싼 도구'가 아니라 '말하는 방식'일 뿐입니다. 추가 비용도, 설치도 없습니다. 그저 프롬프트에 한두 문장을 더하는 것만으로 같은 AI에서 더 나은 결과를 끌어냅니다. 그래서 심화의 앞부분은 돈이 아니라 '아는 만큼' 차이가 벌어지는 영역입니다. 여기까지 익힌 것만 잘 써도, AI를 그냥 쓰는 사람과는 결과물의 깊이가 확연히 달라집니다. 다음 강에서는 AI에게 일관된 '역할과 기본 지시'를 부여해, 매번 설명하지 않아도 내 방식대로 일하게 만드는 법을 다룹니다.