AI 기초2026.05.26

[4강] AI와 '대화'하는 법 — 이어 묻기·다듬기·맥락 유지

AI 첫걸음 시리즈 · 4강

AI와 '대화'하는 법 — 이어 묻기·다듬기·맥락 유지

AI를 한 번 써보고 "생각보다 별로던데"라고 느낀 분이 많습니다. 대부분은 '한 번의 질문과 한 번의 답'에서 멈췄기 때문입니다. 생성형 AI의 진짜 힘은 단발 질문이 아니라 '대화로 다듬어 가는 과정'에 있습니다. 이어 묻고, 고치고, 맥락을 살리는 법을 익히면 같은 AI가 전혀 다르게 일합니다.

⏱ 약 14분 분량 ✍ 약 7,200자 🎯 AI 입문자 · 직장인 · 학생

핵심 한 줄 — 좋은 답은 한 번에 받는 게 아니라 대화로 만들어 가는 것입니다. AI는 앞의 대화를 기억하므로, "더 짧게 / 쉽게 / 표로 / 다른 톤으로"처럼 이어서 고쳐 달라고 하면 됩니다. 처음부터 다시 쓰지 마세요 — 이어서 다듬으세요.

01

AI의 진짜 힘은 '한 번의 답'이 아니다

검색에 익숙한 우리는 AI에게도 검색하듯 행동합니다. 질문 한 번 던지고, 답이 마음에 안 들면 "역시 별로네" 하고 창을 닫습니다. 하지만 이것은 생성형 AI의 절반도 안 쓰는 사용법입니다. 검색은 한 번에 정답 페이지를 찾는 게임이지만, 생성형 AI는 주고받으며 결과물을 함께 다듬어 가는 게임이기 때문입니다.

3강에서 봤듯이 AI는 앞의 대화를 기억합니다. 이게 결정적입니다. 동료에게 보고서를 부탁했는데 초안이 아쉽다고 해서 그 동료를 해고하고 새 사람을 뽑지는 않죠. "여기는 더 짧게, 이 부분은 예시를 넣어줘"라고 말하면 됩니다. AI도 똑같습니다. 첫 답은 '완성품'이 아니라 '함께 고쳐 갈 초안'입니다. 이 관점 하나만 바꿔도 AI 활용 실력이 단숨에 올라갑니다.

김지백 강사는 입문 강의에서 이렇게 말합니다. "AI를 못 쓰는 사람과 잘 쓰는 사람의 차이는 아는 기능의 개수가 아니라, '한 번 더 말 거는 습관'이 있느냐입니다. 잘 쓰는 사람은 첫 답을 받은 뒤 거의 항상 한두 번 더 다듬습니다." 이번 강의는 그 '한 번 더 말 거는 법'을 구체적으로 익히는 시간입니다.

실제 장면으로 느껴 봅시다. A씨는 "신제품 홍보 문구 만들어줘"라고 한 번 묻고, 나온 문구가 평범하자 "역시 AI는 별로네" 하고 닫았습니다. B씨는 같은 질문을 한 뒤 이렇게 이어갔습니다. "20대 여성 대상이야, 더 발랄하게" → "이모지를 한두 개 넣어줘" → "세 가지 버전으로 만들어줘" → "이 중 두 번째가 좋아, 그 톤으로 인스타그램용 짧은 버전도 만들어줘". 5분 뒤 B씨 손에는 바로 쓸 수 있는 문구 여러 개가 있었습니다. 같은 AI, 같은 출발점이었지만 결과는 하늘과 땅 차이였죠. 차이를 만든 건 '대화를 이어간 것' 하나뿐입니다.

그래서 이번 강의의 목표는 새로운 기능을 외우는 게 아닙니다. "첫 답을 받고 한 번 더 말 거는 것"을 몸에 붙이는 것입니다. 이것만 습관이 되면, 앞으로 배울 모든 활용법(텍스트·이미지·자료 분석)이 몇 배로 강력해집니다. 대화는 모든 AI 활용의 토대이기 때문입니다.

02

이어 묻기 — AI는 맥락을 기억한다

가장 먼저 익힐 것은 '이어 묻기'입니다. 한 대화창 안에서는 AI가 앞서 나눈 내용을 기억하기 때문에, 매번 배경을 다시 설명할 필요가 없습니다. 예를 들어 여행 일정을 짜 달라고 한 뒤, 곧바로 "둘째 날을 좀 더 여유롭게 바꿔줘"라고만 해도 AI는 '그 일정의 둘째 날'을 알아듣고 고쳐 줍니다.

이 점을 활용하면 복잡한 일을 자연스럽게 풀어갈 수 있습니다. 처음부터 완벽한 질문을 만들려고 끙끙대지 말고, 일단 가볍게 물은 뒤 대화를 쌓아가며 원하는 곳으로 데려가는 것입니다. "그 내용을 표로 바꿔줘" → "거기에 예상 비용 열을 추가해줘" → "전체를 이메일로 보낼 수 있게 정리해줘" 처럼요. 한 걸음씩 좁혀 가면, 처음엔 막연했던 결과물이 어느새 딱 원하는 형태가 되어 있습니다.

반대로 말하면, 맥락이 이어지길 바란다면 같은 대화창을 유지해야 합니다. 새 대화창을 열면 AI는 앞 내용을 기억하지 못합니다. "아까 그거"라고 해도 무엇인지 모릅니다. 그래서 하나의 작업은 하나의 대화창에서 이어가는 것이 기본입니다(맥락 관리는 04번 항목에서 더 다룹니다).

이어 묻기를 잘하는 작은 요령이 하나 있습니다. 한 번에 완벽한 질문을 만들려 애쓰지 말 것. 입문자가 가장 많이 하는 착각이 "질문을 아주 길고 완벽하게 써야 좋은 답이 나온다"는 것인데, 실제로는 짧게 시작해 대화로 좁혀 가는 편이 더 쉽고 결과도 좋습니다. 예를 들어 자기소개서를 쓴다면, 처음부터 모든 조건을 욱여넣는 대신 "마케팅 신입 지원 자기소개서 초안 써줘"로 가볍게 시작하고 → "성실함이 드러나게" → "구체적 경험 예시를 넣어" → "500자로 줄여"처럼 한 겹씩 입혀 가면 됩니다. 부담 없이 시작해 대화로 완성한다 — 이게 이어 묻기의 진짜 매력입니다.

03

다듬기 명령어 — 상황별로 골라 쓰기

답을 받은 뒤 어떻게 고쳐 달라고 해야 할지 막막할 때가 많습니다. 아래 탭에서 목적별로 바로 쓰는 '다듬기 한마디'를 정리했습니다. 그대로 복사해 답변 아래에 이어 입력해 보세요.

너무 길거나 짧을 때.

- "핵심만 3줄로 줄여줘"
- "한 문단으로 압축해줘"
- "반대로, 더 자세하고 구체적인 예시를 들어 늘려줘"
- "이 중에서 가장 중요한 한 가지만 남겨줘"

어렵거나 딱딱할 때.

- "중학생도 이해할 수 있게 쉽게 풀어줘"
- "전문 용어는 괄호 안에 쉬운 설명을 달아줘"
- "비유를 들어서 설명해줘"
- "이걸 실제 예시 하나로 보여줘"

한눈에 안 들어올 때.

- "표로 정리해줘"
- "단계별 번호 목록으로 바꿔줘"
- "비교할 수 있게 장단점으로 나눠줘"
- "마지막에 한 줄 요약을 붙여줘"

분위기·말투를 바꾸고 싶을 때.

- "더 정중하고 격식 있는 말투로 바꿔줘"
- "친근하고 편한 말투로 바꿔줘"
- "자신감 있고 단호한 톤으로 다시 써줘"
- "딱딱하지 않게, 사람 냄새 나게 다듬어줘"

이 한마디들은 외우는 게 아니라, 쓰다 보면 자연스럽게 입에 붙습니다. 핵심 감각은 하나입니다. "무엇이 마음에 안 드는지"를 한 가지씩 말해 주는 것. 길이가 문제면 길이를, 말투가 문제면 말투를 콕 집어 말하면 AI는 그 부분만 고쳐 줍니다.

익숙해지면 이 한마디들을 자연스럽게 조합하게 됩니다. "표로 정리하되 핵심만 3줄 요약을 위에 붙여줘"처럼요. 하지만 처음에는 한 번에 하나씩만 바꾸는 것을 권합니다. 여러 개를 한꺼번에 시키면 AI가 우선순위를 놓쳐 어중간한 결과가 나오기 쉽기 때문입니다. 한 가지 고치고 → 결과 보고 → 다음 한 가지 고치고. 이 리듬이 가장 안정적입니다. 마치 사진을 보정할 때 밝기·색·구도를 한 번에 다 만지지 않고 하나씩 조절하는 것과 같습니다.

그리고 다듬을 때는 '명령'보다 '대화'처럼 하는 게 좋습니다. "이건 틀렸어"보다 "이 부분이 조금 딱딱하게 느껴지는데, 좀 더 부드럽게 해볼 수 있을까?"처럼 말하면, AI는 의도를 더 잘 파악합니다. 사람과 협업하듯 자연스럽게 주고받는 것 — 그것이 가장 좋은 결과를 내는 비결입니다.

실제로 '한 겹씩 다듬기'가 어떻게 흘러가는지 한 예로 보겠습니다. 동네 카페 사장님이 SNS 게시글을 만든다고 해봅시다. ① "우리 카페 신메뉴 자몽에이드 홍보 글 써줘" → 평범한 글이 나옵니다. ② "좀 더 상큼하고 여름 느낌 나게" → 분위기가 살아납니다. ③ "20대가 좋아할 말투로, 이모지도 살짝" → 톤이 맞춰집니다. ④ "해시태그 5개 추천해줘" → 바로 올릴 준비 완료. 각 단계는 한 문장이지만, 쌓이면 '내가 원하던 바로 그 글'이 됩니다. 처음부터 ①~④를 한 문장에 다 넣으려 했다면 오히려 더 어렵고 결과도 어중간했을 겁니다. 이것이 대화로 다듬기의 힘입니다.

04

맥락 관리 — 언제 새 대화를 열까

대화가 길어지면 한 가지 고민이 생깁니다. "계속 같은 창에서 이어가야 하나, 새로 열어야 하나?" 기준은 간단합니다. 주제가 이어지면 같은 창, 완전히 다른 일을 시작하면 새 창입니다.

예를 들어 '회사 워크숍 기획'을 다루던 창에서 갑자기 '저녁 메뉴 추천'을 물으면, 앞 대화(워크숍 맥락)가 답에 섞여 엉뚱해질 수 있습니다. 이럴 땐 새 대화를 여세요. 반대로 워크숍 기획을 계속 다듬는 중이라면, 며칠 뒤에라도 같은 창으로 돌아와 "지난번 워크숍 기획 이어서 하자"라고 하면 맥락이 살아 있습니다.

대화가 너무 길어져 AI가 앞 내용을 헷갈리는 것 같으면, 두 가지 방법이 있습니다. 첫째, "지금까지 정리한 내용을 한 번 요약해줘"라고 해서 맥락을 다시 또렷하게 만든 뒤 이어가기. 둘째, 그 요약을 복사해 새 대화창에 붙여넣고 새로 시작하기. 이렇게 하면 길고 복잡한 작업도 깔끔하게 관리됩니다. 김지백 강사는 이를 "대화에도 정리정돈이 필요하다"고 표현합니다.

맥락이 섞여 엉뚱한 답이 나온 경험은 누구나 합니다. 가령 딱딱한 보고서를 다듬던 창에서 곧바로 "친구에게 보낼 생일 축하 메시지 써줘"라고 하면, 보고서의 격식 있는 말투가 축하 메시지에 묻어 나와 어색해질 수 있습니다. 이건 AI가 고장 난 게 아니라, 앞 대화의 '분위기'를 충실히 이어받은 결과입니다. 이럴 땐 새 대화를 열거나, "지금부터는 완전히 다른 주제야"라고 분명히 선을 그어 주면 됩니다. 맥락은 양날의 검입니다 — 잘 쓰면 매번 설명하는 수고를 덜어 주지만, 방치하면 엉뚱하게 새어 나옵니다. 그래서 '지금 이 창의 맥락이 무엇인지'를 가볍게 의식하는 습관이 도움이 됩니다.

05

대화를 잘 이어가는 5가지 습관

  • 첫 답을 '초안'으로 본다 — 완성품을 기대하지 않으면 다듬는 게 자연스러워집니다.
  • 한 번에 하나씩 고친다 — "더 짧게 + 톤도 바꾸고 + 표로"를 한꺼번에 시키기보다 하나씩 짚으면 더 정확합니다.
  • 좋으면 칭찬하고 방향을 고정한다 — "이 톤 좋아, 이대로 나머지도 써줘"라고 하면 원하는 결을 유지해 줍니다.
  • 막히면 AI에게 되묻는다 — "더 좋은 결과를 위해 나한테 뭘 물어보면 돼?"라고 하면 AI가 필요한 정보를 거꾸로 질문해 줍니다.
  • 예시를 보여준다 — "이런 느낌으로"라며 샘플을 하나 주면 방향이 단번에 맞춰집니다.

특히 네 번째, "나한테 뭘 물어보면 좋을지 거꾸로 질문해줘"는 입문자에게 마법 같은 한마디입니다. 무엇을 더 알려줘야 할지 모를 때, AI가 스스로 필요한 정보를 짚어 주므로 대화가 술술 풀립니다. 한 번 써보면 "이걸 왜 이제 알았지" 싶을 겁니다.

이 다섯 습관에는 공통된 마음가짐이 깔려 있습니다. AI를 '정답 자판기'가 아니라 '함께 일하는 동료'로 대하는 것입니다. 동료와 일할 때 우리는 한 번에 완벽을 기대하지 않고, 방향을 알려주고, 좋으면 칭찬하고, 막히면 서로 묻습니다. AI와의 대화도 똑같습니다. 신기하게도, 사람을 대하듯 자연스럽고 구체적으로 소통할수록 AI의 결과물도 좋아집니다. 명령하듯 단어만 툭 던지는 사람보다, 맥락과 의도를 친절히 풀어 주는 사람이 더 좋은 답을 얻는 이유가 여기에 있습니다.

그리고 이 습관들은 거창한 노력이 아니라 '한 번 더'의 반복일 뿐입니다. 첫 답에서 멈추지 않고 한 번 더, 또 한 번 더 말을 거는 것. 그 작은 반복이 쌓이면, 어느새 AI를 자유자재로 부리는 사람이 되어 있을 겁니다.

06

흔한 실수 — 이것만 피하세요

① 마음에 안 들면 새 창부터 연다

가장 흔한 실수입니다. 새로 시작하면 그동안 쌓은 맥락이 모두 사라집니다. 답이 아쉬워도 같은 창에서 "이 부분만 다시"라고 고쳐 가는 편이 거의 항상 빠르고 좋습니다.

② 한 번에 모든 걸 다 고치라고 한다

"더 짧고, 쉽고, 정중하고, 표로, 예시도 넣어서 다시 써줘"처럼 한꺼번에 시키면 AI가 우선순위를 놓쳐 어설퍼집니다. 가장 중요한 것부터 하나씩 다듬으세요.

③ 막연하게 "별로야, 다시"만 반복한다

무엇이 왜 별로인지 말해 주지 않으면 AI는 비슷한 답을 다시 낼 뿐입니다. "너무 딱딱해 — 친구에게 말하듯 바꿔줘"처럼 방향을 함께 주세요.

④ 답을 그대로 믿고 끝낸다

대화로 다듬더라도, 사실관계(숫자·출처)는 따로 확인해야 합니다. AI는 그럴듯하게 틀릴 수 있습니다(자세히는 15강 환각 편). 다듬기는 '표현'을 좋게 하지만 '사실'까지 보장하지는 않습니다.

네 가지 실수를 한 문장으로 묶으면 이렇습니다. "맥락을 버리지 말고, 한 번에 하나씩, 방향을 주며, 사실은 확인하라." 이것만 지켜도 대화의 질이 확연히 달라집니다. 처음에는 의식적으로 신경 써야 하지만, 며칠만 지나면 자연스러운 습관이 됩니다.

다음 5강부터는 본격적으로 '좋은 첫 질문을 만드는 법(프롬프트 4요소)'을 배웁니다. 이번 강에서 익힌 '대화로 다듬기'와 다음 강의 '잘 묻기'가 만나면, AI 활용의 양 날개가 완성됩니다. 잘 묻고(5강), 잘 이어가는 것(4강) — 이 둘이 입문자가 갖춰야 할 가장 중요한 기본기입니다. 오늘은 받은 답에 딱 한 번 더 말을 걸어 보는 것부터 시작해 보세요.

미니 퀴즈

받은 답이 80% 마음에 들고 한 군데만 아쉽습니다. 가장 좋은 방법은?

정답입니다! 80%가 좋다면 그 맥락을 버리지 말고, 아쉬운 부분만 콕 집어 이어서 다듬는 것이 가장 빠르고 좋습니다.

오늘 해볼 것

  • 받은 답에 "더 쉽게" 또는 "표로 정리해줘"로 이어서 다듬어 봤다
  • 한 작업을 한 대화창에서 여러 번 주고받으며 완성해 봤다
  • "나한테 뭘 물어보면 좋을지 거꾸로 질문해줘"를 써 봤다
  • 주제가 완전히 바뀔 때 새 대화창을 열어 봤다
#ChatGPT 대화#AI 대화하는 법#프롬프트 다듬기#맥락 유지#ChatGPT 활용#AI 기초#AI 첫걸음#생성형 AI#이어 묻기#김지백

자주 묻는 질문

Q. AI는 앞에서 한 말을 기억하나요?
같은 대화창 안에서는 기억합니다. 그래서 매번 배경을 다시 설명하지 않고 '둘째 날을 더 여유롭게 바꿔줘'처럼 이어서 말할 수 있습니다. 다만 새 대화창을 열면 앞 내용을 기억하지 못하므로, 하나의 작업은 하나의 대화창에서 이어가는 것이 좋습니다.
Q. 답이 마음에 안 들면 새로 질문해야 하나요?
보통은 그럴 필요 없습니다. 같은 창에서 '이 부분만 더 짧게', '톤을 정중하게'처럼 아쉬운 점을 콕 집어 이어서 고쳐 달라고 하는 것이 더 빠르고 결과도 좋습니다. 새로 시작하면 그동안 쌓은 맥락이 사라집니다. 주제 자체가 완전히 바뀔 때만 새 대화를 여세요.
Q. 대화가 너무 길어지면 어떻게 하나요?
AI가 앞 내용을 헷갈리는 듯하면 '지금까지 정리한 내용을 요약해줘'라고 해서 맥락을 또렷이 한 뒤 이어가세요. 또는 그 요약을 복사해 새 대화창에 붙여넣고 새로 시작하면 깔끔합니다. 긴 작업일수록 중간 요약으로 '대화를 정리정돈'하면 관리가 쉬워집니다.
Q. 원하는 답을 더 잘 받는 한마디가 있나요?
'더 좋은 결과를 위해 나한테 뭘 물어보면 좋을지 거꾸로 질문해줘'가 특히 유용합니다. 무엇을 더 알려줘야 할지 모를 때 AI가 필요한 정보를 스스로 짚어 줍니다. 또 '이 톤 좋아, 이대로 나머지도 써줘'처럼 좋은 방향을 고정해 주면 원하는 결을 유지해 줍니다.
Q. 대화로 다듬으면 사실도 정확해지나요?
아닙니다. 다듬기는 표현·형식·톤을 좋게 만들지만, 사실의 정확성까지 보장하지는 않습니다. AI는 그럴듯하게 틀릴 수 있으므로(환각), 숫자·출처·최신 정보 같은 사실은 검색이나 원본으로 따로 확인해야 합니다. 환각을 가려내는 방법은 시리즈 15강에서 자세히 다룹니다.
이 주제로 강의 문의

우리 조직에 맞는 AI 교육을
설계해드립니다.

위 자료의 내용을 기반으로 맞춤형 강의 커리큘럼을 구성해드립니다. 기업·공공기관·임원 대상 프로그램 모두 가능합니다.

강의 소개 보기강의 문의하기

조회수·다운로드 카운트 등 인터랙티브 기능은 자료실 인터랙티브 페이지에서 이용하실 수 있습니다.