[심화 7강] 지식파일로 내 자료만 답하는 GPT — 노코드 RAG 입문

01

왜 '내 자료'가 중요한가

일반 ChatGPT나 Claude에게 "우리 회사 환불 규정 알려줘" 하면, AI는 자기가 학습한 일반적인 환불 통념으로 답합니다. 우리 회사 규정과 다를 가능성이 큽니다.

회의록 요약, 사내 정책 안내, 고객 응대 — 일이 우리 조직의 구체적인 문서에 매여 있을수록 일반 AI의 한계가 분명해집니다.

해결책 하나는 매번 대화창에 PDF를 끌어다 놓는 겁니다. 하지만 매 대화마다 같은 파일을 다시 올리는 건 너무 번거롭죠.

훨씬 영리한 방법은 그 자료를 GPT 봉투에 처음부터 넣어 두는 것입니다. 이게 6강에서 잠깐 언급한 '지식파일' 기능이에요.

02

RAG가 뭔가 — 한 단어로

개발자들 사이에서 'RAG'라는 약자를 자주 듣습니다. Retrieval-Augmented Generation, 우리말로 풀면 '검색 보강 생성'입니다.

이름만 어렵지 발상은 단순합니다.

일반 AI는 학습 때 외운 지식만 갖고 답합니다. 그래서 새로운 정보나 우리 회사 내부 문서는 모릅니다.

RAG를 쓰면, 질문이 들어올 때마다 그때그때 우리 자료에서 관련 단락을 찾아 모델에 같이 보여 줍니다. 모델은 그걸 보고 답을 만들죠. 그래서 '검색해서 보강한다'는 이름이 붙었습니다.

왜 '코드 한 줄 안 쓰고도' RAG가 되나 — ChatGPT GPTs·Claude 프로젝트·Gemini Gem은 이 1~3단계를 자동으로 처리합니다. 우리는 그냥 파일만 끌어다 놓으면, 다음부터 질문이 올 때마다 서비스가 알아서 검색해 모델에 붙여 줍니다.

03

어떤 파일이 들어가고, 어떤 파일은 빠져야 하나

지식파일은 아무거나 넣는다고 잘 동작하지 않습니다. 좋은 자료와 나쁜 자료의 차이가 크죠.

구조가 있어야 잘 동작하는 이유는, RAG가 '관련 단락'을 찾아내는 방식이기 때문입니다. 한 단락이 한 주제만 다뤄야 검색이 정확해지죠.

꼭 빼야 할 파일

• 개인정보가 든 명단 — 직원 주민번호, 고객 연락처, 결제정보 (서비스 정책 위반·법 위반 위험)
• 비밀유지계약(NDA) 대상 자료 — 외부 유출 금지인 계약서·고객 정보
• 모델 학습 동의 받지 않은 데이터 — 제3자 저작물·개인 사진
• 오래된 옛 정책 — 현행과 다른 규정 (혼동 일으킴)

중요 — 일부 서비스는 지식파일을 모델 개선에 쓰지 않겠다고 명시하지만(예: 일부 유료 플랜), 정책은 자주 바뀝니다. 회사 기밀이라면 올리기 전에 그 시점의 약관·기업 정책을 반드시 확인하세요. 기초 7강 '개인정보·보안' 원칙을 따르는 게 안전합니다.

04

실전 — '우리 회사 FAQ 봇' 만들기

가장 만들기 쉽고 가장 자주 쓰이는 GPT가 'FAQ 봇'입니다. 신입사원이나 고객이 자주 묻는 질문에 대해 우리 회사 자료대로 답하는 봇이죠.

6강에서 만든 마케팅 카피 봇과 같은 흐름이지만, 이번엔 지식파일이 주인공입니다.

핵심은 4단계 다음의 '지시문'입니다. 지식파일만 올린다고 봇이 그 자료를 우선해 보진 않거든요. "이 파일을 최우선으로 참고하라"고 명시해 줘야 일관됩니다.

# 역할
너는 [회사명]의 사내 FAQ 응대 봇이다.
신입사원·동료가 묻는 질문에 답한다.

# 자료 우선순위 (가장 중요)
- 첨부된 [FAQ_v2026-05.pdf]를 가장 먼저 참고한다.
- 파일에 답이 있으면 그대로 인용하고, 파일의 항목 번호나 제목을 함께 적는다.
- 파일에 답이 없으면 "이 부분은 자료에 없습니다. 인사팀(내선 5678)에 문의하세요"라고 답한다.
- 자료에 없는 내용을 추측해서 답하지 않는다.

# 답 형식
- 답 첫 줄: 한 줄 요약 (질문에 대한 즉답)
- 다음: 자세한 설명
- 마지막: 출처 [FAQ_v2026-05.pdf, 항목 N번]

# 첫 응대
사용자가 질문하면, 질문이 모호한 경우(예: "휴가 어떻게 써?")
어떤 종류의 휴가인지 한 번 더 물어 본 뒤 답한다.

이 지시문에서 가장 중요한 건 "자료에 답이 없으면 추측하지 말고 인사팀에 문의하라고 답한다"는 한 줄입니다. 이게 없으면 봇이 모르는 부분을 그럴싸하게 지어 냅니다.

05

좋은 지식파일의 4가지 조건

같은 PDF라도 어떻게 정리하느냐에 따라 봇의 정답률이 크게 달라집니다.

특히 4번 — 표 캡션 — 이 놓치기 쉬운 포인트입니다. RAG는 표 안의 셀 하나하나를 잘 찾아내지 못합니다. "다음 표는 직급별 연차일수 안내"처럼 자연어 한 줄을 표 바로 위에 적어 두면 봇이 그 줄을 보고 답합니다.

실전 팁 — FAQ를 만들 때 한 항목씩 "질문 (Q) · 답 (A)" 형식으로 적으면 그 자체로 RAG에 최적화됩니다. 항목 번호를 붙이고, 항목마다 비워 둔 줄로 끊어 주세요. 검색이 단락 단위로 일어나기 때문입니다.

06

한계 — 지식파일은 마법이 아니다

지식파일은 강력하지만 만능은 아닙니다. 도입 전에 꼭 알아야 할 한계 세 가지입니다.

한계 1 — 파일에 있어도 100% 인용하지 않는다

모델이 파일에서 단락을 가져왔다고 해도, 답을 만들 때 그 표현을 그대로 쓰지 않을 수 있습니다. 비슷하지만 살짝 다른 표현으로 바뀌어 나오는 경우가 있죠.

그래서 중요한 수치·금액·일자는 봇 답을 그대로 믿으면 안 됩니다. 봇이 인용한 항목 번호를 따라 원본 파일을 한 번 더 확인하는 절차가 필요합니다.

한계 2 — 환각이 줄어들 뿐 사라지진 않는다

지식파일을 잘 넣으면 환각이 분명히 줄어듭니다. 하지만 0이 되진 않습니다. 모델은 여전히 자기 학습 데이터로 답을 보강하려는 본능이 있고, 자료에 없는 부분도 그럴싸하게 지어 낼 수 있습니다.

한계 3 — 파일이 오래되면 함께 노화한다

지식파일은 자동으로 업데이트되지 않습니다. 회사 정책이 바뀌면 PDF를 다시 만들어 봇에 다시 올려야 합니다.

그래서 운영자가 누구인지 정해 두는 게 중요합니다. '분기마다 갱신한다' 같은 주기를 정해 두지 않으면, 6개월 뒤 봇이 옛 정책으로 답하기 시작합니다.

꼭 기억 — 봇이 똑똑해 보일수록 사용자는 답을 곧이곧대로 믿습니다. 그래서 운영자는 봇이 인용한 출처를 정기적으로 점검해야 합니다. '봇이 답한 내용 = 곧 정답'으로 굳어지면 잘못된 답이 표준이 됩니다.

07

오늘 만들 FAQ 봇 — 시작 체크리스트

이번 강을 다 읽었다면, 다음 1시간 안에 사내 FAQ 봇 1개를 만들어 두시길 권합니다. 가장 자주 받는 질문 10~20개부터.

다음 8강에서는 오늘 만든 FAQ 봇을 팀 전체가 함께 쓰는 자산으로 발전시킵니다. 프롬프트 라이브러리, 공유 GPT 운영, 팀 요금제, 누가 만들고 누가 검토할지 — 거버넌스까지 정리합니다.