할루시네이션은 AI가 사실과 다르거나 주어진 자료와 맞지 않는 내용을 그럴듯하게 만들어 내는 현상입니다. OpenAI의 연구는 모델이 확신이 없을 때 모른다고 하기보다 추측하도록 훈련되고 평가받는 구조를 원인으로 꼽는데요. 이 글에서는 그 원인과 함께, Anthropic과 Google의 공식 가이드가 권하는 줄이는 방법을 정리했습니다.
AI에게 자료 조사를 맡겼는데 존재하지 않는 통계나 출처가 섞여 있었다는 이야기, 한 번쯤 들어 보셨을 텐데요. 문장이 매끄럽고 자신 있어 보이다 보니, 틀린 부분을 알아채기가 더 어렵다는 게 할루시네이션의 곤란한 점이죠. 저도 업무에 AI를 쓰면서 공부해 보니, 할루시네이션은 운이 나빠서 생기는 일이라기보다 원인이 있고, 그래서 줄이는 방법도 어느 정도 정리되어 있었습니다. 이번 글에서는 공식 자료를 바탕으로 이 내용을 차근차근 정리해 보겠습니다.
1. 할루시네이션은 무엇일까요?
Anthropic의 할루시네이션 줄이기 가이드는 할루시네이션을 가장 발전한 모델도 가끔 사실과 다르거나 주어진 맥락과 맞지 않는 글을 만들어 내는 현상으로 설명합니다. 2025년 9월에 나온 OpenAI의 논문 「Why Language Models Hallucinate」는 이를 "그럴듯하지만 틀린 진술"이라고 표현하고, 최신 모델에도 여전히 남아 있다고 적고 있습니다.
논문에 실린 예시가 인상적인데요. 한 오픈소스 모델에게 논문 저자의 생일을 물으면서 "알면 날짜만 답하라"고 조건을 달았는데도, 세 번 물었을 때 세 번 모두 서로 다른 틀린 날짜를 내놓았다고 합니다. 모르면 답하지 말라는 조건이 있었는데도 추측을 한 것이죠.
2. 할루시네이션은 왜 생길까요?
OpenAI 논문은 할루시네이션이 사전 학습 단계에서 생기고, 평가 방식 때문에 그 뒤의 학습을 거쳐도 남는다고 설명합니다.
- 사전 학습 단계: 모델은 방대한 글에서 언어의 패턴을 배우는데, 특정인의 생일처럼 규칙이 없고 학습 데이터에 한 번쯤만 나오는 사실은 맞는지 틀린지 가려내기 어렵다고 설명합니다. 반대로 아인슈타인의 생일처럼 자주 언급되는 사실은 거의 틀리지 않는다고 하죠.
- 평가 방식: 대부분의 벤치마크가 맞으면 1점, 틀리거나 "모르겠다"고 하면 0점을 주는 방식이라서, 확신이 없을 때 추측하는 모델이 점수를 더 받게 된다고 지적합니다.
논문은 이것을 시험을 보는 학생에 비유하는데요. 객관식 시험에서 틀려도 감점이 없다면, 모르는 문제도 빈칸으로 두기보다 아무 번호나 찍는 편이 점수에 유리하죠. 모델도 이런 시험에 맞춰 최적화되다 보니 늘 "시험 보는 모드"에 있고, 모르겠다고 말하는 대신 그럴듯한 답을 내놓게 된다는 설명입니다. 그래서 논문은 틀린 답에는 감점을 주고 "모르겠다"에는 감점을 주지 않도록 평가 방식을 바꾸자고 제안하고 있습니다.
이 설명을 쓰는 입장에서 뒤집어 보면, 모른다고 말해도 괜찮은 조건과 답의 근거가 될 자료를 주는 것이 중요하다는 뜻이 되는데요. 실제로 공식 가이드들이 권하는 방법도 이 두 방향에 모여 있습니다.
3. 공식 가이드는 어떻게 줄이라고 할까요?
Anthropic 가이드가 기본 방법으로 소개하는 것은 세 가지입니다.
| 방법 | 공식 설명 |
|---|---|
| 모른다고 말하게 하기 | 확신이 없으면 불확실하다고 인정해도 된다고 명시적으로 허락합니다. 간단하지만 잘못된 정보를 크게 줄일 수 있다고 설명합니다 |
| 원문 인용부터 하게 하기 | 2만 토큰이 넘는 긴 문서를 다룰 때, 작업 전에 관련 부분을 글자 그대로 먼저 뽑게 합니다 |
| 출처로 검증하게 하기 | 주장마다 근거가 된 인용과 출처를 달게 하고, 근거를 못 찾은 주장은 스스로 지우게 합니다 |
예를 들어 경쟁사 분석 자료를 요약시킬 때라면, 가이드의 예시를 참고해 이렇게 적어 볼 수 있습니다.
아래 <자료>에 있는 내용만 사용해서 경쟁사 3곳의 가격 정책을 요약해 주세요.
자료에서 확인할 수 없는 내용은 추측하지 말고 "자료에 없음"이라고 적어 주세요.
요약을 마친 뒤에는 문장마다 근거가 된 자료 속 문장을 그대로 인용하고,
인용할 문장을 찾지 못한 내용은 요약에서 지워 주세요.
<자료>
(여기에 자료를 붙여 넣습니다)
</자료>같은 가이드는 한 단계 더 나아간 방법으로 답하기 전에 추론 과정을 단계별로 설명하게 하기, 같은 질문을 여러 번 던져 답이 서로 어긋나는지 비교하기, 이전 답을 다시 검증하게 하기, 준 자료 외의 일반 지식은 쓰지 말라고 지시하기도 소개하고 있습니다.
Google의 Gemini API 프롬프트 가이드도 비슷한 방향인데요. 잘 알려지지 않았거나 최신인 사실이 필요할 때는 Google 검색으로 답을 뒷받침하는 그라운딩 기능을 켜고, 계산이나 개수 세기가 필요할 때는 코드 실행 도구를 켜라고 권합니다. OpenAI의 프롬프트 엔지니어링 가이드도 모델이 학습하지 않은 자료를 프롬프트에 함께 넣어 답의 범위를 그 자료로 좁히는 방법을 소개하고 있습니다.
4. 그래도 사람이 확인해야 하는 이유는 무엇일까요?
Anthropic 가이드는 이 방법들이 할루시네이션을 크게 줄여 주지만 완전히 없애지는 못한다고 분명히 적고 있습니다. 그래서 중요한 정보, 특히 결과가 큰 결정에 쓰이는 정보는 항상 따로 검증하라고 권하는데요.
마케팅 업무에 대입해 보면, 보고서에 들어가는 수치나 날짜, 제품 사양, 법이나 정책에 관한 내용이 여기에 해당한다고 생각합니다. AI에게 출처를 달게 해 두면 검증할 때 어디를 열어 봐야 하는지 바로 알 수 있기 때문에, 출처 요구는 할루시네이션을 줄이는 방법이면서 사람이 확인하는 시간을 줄여 주는 방법이기도 합니다. 이 블로그의 초안도 같은 이유로 주장마다 공식 출처를 붙이고, 발행 전에 제가 직접 읽어 보는 구조로 운영하고 있습니다.
정리
할루시네이션은 모델이 모를 때도 추측하도록 훈련되고 평가받는 구조에서 생기고, 그래서 모른다고 말할 여지와 근거가 될 자료를 주는 것이 가장 기본적인 대응입니다. 여기에 출처 인용과 검증을 더하면 틀린 내용을 찾아내기도 훨씬 쉬워지는데요. AI에게 조사나 요약을 맡기실 때 위의 프롬프트 예시와 체크 포인트를 참고해 주세요.
자주 묻는 질문
- 할루시네이션을 완전히 없앨 수 있나요?
- 공식 가이드 기준으로는 어렵습니다. Anthropic 가이드는 소개한 방법들이 할루시네이션을 크게 줄이지만 완전히 없애지는 못한다며, 중요한 정보는 항상 따로 검증하라고 권합니다.
- 프롬프트에 무엇을 적으면 할루시네이션이 줄어드나요?
- Anthropic 가이드는 확신이 없으면 모른다고 답해도 된다고 허락하기, 긴 문서는 관련 부분을 먼저 인용하게 하기, 주장마다 근거 인용을 달고 근거가 없으면 지우게 하기를 기본 방법으로 소개합니다. 준 자료 밖의 지식은 쓰지 말라고 지시하는 방법도 있습니다.
- 최신 정보는 어떻게 물어야 하나요?
- 모델이 학습한 시점 이후의 정보는 모를 수 있습니다. Google의 Gemini API 가이드는 잘 알려지지 않았거나 최신인 사실이 필요할 때 Google 검색 그라운딩을 켜라고 권하고, 다른 도구를 쓰신다면 믿을 만한 자료를 직접 붙여 넣고 그 안에서만 답하게 하는 방법이 있습니다.
관련 글 더 보기
- 토큰과 컨텍스트 윈도우란? AI에 긴 자료를 넣기 전에 알아 둘 기초 - 긴 자료를 넣을 때 달라지는 점
- 챗봇, AI 에이전트, 자동화는 무엇이 다를까 - 업무에 맞는 AI 방식을 고르는 기준
- 구글 검색에 AI가 들어왔다: AI 개요 시대, SEO는 어떻게 달라질까 - AI 답변이 검색 유입에 주는 영향