RAG란 AI가 답을 만들기 전에 회사 문서 같은 외부 자료에서 질문과 관련된 내용을 먼저 찾아, 그 내용을 근거로 답하게 하는 방법입니다. 모델이 학습하지 못한 사내 자료나 최근 정보를 다룰 수 있고, 답이 어느 문서에서 나왔는지 출처를 함께 보여 주기도 쉬워지는데요. 이 글에서는 RAG가 무엇이고 왜 쓰는지, 어떤 순서로 움직이는지, 도입 전에 무엇을 점검해야 하는지를 정리했습니다.
"우리 회사 가이드 문서를 AI가 읽고 답해 주면 좋겠는데, 그게 되나요?" AI를 업무에 쓰기 시작하면 한 번쯤 나오는 질문인데요. ChatGPT나 Claude 같은 AI는 똑똑해 보여도 우리 회사의 단가표나 지난달 회의록은 알지 못하죠. 이 간극을 메우는 대표적인 방법이 RAG이고, 요즘 AI 도구의 「파일 검색」이나 「프로젝트 지식」 같은 기능 중에도 이 방식을 쓰는 것이 있습니다. 이번 글에서는 개발 지식이 없어도 이해할 수 있게 RAG의 기초를 정리해 보겠습니다.
1. RAG란 무엇일까요?
RAG는 Retrieval-Augmented Generation의 줄임말로, 우리말로는 검색 증강 생성이라고 부릅니다. Google Cloud의 RAG 소개는 RAG를 검색이나 데이터베이스 같은 기존 정보 검색 시스템의 강점과 대규모 언어 모델(LLM)의 생성 능력을 합친 AI 프레임워크로 설명하는데요. Anthropic의 Contextual Retrieval 글도 지식 베이스에서 관련 정보를 찾아 사용자의 프롬프트에 덧붙이는 방법이라고 정리하고 있습니다.
서랍장에 비유하면 이해가 쉬운데요. AI가 학습으로 알게 된 지식은 머릿속 기억이고, 회사 자료는 사무실 서랍장에 들어 있는 서류입니다. RAG는 질문을 받으면 서랍장에서 관련 서류 몇 장을 꺼내 책상 위에 펼쳐 놓고, 그 서류를 보면서 답하게 하는 방식이죠. 기억에만 기대 답하는 것이 아니라 꺼내 온 서류를 근거로 답한다는 점이 핵심입니다.
2. 왜 RAG를 쓸까요?
Microsoft Foundry의 RAG 문서는 LLM이 학습 시점에 공개된 데이터로 훈련되기 때문에, 비공개 문서나 자주 바뀌는 정보가 필요할 때는 그것만으로 부족할 수 있다고 설명합니다. 여러 회사 문서에서 공통으로 꼽는 이유를 정리하면 이렇습니다.
- 최신 정보: Google Cloud 문서는 LLM이 학습 데이터에 갇혀 있어 오래되거나 부정확한 답을 낼 수 있고, RAG가 최신 정보를 제공해 이를 보완한다고 설명합니다.
- 사내 자료: Microsoft 문서가 예로 드는 것처럼, 공개 웹에 없는 비공개 문서를 근거로 답하게 할 수 있습니다.
- 할루시네이션 줄이기: 질문과 관련된 사실을 프롬프트에 함께 넣으면 그럴듯하게 지어낸 답을 줄이는 데 도움이 된다고 Google Cloud 문서는 적고 있습니다.
- 출처 표시: Microsoft 문서는 RAG로 만든 답에 원문으로 돌아가는 인용을 붙일 수 있다고 설명합니다.
모델을 다시 학습시키는 파인튜닝과 헷갈리기 쉬운데요. 같은 Microsoft 문서는 비공개 자료나 자주 바뀌는 자료로 답해야 할 때는 RAG를, 모델의 말투나 작업 방식 자체를 바꾸고 싶을 때는 파인튜닝을 쓰라고 구분합니다. 자료가 바뀔 때마다 모델을 다시 학습시킬 필요 없이 서랍장의 서류만 바꿔 넣으면 된다는 점이 실무에서 RAG를 많이 쓰는 이유이기도 하죠.
RAG가 있으면 답과 함께 근거 문서를 확인할 수 있습니다.
3. RAG는 어떤 순서로 움직일까요?
Microsoft 문서는 RAG의 흐름을 찾기(Retrieve), 보강하기(Augment), 생성하기(Generate)의 세 단계로 설명하는데요. 그 앞에 자료를 검색하기 좋게 준비해 두는 단계가 있어서, 마케터 입장에서는 아래 네 단계로 보면 이해가 쉽습니다.
- 자료 쪼개기(청킹): 긴 문서를 검색하기 좋은 작은 조각으로 나눕니다. 예를 들어 OpenAI의 Retrieval 문서에는 파일 검색의 기본 설정이 파일을 800토큰 크기의 조각으로 나누고, 이어지는 조각끼리 400토큰씩 겹치게 하는 것이라고 나와 있습니다.
- 임베딩: 조각마다 뜻을 숫자 목록으로 바꿔 저장합니다. Anthropic의 임베딩 문서는 텍스트 임베딩을 의미가 얼마나 비슷한지 잴 수 있게 텍스트를 숫자로 표현한 것으로 설명합니다.
- 검색: 질문도 같은 방식으로 숫자로 바꾼 뒤, 뜻이 가까운 조각을 찾습니다. 단어가 정확히 겹치지 않아도 의미가 비슷하면 찾아낼 수 있는 것이 장점인데요, 정확한 단어 일치도 놓치지 않도록 의미 검색과 키워드 검색을 함께 쓰는 하이브리드 검색을 Google Cloud와 Microsoft 문서 모두 소개하고 있습니다.
- 답변 생성: 찾아 온 조각을 질문과 함께 모델에 넣고, 그 내용을 근거로 답을 쓰게 합니다.
앞의 두 단계는 미리 해 두고, 질문이 들어올 때마다 뒤의 두 단계가 돌아갑니다.
쪼개는 과정에서 생기는 문제도 있는데요. Anthropic 글은 「회사 매출이 지난 분기보다 3% 늘었다」는 조각만 떼어 놓으면 어느 회사의 언제 이야기인지 알 수 없다는 예를 듭니다. 그래서 조각마다 문서 전체의 맥락을 짧게 덧붙이는 방법을 소개하고, 이 방법과 키워드 검색, 재정렬(리랭킹)을 함께 썼을 때 관련 조각을 찾지 못하는 경우가 67% 줄었다는 자체 실험 결과를 공개했습니다.
4. 마케터는 RAG를 어디서 만나게 될까요?
직접 RAG 시스템을 만들지 않더라도, 이미 쓰고 있는 AI 도구 안에서 이 방식을 만나는 경우가 많습니다.
| 형태 | 예시 |
|---|---|
| AI 프로젝트의 지식 파일 | Claude 프로젝트는 지식이 컨텍스트 윈도우 한도에 가까워지면 RAG 모드가 자동으로 켜져 관련 내용만 찾아 씁니다. 유료 요금제(Pro, Max, Team, Enterprise) 기능입니다 |
| 파일 검색 기능 | OpenAI API의 파일 검색은 올려 둔 파일에서 의미 검색과 키워드 검색으로 정보를 찾고, 답에 어느 파일을 인용했는지 표시합니다 |
| 사내 문서 연결 도구 | Microsoft 365의 Copilot은 Microsoft Graph로 이메일·문서·채팅 같은 조직 데이터에 근거해 답을 만듭니다 |
다만 자료가 적다면 굳이 RAG가 필요 없을 수도 있습니다. Anthropic 글은 지식 베이스가 20만 토큰(약 500쪽 분량)보다 작다면 RAG 없이 자료 전체를 프롬프트에 넣어도 된다고 안내하고, Google Cloud 문서도 긴 컨텍스트 윈도우에 자료를 넣는 방법과 함께 그보다 자료가 많을 때 RAG로 토큰을 줄이는 방법을 소개합니다. 가이드 문서 몇 개라면 채팅창에 직접 첨부하는 것으로 충분하고, 문서가 수백 개로 늘어날 때 RAG를 고민하시면 되는 셈이죠.
5. 도입 전에 무엇을 점검해야 할까요?
Microsoft Foundry 문서는 RAG의 품질이 자료 준비, 검색 설정, 프롬프트 설계에 달려 있다고 적고 있습니다. 도구를 고르기 전에 아래 네 가지를 먼저 보시길 권합니다.
- 자료 정리: 검색에 엉뚱한 조각이 걸리면 근거가 있어도 틀린 답이 나올 수 있다고 Microsoft와 Google Cloud 문서 모두 경고합니다. 오래된 버전 문서와 중복 파일을 먼저 정리하는 것이 출발점인데요.
- 권한: Microsoft 문서는 접근 권한을 관리하지 않으면 답변을 통해 민감한 정보가 새어 나갈 수 있다며, 검색 단계에서 권한을 적용하라고 권합니다. Microsoft 365의 Copilot도 사용자가 최소한 볼 권한이 있는 데이터만 보여 준다고 설명하기 때문에, 원본 폴더의 공유 설정이 곧 AI 답변의 범위가 됩니다.
- 출처 표시: 답마다 어느 문서의 어느 부분을 썼는지 보여 주는 도구를 고르면 검수가 훨씬 빨라집니다.
- 결과 검수: Microsoft 문서는 근거 자료를 넣어도 모델이 부정확한 답을 낼 수 있다고 적고 있습니다. 단가·일정·계약 조건처럼 틀리면 곤란한 내용은 원문을 한 번 더 확인하는 단계를 남겨 두세요.
도구보다 서랍장 정리와 열쇠 관리가 먼저입니다.
정리
RAG는 AI가 기억에만 기대지 않고 회사 자료에서 관련 내용을 찾아 근거로 답하게 하는 방법이고, 자료 쪼개기, 임베딩, 검색, 답변 생성의 순서로 움직입니다. 최신 정보와 사내 자료를 다룰 수 있고 출처를 보여 주기 쉽다는 장점이 있지만, 결국 답의 품질은 서랍장에 무엇을 어떻게 넣어 두었는지에 달려 있는데요. 저도 업무 자료를 AI에 연결해 보면서 자료 정리와 권한 설정 부분을 다시 정리해 보겠습니다. 사내 문서를 AI에 연결하실 때 위의 네 가지 점검 항목을 참고해 주세요.
자주 묻는 질문
- RAG와 파인튜닝은 무엇이 다른가요?
- RAG는 답할 때마다 외부 자료를 찾아 프롬프트에 넣는 방법이고, 파인튜닝은 모델 자체를 추가로 학습시키는 방법입니다. Microsoft Foundry 문서는 비공개 자료나 자주 바뀌는 자료로 답해야 할 때는 RAG를, 모델의 말투나 작업 방식을 바꾸고 싶을 때는 파인튜닝을 쓰라고 구분합니다.
- RAG를 쓰면 할루시네이션이 없어지나요?
- 줄어들 수는 있지만 없어지지는 않습니다. Microsoft 문서는 근거 자료를 넣어도 모델이 부정확한 답을 낼 수 있다며 인용을 켜고 찾아 온 내용 안에서만 답하도록 지시하라고 권합니다. 검색이 엉뚱한 조각을 가져오면 답도 틀릴 수 있습니다.
- 검색 증강 생성을 쓰려면 개발이 꼭 필요한가요?
- 꼭 그렇지는 않습니다. Claude 프로젝트처럼 지식 파일을 올리면 자료가 많아질 때 RAG 모드가 자동으로 켜지는 도구도 있습니다. 직접 시스템을 만들 때는 OpenAI 파일 검색이나 Azure AI Search 같은 서비스를 쓰게 됩니다.
관련 글 더 보기
- AI 할루시네이션은 왜 생길까? 공식 가이드로 보는 줄이는 방법 - 자료를 직접 주고 출처를 요구하는 방법
- 토큰과 컨텍스트 윈도우란? AI에 긴 자료를 넣기 전에 알아 둘 기초 - RAG가 필요한지 판단할 때 알아 둘 기초
- 챗봇, AI 에이전트, 자동화는 무엇이 다를까 - 업무에 맞는 AI 방식을 고르는 기준