RAG 쉽게 이해하기: AI가 최신 정보와 내 문서를 답하게 만드는 법

생성형 AI를 쓰다 보면 벽에 부딪힙니다. "우리 회사 규정에 따르면?"이라고 물으면 엉뚱한 답을 하고, 어제 나온 뉴스를 물으면 "제 지식은 특정 시점까지입니다"라고 발을 뺍니다. 이 두 가지 한계 — 내부 데이터를 모른다, 최신 정보를 모른다 — 를 해결하는 대표적인 방법이 바로 RAG(Retrieval-Augmented Generation, 검색 증강 생성)입니다.

#한 문장으로 요약하면

RAG는 "AI가 답하기 전에 관련 문서를 먼저 찾아서 읽게 하는 방법"입니다.

시험을 떠올려 보세요. 아무 자료 없이 기억만으로 답을 쓰는 것이 일반적인 챗봇이라면, RAG는 오픈북 시험입니다. 질문을 받으면 먼저 관련 페이지를 펼쳐 놓고, 그 내용을 근거로 답을 씁니다. 그래서 최신 자료든 내부 문서든, '펼쳐 놓기만 하면' 답할 수 있게 됩니다.

#왜 필요한가

LLM(대규모 언어 모델)은 학습 시점까지의 지식을 '기억'하고 있을 뿐, 그 이후나 학습에 포함되지 않은 정보는 알지 못합니다. 모델을 새로 학습(파인튜닝)시켜 지식을 넣는 방법도 있지만, 비용이 크고 자주 바뀌는 정보에는 비효율적입니다. RAG는 모델을 건드리지 않고 필요할 때 외부 지식을 붙여주는 방식이라 훨씬 가볍고 유연합니다.

#동작 원리: 4단계

RAG는 크게 네 단계로 움직입니다.

#1) 문서를 잘게 나눈다 (Chunking)

긴 문서를 문단 단위의 작은 조각(chunk)으로 나눕니다. 통째로 넣으면 관련 없는 내용까지 섞이고, 모델이 한 번에 읽을 수 있는 양에도 한계가 있기 때문입니다.

#2) 의미를 숫자로 바꾼다 (Embedding)

각 조각을 임베딩(embedding)이라는 숫자 벡터로 변환합니다. 임베딩은 문장의 '의미 좌표' 같은 것으로, 뜻이 비슷한 문장은 가까운 위치에 놓입니다. 이렇게 변환한 벡터를 벡터 데이터베이스에 저장합니다.

#3) 질문과 비슷한 조각을 찾는다 (Retrieval)

사용자가 질문을 하면, 질문도 같은 방식으로 임베딩한 뒤 벡터 DB에서 의미가 가까운 조각들을 찾아냅니다. 단순히 단어가 일치하는 검색이 아니라 '뜻이 통하는' 검색이라는 점이 핵심입니다.

#4) 찾은 내용을 근거로 답한다 (Generation)

찾아낸 문서 조각들을 질문과 함께 LLM에 전달하며 이렇게 지시합니다. "아래 자료를 근거로 질문에 답하되, 자료에 없으면 모른다고 해." 그러면 모델은 자기 기억이 아니라 제공된 근거를 바탕으로 답을 생성합니다.

[질문] 우리 회사 연차 규정은?
   ↓ 임베딩 → 벡터 DB 검색
[찾은 근거] 취업규칙 제23조: 연차는 ...
   ↓ 근거 + 질문을 LLM에 전달
[답변] 취업규칙 제23조에 따르면 ... (근거 기반)

#RAG의 장점

최신성: 문서만 업데이트하면 재학습 없이 최신 정보를 반영합니다.
정확성과 신뢰: 답의 근거가 되는 원문을 함께 제시할 수 있어 환각이 줄고 검증이 쉽습니다.
비용 효율: 모델 재학습보다 훨씬 저렴하고 빠릅니다.
보안 통제: 어떤 문서를 검색 대상에 포함할지 통제할 수 있습니다.

#흔한 오해와 한계

RAG는 만능이 아닙니다. 검색 단계가 부실하면 답도 부실합니다. 엉뚱한 조각을 찾아오면 모델은 그 잘못된 근거로 그럴듯한 오답을 만듭니다. 그래서 실무에서는 문서를 어떻게 나누고, 어떤 임베딩을 쓰고, 검색 결과를 어떻게 걸러낼지가 품질을 좌우합니다. "RAG를 붙였는데 왜 답이 별로죠?"의 원인은 대부분 모델이 아니라 검색 품질에 있습니다.

#어디에 쓰이나

사내 지식 챗봇: 규정·매뉴얼·제품 문서를 근거로 답하는 헬프데스크
고객 지원: FAQ와 상담 이력을 바탕으로 한 자동 응대
연구·조사: 방대한 논문·보고서에서 근거를 찾아 요약
개인용: 내 노트와 자료를 검색해 답하는 '제2의 두뇌'

#정리

RAG는 "AI에게 오픈북 시험을 보게 하는 기술"이라는 비유로 충분히 설명됩니다. 모델의 기억에만 의존하지 않고, 신뢰할 수 있는 자료를 그때그때 찾아 근거로 삼기 때문에 최신성과 정확성을 동시에 잡을 수 있습니다. 기업용 AI가 사실상 RAG를 표준처럼 채택하는 이유가 여기에 있습니다. 다음 단계가 궁금하다면, 검색 품질을 높이는 청킹 전략과 재순위화(re-ranking)를 이어서 살펴보세요.

자주 묻는 질문

RAG가 필요한 이유는 무엇인가요?

LLM은 학습 시점까지의 지식만 기억하기 때문에, 그 이후나 포함되지 않은 최신 정보나 내부 정보에 대해서는 알지 못합니다. RAG는 모델을 건드리지 않고 필요할 때 외부 지식을 붙여주어 이 한계를 해결합니다.

RAG의 동작 원리는 어떻게 되나요?

문서를 작은 조각(chunk)으로 나눈 뒤, 이를 임베딩이라는 숫자 벡터로 변환하여 벡터 데이터베이스에 저장합니다. 질문이 들어오면 질문과 의미가 비슷한 조각들을 찾아내어 LLM에게 근거 자료로 전달합니다.

RAG는 모든 상황에 완벽한가요?

RAG는 만능이 아닙니다. 검색 단계가 부실하면 잘못된 근거를 찾게 되어 그럴듯한 오답을 만들 수 있습니다. 따라서 문서를 어떻게 나누고, 검색 결과를 걸러내는 검색 품질이 매우 중요합니다.