AI가 자신 있게 거짓말할 때: 환각(할루시네이션) 구별하고 팩트체크하는 법

AI에게 유명하지 않은 책의 저자를 물었더니 그럴듯한 이름을 지어냅니다. 법 조항을 물었더니 존재하지 않는 조문을 인용합니다. 이렇게 사실이 아닌 내용을 사실인 것처럼 만들어내는 현상을 환각(hallucination)이라고 합니다. AI를 제대로 쓰려면 이 특성을 반드시 이해해야 합니다.

#왜 환각이 생기나

핵심을 이해하면 대응이 쉬워집니다. 대규모 언어 모델(LLM)은 '사실을 저장한 데이터베이스'가 아니라, 다음에 올 가장 그럴듯한 단어를 예측하는 모델입니다. 즉, 진실을 아는 것이 아니라 '그럴듯한 문장'을 생성합니다. 대부분의 경우 그럴듯한 것이 곧 사실이지만, 정보가 부족하거나 모호할 때는 그럴듯하지만 틀린 문장을 만들어냅니다.

게다가 AI는 "모르겠다"고 말하기보다 일단 답을 만들어내려는 경향이 있어, 빈틈을 상상으로 채웁니다. 그것도 아주 자신 있는 말투로 말이죠.

#환각이 특히 잘 나오는 상황

• 구체적인 사실: 날짜, 통계, 인용문, 논문·책 제목, 저자, 법 조항
• 최신 정보: 학습 시점 이후의 사건
• 비주류·희귀 주제: 자료가 적은 분야일수록 위험
• 존재 여부가 애매한 것: "○○에 관한 논문 알려줘" → 그럴듯한 가짜 논문 생성
• 숫자 계산: 복잡한 계산은 틀리기 쉬움

#환각을 알아채는 신호

1. 지나치게 매끈한 구체성: 확인하기 어려운 세부사항(정확한 수치, 낯선 고유명사)이 술술 나올 때
2. 출처를 대는데 검색되지 않을 때: URL, 논문, 책이 실제로 존재하지 않는 경우
3. 다시 물으면 답이 바뀔 때: 같은 질문에 다른 답을 하면 신뢰도가 낮다는 신호
4. 내 상식과 어긋날 때: 위화감이 들면 일단 의심하세요

#검증하는 방법

1) 다시 묻고, 근거를 요구한다

방금 답의 근거가 되는 출처를 알려줘. 확실하지 않은 부분은 '불확실'이라고 표시해줘.

근거를 요구하면 모델이 스스로 불확실성을 드러내는 경우가 많습니다.

2) 원 출처로 직접 확인한다