생성형 AI 상담 요약의 조건 누락과 존재하지 않는 우대금리
B은행 콜센터는 하루 1만 2천 건의 상담을 처리한다. 경영진은 상담원 1인당 통화 후 처리시간을 줄이려고 생성형 AI 기반 통화 요약 시스템을 도입했다. 상담이 끝나면 음성을 텍스트로 바꾸고, 사내 상품설명서를 검색해 근거를 붙인 3문장 요약을 생성하며, 상담원이 화면에서 승인하면 상담 이력에 저장되는 구조다. 도입 3개월 뒤 민원이 들어왔다. 한 고객은 '중도상환수수료 면제 조건'을 안내받았다고 주장했지만 요약문에는 그 조건이 빠져 있었고, 다른 요약문에는 실제로 없는 '우대금리 0.3%p 적용'이 적혀 있었다. 원인을 추적하니 세 가지가 겹쳐 있었다. 첫째, 검색 인덱스에 스캔 PDF가 문자인식 없이 그대로 들어가 설명서 본문 대부분이 검색되지 않았다. 둘째, 2023년판과 2024년판 설명서가 함께 색인되어 구버전 조건이 근거로 인용됐다. 셋째, 요약 지시문이 '3문장으로 간결하게'였고 생성 온도(temperature)가 0.7로 설정되어 조건문이 잘려나갔다. 상담원 승인 화면에는 원문 대조 기능이 없었고, 저장된 요약문은 이후 정정되지 않았다.
1. 이 환각의 원인을 검색(retrieval) 단계, 생성(generation) 단계, 제품 설계 단계로 나누어 진단하시오.
Read the worked answer
검색 단계 - 근거 부재와 근거 오염
- 스캔 PDF를 문자인식 없이 색인해 본문 대부분이 검색되지 않았다. 근거가 없으면 모델은 기억이나 추론으로 빈칸을 메운다.
- 2023년판과 2024년판이 함께 색인되어, 검색된 근거 자체가 틀린 조건이었다. 이 경우 모델은 '근거에 충실하게' 틀린 답을 낸 것이므로 생성 단계만 고쳐서는 해결되지 않는다.
생성 단계 - 근거에 없는 사실의 생성
- 생성 온도 0.7은 요약처럼 사실 정확성이 중요한 과업에 부적절하다. 표현의 다양성을 얻는 대가로 없는 숫자를 만들어낼 확률을 스스로 높인 셈이다.
- '우대금리 0.3%p'는 검색된 문서에 없는 값이므로 전형적인 창작(환각)이다.
제품 설계 단계 - 조건문을 구조적으로 제거하는 설계
- '3문장으로 간결하게'라는 지시는 금융 상품 안내에서 가장 중요한 '조건·예외·유의사항'을 잘라내도록 강제한다. 간결성 지시와 정확성 요구가 정면으로 충돌한다.
- 원문 대조 없는 승인 UI는 상담원을 검증자가 아니라 형식적 클릭 수행자로 만든다.
- 승인 후 정정 절차가 없어 오류가 상담 기록에 영구히 남았다.
정리: 세 층의 결함이 독립적으로 존재한다. 하나만 고치면 다른 경로로 같은 사고가 재발한다.
2. 요약문이 상담 기록으로 저장될 때 발생하는 리스크는 무엇이며, 재발 방지를 위한 설계 변경을 제시하시오.
Read the worked answer
리스크
- 상담 기록은 계약 체결 과정과 설명의무 이행을 입증하는 자료다. 조건이 누락된 요약은 분쟁 시 회사에 불리한 증거가 되고, 설명의무 위반 주장을 막기 어려워진다.
- 실제로 존재하지 않는 우대금리를 기록으로 남기면, 고객이 그 기록을 근거로 금리 적용을 요구할 수 있다.
- 감사 추적이 훼손되어 내부통제·감독 검사 대응력이 떨어진다.
설계 변경
- 근거 인덱스 재구축: 문자인식 적용, 문서 버전 태깅, 폐기·구버전 문서는 검색 대상에서 제외.
- 생성 파라미터 조정: 사실 요약 과업은 온도를 0에 가깝게 두고, 문장별로 출처 문서와 페이지를 함께 출력하도록 강제.
- 구조화 출력: 자유 서술 3문장 대신 '적용 금리 / 수수료 / 면제·예외 조건 / 유의사항' 필수 필드로 나누어, 조건문이 빠지면 필드 공란이 드러나게 한다.
- 승인 UI 개선: 요약과 원문을 나란히 비교하는 화면, 근거 없는 수치는 저장 차단 경고.
- 사후 통제: 표본 품질 점검 지표(근거 일치율), 고객 이의 제기 시 요약 정정·재작성 절차 마련.
핵심: 사람의 승인을 남겨두는 것만으로는 부족하고, 승인자가 실제로 검증할 수 있게 만드는 것이 통제의 본질이다.
3. 검색증강생성(RAG)을 제대로 구축하면 환각이 완전히 사라지는가? 답과 근거를 제시하시오.
Read the worked answer
사라지지 않는다. 빈도와 유형이 달라질 뿐이다.
- 검색 실패: 질의와 문서의 표현이 달라 관련 문서를 못 찾으면, 근거 없이 생성하는 기존 경로가 그대로 열린다. 이번 사례의 문자인식 누락이 대표적이다.
- 근거 오염: 검색된 문서가 구버전이거나 상충하면, 모델은 틀린 근거를 충실히 요약한다. 근거를 붙였다는 사실이 정확성을 보장하지 않는다.
- 근거 무시: 긴 문맥에서 여러 문서가 섞이면 모델이 근거를 건너뛰고 학습된 상식으로 답하는 경우가 있다.
- 문서 간 충돌 미해소: 2023년판과 2024년판이 함께 검색되면 어느 쪽이 유효한지 모델이 판단하지 못한다.
따라서 필요한 것
- RAG를 '환각 제거 장치'가 아니라 '근거 추적 장치'로 규정한다.
- 정답 근거가 존재하는 평가셋을 만들어 배포 전 회귀 테스트를 한다.
- 근거 링크가 없는 문장은 사용자에게 노출하지 않는 규칙을 둔다.
- 최종적으로는 사람의 검증 단계와 사후 모니터링을 유지한다.