생성형 AI가 쓴 여신심사보고서 - 12억 3천만 원이라는 담보가액
E은행 기업금융부의 김 대리는 3억 원 신규 한도 심사보고서를 작성해야 했다. 마감은 이틀 뒤였고, 그는 사내에서 승인된 생성형 AI에 차주 재무제표 요약, 담보 내역, 업종 동향 자료를 입력해 8쪽 분량의 초안을 받았다. 초안에는 담보 평가액이 '12억 3천만 원(감정평가서 2024-11-02 기준)'으로 적혀 있었고, 업종 동향에는 특정 통계 수치가 출처와 함께 인용되어 있었다. 실제 감정평가서를 열어보니 평가액은 8억 7천만 원이고 기준일은 2023년 6월이었다. 인용된 통계도 존재하지 않는 수치였다. 김 대리는 수치 검토 없이 초안을 거의 그대로 제출했고, 여신심사역이 승인 직전에 발견해 사고를 막았다. 사내 규정에는 "생성형 AI 산출물은 사실관계를 검증한 후 사용한다"고만 적혀 있었고, 검증 절차·체크리스트·검증 시간은 마련되어 있지 않았다. 부서장은 "AI가 만든 것이니 AI 책임 아니냐"고 말했다.
1. 이 사고의 책임 소재를 AI 도구, 작성자, 승인자, 조직의 통제로 나누어 판단하시오.
Read the worked answer
AI 도구: 책임 주체가 될 수 없다. 법인격이 없고, 도구의 오류는 도구를 도입·사용한 자의 책임으로 귀속된다. "AI 책임"이라는 표현은 책임 회피의 언어다.
작성자(김 대리): 1차 책임이 있다. 사내 규정이 요구한 사실관계 검증을 하지 않았고, 원천 문서를 열어보는 것만으로 발견 가능한 오류였다. 마감 압박은 면책 사유가 아니라 정황 사유다.
승인자(여신심사역): 승인 권한에는 검증 의무가 내포된다. 다만 이번에는 승인 전에 발견해 차단했으므로 결과 책임은 없다. 만약 발견 없이 승인했다면 중대한 과실이 된다.
조직의 통제: 구조적 책임이 가장 크다. 규정이 "검증 후 사용"이라는 선언만 있고, 절차·도구·시간을 주지 않았다. 이틀 마감에 8쪽 보고서를 쓰면서 원천 문서 전수 대조를 하도록 설계한 것은 통제가 아니라 자기모순이다. AI 산출물 표시 의무, 검증 이력 보관, 검증자 지정도 없었다.
결론: 개인의 징계로 종결하면 재발한다. 1차 책임은 작성자에게 있으나, 재발 방지의 책임은 조직에 있으며 규정을 절차로 바꾸는 것이 핵심 조치다.
2. 재발 방지를 위한 검증 워크플로를 설계하시오. 최소 요건과 체크리스트를 포함하시오.
Read the worked answer
원칙: 생성형 AI 산출물은 '초안'이며, 그 안의 모든 사실 진술은 원천 문서와 대조하기 전까지 미확인 정보다.
최소 요건
- 표시: AI가 생성한 문서임을 문서 내에 명시하고, 검증 전에는 결재 상신을 시스템에서 차단.
- 근거 강제: 모든 수치·인용에 원천 문서 링크 또는 문서번호를 붙이게 하고, 링크 없는 수치는 자동 반려.
- 2인 검증: 작성자 자기 검증 + 별도 검증자 지정, 검증 이력 보관.
- 리드타임 규정: AI 초안 사용 시에도 검증에 필요한 최소 시간을 업무 표준에 반영(마감 압박이 검증을 잡아먹지 않게).
체크리스트(예시)
- 담보: 평가액, 감정평가서 기준일, 평가기관, 선순위 채권 존재 여부
- 재무: 재무제표 기간·단위(천원/백만원), 계정과목 합계 검산
- 인용: 통계의 출처 실재 여부, 발표 연도, 모집단 정의
- 상대방: 차주명, 사업자번호, 계약 조건, 금리·수수료
- 규제: 내부 여신 기준 충족 여부, 한도 산정 근거
운영: 검증 체크리스트 통과 기록을 심사보고서에 첨부하고, 표본 심사를 통해 검증이 형식적으로 흐르지 않는지 점검한다.
3. AI가 생성한 인용과 수치의 검증을 자동화할 수 있는가? 가능한 범위와 한계를 논하시오.
Read the worked answer
자동화할 수 있는 부분
- 원천 문서 데이터베이스와 대조하여 숫자·날짜를 추출·비교하는 작업(담보 평가액, 기준일, 재무제표 기간).
- 인용된 출처의 실재 여부 확인(문서번호·URL 존재 확인).
- 표준 템플릿의 필수 필드 공란 탐지, 단위 불일치 탐지.
- 반복적으로 나타나는 유형의 오류는 규칙 기반으로 충분히 걸러진다.
자동화할 수 없는 부분
- 원천 문서 자체가 스캔본이거나 구버전이면 대조가 실패한다. 데이터의 품질 문제는 검증 로직으로 해결되지 않는다.
- '담보 가치 8억 7천만 원이 이 차주에게 적절한가'와 같은 판단은 문서 대조가 아니라 평가의 영역이다.
- 존재하지 않는 통계를 그럴듯한 출처 형식으로 인용한 경우, 출처 DB에 없으면 걸러지지만 그렇지 않으면 통과할 수 있다.
- 자동 검증을 통과했다는 사실이 검증자의 판단을 대체한다는 과신이 가장 위험하다.
결론: 자동화는 누락과 단순 불일치를 줄이는 보조 장치로 배치하고, 최종 확인 책임은 사람에게 남긴다. 자동 검증 결과도 '통과'가 아니라 '확인 필요 항목 목록'으로 제시하는 설계가 안전하다.