AI 산출물 검증과 책임 있는 활용
이 영역은 AI 산출물을 어떤 절차로 검증하고, 오류가 났을 때 책임이 누구에게 남는지를 묻는다. 도구 도입 여부보다 승인·기록·책임 구조가 채점 포인트다.
검증 절차
- 사실 검증: 출처 확인, 원문 대조, 수치 재계산. 요약문은 원문 없이 신뢰하지 않는다.
- 최신성: 학습 시점 이후 개정된 규정·금리·상품 조건은 별도 확인한다. 모델의 기억을 근거로 인용하지 않는다.
- 일관성·논리: 전제와 결론의 불일치, 표와 본문 수치 불일치를 확인한다.
- 편향·표현: 차별적 표현, 단정적 투자 권유, 면책 문구 누락을 점검한다.
- 보안·권리: 고객 개인정보, 미공개 정보, 저작권 침해 소지가 있는 입력·출력 여부를 본다.
책임 구조
- 휴먼 인 더 루프: 승인권자와 승인 기준을 문서로 정한다. 형식적 클릭은 통제가 아니다.
- 기록: 사용 도구, 모델 버전, 프롬프트, 일시, 검토자, 수정 내역을 남긴다.
- 책임 소재: AI가 틀렸어도 최종 판단·서명한 직원과 회사에 책임이 남는다. 도구 탓은 면책 사유가 아니다.
- 임직원 사용 규정: 허용 도구 목록, 입력 금지 정보, 외부 반출 금지, 위반 시 제재.
사례
LLM이 감독당국 제출 보고서 초안을 작성했다. 검증 순서는 ①인용한 규정 조문을 원문과 대조 ②본문 수치를 원장과 재계산 ③기준일 이후 개정 반영 여부 확인 ④개인정보·내부 등급 정보 포함 여부 점검 ⑤담당자 승인과 로그 저장이다. 초안 작성 시간이 줄어든 것은 통제가 줄어든 것과 다르다.
감점 트랩
- 요약문을 원문 대신 신뢰한다.
- 최신 규정을 모델이 안다고 가정한다.
- 출처 없는 인용을 그대로 사용한다.
- 검증 기록 없이 구두 확인만 남긴다.