'AI 신용평가'라는 이름의 고정 가중치 엔진 - 등급 분류 판단
자산 2조 원 규모의 A저축은행은 소상공인 신용대출 자동심사 시스템 도입을 검토하고 있다. 외부 벤더 B사는 자사 엔진을 'AI 기반 자동심사 솔루션'이라 소개하면서 보도자료와 홈페이지에 'A저축은행 AI 도입' 문구를 넣어 달라고 요청했다. 심사부 담당자가 기술 문서를 확인한 결과 구조는 12개 입력변수에 고정 가중치를 곱해 0~1000점을 산출하는 방식이었고, 가중치는 분기마다 위험관리 담당자가 엑셀로 수작업 조정했다. 학습 파이프라인이나 자동 재학습 기능은 없었으며, 제시된 성능 지표는 과거 3년 데이터에서의 AUC 0.71과 부도 예측 정확도 68%가 전부였다. 문제는 내부 규정이다. 은행의 모델리스크 관리규정은 'AI·머신러닝 모델'을 최고 등급으로 분류해 연 1회 독립 검증, 의사결정 로그 5년 보관, 변수별 설명가능성 문서화를 요구한다. 반면 '전통적 통계 스코어카드'는 2등급으로 분류해 격년 검증과 요약 수준 문서화만 요구한다. 게다가 이 엔진의 점수는 자동 승인·거절뿐 아니라 금리 구간 결정에도 쓰일 예정이고, 지난해 감독당국 검사에서는 '모델 등급 산정 근거 문서화 미흡' 지적을 받은 이력이 있다. 도입까지 6주가 남았고 벤더 영업담당자는 등급 판정을 가볍게 처리해 달라고 압박하고 있다.
1. 이 엔진을 내부 규정상 'AI·머신러닝 모델'로 분류해야 하는가, '전통적 통계 스코어카드'로 분류해야 하는가? 판단 기준을 세우고 결론을 제시하시오.
Read the worked answer
1) 판단 기준을 먼저 고정한다. 등급 분류는 명칭이 아니라 ① 파라미터가 데이터로부터 추정·갱신되는가 ② 함수 형태를 사람이 사전에 완전히 명세할 수 있는가 ③ 재학습·피드백 루프가 있는가 ④ 산출물이 고객 권리에 미치는 영향(용도 위험)으로 판단해야 한다.
2) 사실을 기준에 대입한다. 가중치가 고정되어 있고 분기별 수작업 조정이며, 학습 파이프라인이 없고 함수 형태가 사전 정의되어 있다. 기술적 성질만 보면 전통적 스코어카드에 가깝다. 'AI'라는 라벨은 벤더의 마케팅 명칭일 뿐 분류 근거가 될 수 없다.
3) 그러나 등급은 '기술'이 아니라 '위험'에 붙인다. 이 모델은 자동 승인·거절과 금리 구간 결정에 쓰인다. 즉 오류가 곧 고객의 금전적 불이익으로 직결되고, 설명 요구와 재심 대응이 필요하다. 벤더가 주장하는 명칭 때문에 통제를 낮추면, 통제 수준이 위험이 아니라 홍보 문구에 의해 결정되는 역전이 발생한다.
4) 결론.
- 명칭은 '데이터 기반 자동심사 스코어링'으로 정정한다(과장 표시 리스크 제거).
- 위험등급은 용도 기준으로 상향해 최고 등급 통제(연 1회 독립 검증, 결정 로그 5년 보관, 변수별 설명가능성 문서화)를 적용한다.
- 규정을 '명칭 기준'에서 '위험 기반 분류'로 개정하고, 이번 판정의 근거를 문서로 남겨 반복 지적을 차단한다.
2. 벤더가 요청한 'A저축은행 AI 도입' 홍보 문구를 그대로 사용할 수 있는가? 위험과 대안을 제시하시오.
Read the worked answer
그대로 사용할 수 없다.
- 표시·광고 리스크: 실제 기능(고정 가중치 스코어링)과 다른 'AI' 표현은 소비자에게 기대 수준을 오인시키는 과장·기만적 표시에 해당할 소지가 있다.
- 내부통제 리스크: 금융회사의 광고·보도자료는 사전 심의 대상이다. 벤더 요청에 따라 심의를 생략하면 절차 위반이 별도로 문제된다.
- 분쟁·평판 리스크: 사고 발생 시 'AI라고 광고했는데 실제로는 단순 스코어카드였다'는 사실이 추가 공격 지점이 된다. 반대로 성능이 기대에 못 미칠 때 설명 부담도 커진다.
대안 문구 예시: "데이터 기반 자동심사 스코어링 도입으로 심사 소요시간 단축", "12개 변수 기반 정량 평가모형". 기능을 과장하지 않으면서 효익은 전달할 수 있다.
계약·절차 보완: 홍보물에 회사명·로고를 사용할 때는 사전 서면 승인 조항을 두고, 표현의 정확성 책임을 벤더에 지우며, 배포 전 준법감시 부서 검수를 거친다.
3. AUC 0.71과 정확도 68%만으로 도입 여부를 판단할 수 있는가? 추가로 확인해야 할 지표와 검증 설계를 제시하시오.
Read the worked answer
판단할 수 없다. 두 지표는 모델의 평균적 변별력을 요약할 뿐, 이 은행의 의사결정에 필요한 정보를 담고 있지 않다.
확인해야 할 것
- 검증 설계: 3년 데이터가 어느 경기 국면에 몰려 있는지, 시점 분리(out-of-time) 검증인지 무작위 분할인지. 무작위 분할은 낙관 편향이 크다.
- 표본 구조: 부도 건수가 몇 건인지. 부도가 수십 건 수준이면 AUC의 신뢰구간이 매우 넓어 0.71과 0.65를 구분할 수 없다.
- 오류 비용: 임계값을 어디에 두는지에 따라 승인율과 부도율이 함께 움직인다. 1종 오류(우량 고객 거절)와 2종 오류(부실 고객 승인)의 금액 환산이 필요하다.
- 집단별 성능: 업종·소득 구간·연령대별로 AUC와 거절률을 분해한다. 평균이 같아도 특정 집단에서 무너질 수 있다.
- 안정성: 입력 분포 변화(PSI)와 변수 중요도 변동, 스트레스 구간(금리 급등, 경기 침체)에서의 성능.
- 레이블 정의: '워크아웃'의 정의가 표준과 일치하는지, 부실 확정까지의 관찰기간이 충분한지(라벨 지연).
결론: 성능 수치 하나가 아니라 위 항목을 담은 검증 보고서를 도입 승인의 전제로 삼고, 도입 후에도 임계값 변경 이력과 결과 지표를 정기 모니터링해야 한다.