SaaS형 이상거래탐지 모델 - 벤더가 조용히 재학습한 6개월

점검 지점과 우선순위

1. (최우선) 제3자 모델 변경 관리 공백 - 벤더가 월 1회 재학습하는데 은행은 통지받지 못했고 버전 이력 접근 권한도 없다. 재학습은 정의상 모델 변경이며, 검증되지 않은 모델이 고객 거래를 차단하고 있다. 고객 피해가 현재 진행 중이므로 최우선이다.
2. (높음) 데이터 거버넌스 - 국내 고객 거래내역이 마스킹되어 해외 리전에 저장되고, 학습 목적으로 사용된다. 국외 이전 근거, 처리위탁 계약, 마스킹의 재식별 가능성, 보관·파기 규정을 확인해야 한다. 규제 위반 가능성이 걸린 항목이다.
3. (높음) 성능·임계값 모니터링 부재 - 오탐률과 지연이 지표로 관리되지 않았고, 임계값을 누가 언제 바꿀 수 있는지도 불명확하다. 탐지율만 보면 오탐 증가를 놓친다.
4. (중간) 계약상 감사권·종료 조항 - 감사권, 현장 점검권, 종료 시 데이터 반환·파기 확인 조항의 존재 여부.
5. (중간) 내부 규정 정합성 - 'AI 모델 변경 시 재검증'과 '제3자 리스크 연 1회 평가'만으로는 SaaS형 상시 재학습 모델을 통제할 수 없다.

우선순위 기준: 고객 피해가 진행 중인가 → 규제 위반 가능성이 있는가 → 시정에 걸리는 시간. 1번은 즉시 임계값을 보수적으로 조정하고 차단 대신 추가 인증으로 전환해 피해를 멈추는 것이 먼저다.

1) 데이터 흐름도부터 그린다. 수집 → 마스킹 → 전송 → 저장 → 학습 → 파기까지 각 단계의 담당자, 위치, 보관 기간을 표로 만든다. 흐름도 없이는 어느 단계가 문제인지 특정할 수 없다.

2) 국외 이전의 적법 근거를 확인한다.

• 어떤 정보가 어느 국가로 이전되는지, 고객에게 고지되었는지
• 동의 또는 법령상 근거 중 무엇에 해당하는지, 근거 문서가 있는지
• 재위탁(재이전)이 있는지, 있다면 사전 동의·통지가 되었는지
• 이전 중·이전 후 암호화와 접속 통제 수준

3) 마스킹의 실효성을 점검한다. 주민번호·계좌번호 삭제만으로는 부족하다. 거래 일시, 금액, 가맹점, 기기 식별자의 조합으로 개인을 재식별할 수 있는지 검토하고, 재식별 위험이 남으면 가명정보 처리 기준과 결합 제한을 적용한다. 학습 목적 사용이 원래 수집 목적과 양립하는지도 확인한다.

4) 계약 문서를 대조한다. 처리위탁 계약서에 목적 외 이용 금지, 안전조치 의무, 재위탁 제한, 파기 확인, 사고 통지 조항이 있는지 확인한다.

5) 결론: 하나라도 근거가 없으면 데이터 반출을 중단하고 계약 보완 전까지 학습용 데이터 제공을 유예한다. 성능 개선보다 법적 근거가 우선이다.

계약 개선

• 모델 변경(재학습·변수 변경·임계값 조정 포함) 시 사전 통지 의무와 통지 기한(예: 적용 30일 전) 명문화.
• 모델 카드와 학습 데이터 명세(변수, 기간, 표본 규모) 제공 의무.
• 감사권·현장 점검권·버전 이력 열람권 부여.
• 성능 지표(SLA): 오탐률 상한, 승인 지연 시간 상한, 위반 시 시정 요구·과징금.
• 데이터 처리위탁 및 국외 이전 조항, 종료 시 반환·파기 확인 조항.

내부통제 개선

1. AI 모델 인벤토리에 이 SaaS를 등록하고, '벤더의 재학습 = 모델 변경'이라는 트리거를 규정에 명시.
2. 변경 시 재검증 절차: 변경 통지 → 영향도 평가 → 승인 → 제한적 배포 → 성능 확인의 단계적 적용.
3. 상시 모니터링: 탐지율과 오탐률을 함께 보는 지표 세트, 드리프트 감지, 임계값 변경 이력 관리.
4. 제3자 리스크 평가에 AI 특화 항목(설명가능성, 데이터 처리, 변경 관리, 외부 검증 여부) 추가하고 연 1회를 상시 점검으로 보완.
5. 담당자 지정과 에스컬레이션 경로: 이상 징후 시 벤더에 공식 시정 요구를 하고, 미이행 시 차단 정책 변경 권한을 은행이 보유.

핵심: 블랙박스 SaaS라도 '무엇이 어떻게 바뀌었는지 알 권리'와 '멈출 수 있는 권한'은 은행이 가져야 한다.