AI 리스크 관리와 데이터 거버넌스
이 영역은 모델 리스크 관리 체계와 데이터 거버넌스를 묻는다. 답안에는 3요소(검증, 문서화, 모니터링), 1선·2선 분리, 데이터 품질과 리니지가 반드시 들어가야 한다.
모델 리스크 관리
- 1선(개발·사업부)과 2선(리스크·준법)을 분리한다. 개발자가 자기 모델을 최종 승인하면 통제 실패다.
- 모델 인벤토리와 등급 분류: 고객 불이익, 규제 보고, 재무 영향이 큰 모델일수록 검증 강도를 높인다.
- 검증은 성능뿐 아니라 안정성, 설명가능성, 공정성, 보안, 적용 범위 밖 사용 가능성까지 포함한다.
- 문서화와 감사추적: 데이터 출처, 전처리, 하이퍼파라미터, 버전, 승인 이력, 로그 보관.
- 상시 모니터링: 데이터 드리프트(입력 분포 변화)와 컨셉트 드리프트(입력과 결과의 관계 변화)를 구분해 감지한다.
데이터 거버넌스
- 품질 차원: 정확성, 완전성, 일관성, 시의성, 유일성, 유효성.
- 데이터 리니지와 메타데이터로 원천에서 활용까지 추적하고, 등급별 접근통제·암호화·반출 관리를 적용한다.
- 제3자 리스크: 외부 LLM API는 학습 이용 약관, 데이터 국외 이전, 서비스 중단(벤더 종속), 응답 변경 위험을 계약과 아키텍처로 통제한다.
사례
상담 요약에 외부 생성형 API를 쓰려 한다. 체크 순서는 ①입력에 고객 식별정보가 있는가 ②약관상 입력이 학습에 쓰이는가 ③국외 이전 요건을 충족하는가 ④대체 내부 모델이 있는가 ⑤로그와 산출물 보관 기간을 정했는가. 하나라도 막히면 마스킹 또는 내부 모델로 우회한다.
감점 트랩
- 검증을 개발팀이 직접 수행한다.
- 로그를 남기지 않는다.
- 마스킹만 하면 익명화된 것으로 믿는다.
- 드리프트를 단순 성능 저하와 동일시한다.