머신러닝·생성형 AI의 원리와 한계
이 영역은 학습 방식, 과적합, LLM의 작동 원리와 구조적 한계를 묻는다. '무엇으로 학습했고 무엇을 보장하지 못하는가'를 구분하는 것이 핵심이다.
학습 원리
- 지도학습(라벨), 비지도학습(군집·차원축소), 자기지도학습(LLM 사전학습), 강화학습(보상 최대화).
- 학습은 손실함수 최소화 과정이다. 과적합은 훈련 성능은 높고 검증 성능이 낮은 상태로, 정규화·조기종료·교차검증으로 억제한다.
- 데이터 분할은 학습·검증·테스트 3분할이 원칙이다. 시계열은 시간순으로 나눠 미래 정보 누수를 막는다.
- LLM은 다음 토큰 확률 예측기다. 지식은 파라미터와 프롬프트 컨텍스트에 있고, 검색증강생성(RAG)은 외부 문서를 근거로 붙인다.
한계
- 환각: 그럴듯하지만 틀린 내용. RAG는 근거 제시로 완화하지만 제거하지 못한다. 파인튜닝은 형식·말투 적응에 강하고 최신 지식 반영에는 약하다.
- 확률적 출력으로 같은 질문에 다른 답이 나온다. 재현성 확보에는 temperature 조정, 프롬프트 고정, 로그가 필요하다.
- 프롬프트 인젝션, 기밀 유출, 분포 변화(drift)에 따른 성능 저하.
사례
FDS에서 1만 건 중 100건이 사기(1%)다. 임계값을 낮춰 재현율 90%를 얻으면 오탐이 급증해 정밀도가 떨어진다. 정밀도와 재현율은 트레이드오프이며, 오탐 처리 비용과 미탐 손실을 함께 계산해야 한다. 아무것도 탐지하지 않아도 정확도 99%가 나온다는 점이 함정이다.
감점 트랩
- RAG가 환각을 완전히 없앤다고 서술한다.
- 훈련 데이터로 성능을 평가한다.
- 상관관계를 인과로 해석한다.