전화 상담 프로그램의 재입원 감소 효과 - 선택과 오분류
종합병원 E는 2022년 ‘퇴원 후 전화 상담 프로그램’을 도입하고 1년간 결과를 정리했다. 프로그램에 참여한 환자 3,850명의 30일 재입원율은 12.4%, 참여하지 않은 환자 7,210명은 18.1%였다. 병원은 이를 근거로 프로그램이 재입원을 3분의 1가량 줄였다고 발표하고, 40,000명 규모로 확대하는 데 12억 원을 편성했다. 그러나 참여는 희망자에 한해 자발적으로 이루어졌고, 참여군의 평균 연령은 61세, 비참여군은 69세였으며, 퇴원 시 돌봄 제공자가 있다고 답한 비율은 각각 78%와 41%였다. 또 상담 간호사가 첫 통화에 연결되지 않은 환자 830명은 사후 분석에서 비참여군으로 분류되었다. 병원 측은 ‘연결이 어려운 환자는 어차피 상담의 혜택을 받지 못한다’고 설명했다. 재입원은 응급실 재방문을 포함해 집계되었고, 프로그램은 3월부터 12월까지만 운영되어 겨울철 환자는 대부분 비참여군에 속했다. 프로그램 참여를 권유받은 환자 중 실제 참여율은 34%였다. 확대 예산안은 이사회 승인을 앞두고 있다.
1. 병원의 ‘재입원 3분의 1 감소’ 주장을 흔드는 가장 큰 위협 두 가지를 지목하고, 각각이 관찰된 격차를 어느 방향으로 왜곡하는지 설명하라.
Read the worked answer
위협 1: 선택 효과(selection). 참여가 자발적이어서 참여군은 평균 8세 젊고, 돌봄 제공자가 있는 비율이 78% 대 41%로 두 배 가까이 높다. 두 요인은 모두 재입원의 강한 예측 변수다. 즉 참여군은 프로그램을 받지 않았더라도 재입원율이 낮았을 집단이다. 12.4%와 18.1%의 격차 5.7%포인트 중 상당 부분이 프로그램이 아니라 기저 위험의 차이로 설명될 수 있다. 왜곡 방향은 효과 과대평가다.
위협 2: 오분류(misclassification). 첫 통화에 연결되지 않은 830명을 비참여군에 넣었다. 연결이 어려운 환자는 사회적 지지가 약하거나 건강관리 접근성이 낮은 집단일 개연성이 크고, 그렇다면 이들은 대조군 안에서 재입원율을 끌어올리는 역할을 한다. 대조군의 18.1%가 실제보다 높아지므로 격차가 부풀려진다. 왜곡 방향 역시 효과 과대평가다.
부수적 위협. 프로그램이 3월~12월에만 운영되어 겨울철 환자가 대조군에 몰렸다. 재입원이 계절성을 갖는다면 이 또한 대조군 수치를 높이는 방향으로 작동한다.
정리. 세 편향이 모두 같은 방향으로 겹치기 때문에, 관찰된 격차는 프로그램 효과의 상한으로도 신뢰하기 어렵다.
2. 병원이 결론을 유지하려면 어떤 추가 자료가 필요한가? 두 가지를 제시하고, 각 자료가 어떤 값으로 나올 때 결론을 지지하고 어떤 값으로 나올 때 무너뜨리는지 밝혀라.
Read the worked answer
자료 1: 무작위 배정 또는 성향점수 정합 결과.
- 나이, 돌봄 제공자 유무, 중증도, 계절을 맞춘 비교에서 격차가 1~2%포인트 수준으로 줄면 선택 효과가 격차의 대부분을 설명한다는 뜻이므로 결론은 무너진다.
- 정합 후에도 4~5%포인트가 유지되면 프로그램 고유 효과가 있다는 증거가 되어 결론을 지지한다.
자료 2: 미연결 830명의 재입원율과 특성.
- 이들의 재입원율이 대조군 평균(18.1%)보다 뚜렷이 높게 나오면, 오분류가 대조군을 끌어올렸다는 것이 확인되어 결론은 약화된다. 동시에 이 집단이야말로 프로그램이 가장 필요한 대상이라는 정책적 함의가 따라붙는다.
- 반대로 이들의 재입원율이 참여군과 비슷하거나 낮게 나오면 오분류의 영향이 작다는 뜻이므로, 추정치는 상당 부분 유지된다.
보조 자료. 겨울철 환자만 따로 떼어 본 하위 분석도 유용하다. 계절을 통제한 뒤에도 격차가 남는지 확인하면 세 번째 위협을 제거할 수 있다.
판단의 요령. 추가 자료는 ‘결론을 뒷받침하는가’가 아니라 ‘격차를 얼마나 줄이는가’로 읽어야 한다. 관찰 연구에서 효과 크기는 자료가 추가될수록 작아지는 것이 일반적이므로, 5.7%포인트가 그대로 유지된다면 오히려 그 사실 자체가 검증 대상이 된다.
3. 병원 측의 ‘연결이 어려운 환자는 어차피 혜택을 받지 못한다’는 설명은 분석 설계의 관점에서 타당한가? 이 설명이 옳더라도 830명을 대조군에 넣는 것이 왜 문제인지 논하라.
Read the worked answer
결론: 설명 자체는 정책적으로 성립할 수 있으나, 분석 설계의 근거로는 부적절하다.
설명의 논리. “상담을 받지 못한 사람은 혜택도 없다”는 것은 결과에 관한 주장이다. 실제로 연결되지 않았으니 상담은 없었고, 따라서 이들에게서 효과가 관찰될 수 없다는 뜻이다. 이 부분은 사실과 어긋나지 않는다.
그러나 비교군 설계와는 별개 문제다. 프로그램의 효과를 알고 싶다면 물어야 할 질문은 “상담을 받은 사람이 더 나은가”가 아니라 “이 프로그램에 배정된 집단이 배정되지 않은 집단보다 나은가”다. 전자는 준수자 분석(per-protocol), 후자는 배정 기준 분석(intention-to-treat)이다. 전화가 닿지 않은 사람도 프로그램 ‘배정군’에 속한다.
배제와 비순응의 차이. 무작위 배정 아래에서 연결 실패는 비순응으로 처리되어 효과 크기를 희석하지만 편향은 만들지 않는다. 반면 자발적 참여 상황에서 연결 실패자를 대조군으로 옮기면, 실패가 건강 상태나 사회적 지지와 상관되어 있는 한 대조군이 오염된다. 배제는 편향을, 비순응은 희석을 낳는다는 점이 결정적 차이다.
실무적 함의. 830명을 배정군에 남겨 두면 실제 도달률이 약 17.7%(830/4,680)라는 사실이 드러나고, 확대 예산의 타당성도 “도달률을 얼마나 끌어올릴 수 있는가”라는 질문으로 바뀐다. 즉 이 설명은 결론을 정당화하는 근거가 아니라, 정책 설계의 다른 쟁점을 드러내는 자료다.