Een sepsisalgoritme dat zijn belofte niet waarmaakt
Een universitair medisch centrum voert een algoritme in dat op de intensive care sepsis voorspelt. Het model is ontwikkeld op 40.000 ic-opnames uit 2019-2021 in twee academische ziekenhuizen en haalt daar een AUROC van 0,84. In een proef in een algemeen ziekenhuis met ongeveer 600 ic-opnames per jaar zakt de AUROC naar 0,71. Het model slaat bij 12% van de patiënten alarm; verpleegkundigen blijken ongeveer 70% van die alarmen te negeren. De raad van bestuur overweegt invoering, met het argument: 'Een AUROC van 0,71 is nog steeds beter dan niets.' De leverancier wil het model bijwerken met lokale data en vraagt daarvoor vijf jaar lang toegang tot alle patiëntendossiers van de ic.
1. Leg uit wat een daling van de AUROC van 0,84 naar 0,71 betekent, en noem drie oorzaken waardoor zo'n daling kan optreden.
Read the worked answer
Wat AUROC meet. De AUROC is de kans dat het model bij een willekeurig zieke patiënt een hogere risicoscore geeft dan bij een willekeurig niet-zieke patiënt. 0,5 is niet beter dan tossen, 0,84 is goed, 0,71 is matig. Een daling betekent dus dat het model in de nieuwe populatie minder goed onderscheid maakt tussen patiënten die wel en niet sepsis ontwikkelen.
Oorzaken.
- Andere populatie (case-mix). Een algemeen ziekenhuis heeft andere patiënten, andere ernst en een andere prevalentie van sepsis dan een academisch centrum. Prevalentie beïnvloedt vooral de voorspellende waarde, maar ook deels de discriminatie.
- Andere data en registratie. Andere laboratoriumapparatuur, andere meetfrequenties, meer ontbrekende waarden of een andere vastlegging van verpleegkundige observaties veranderen de invoer van het model.
- Andere uitkomstdefinitie. Sepsis wordt met verschillende criteria vastgesteld; is de uitkomst in het nieuwe ziekenhuis anders gedefinieerd, dan 'voorspelt' het model iets anders dan waarvoor het is getraind.
- Overfitting en gebrek aan externe validatie. Het model is ontwikkeld op twee ziekenhuizen; de prestatie op de ontwikkeldata is altijd gunstiger dan op nieuwe data.
Conclusie: het model is niet zonder meer overdraagbaar. Validatie in de eigen populatie is noodzakelijk voordat invoering aan de orde is.
2. Beredeneer met een getallenvoorbeeld waarom het negeren van 70% van de alarmen de vraag beïnvloedt of het systeem 'beter is dan niets'.
Read the worked answer
Neem 100 ic-patiënten. Bij 12% alarm zijn dat 12 alarmen. Stel dat 30% daarvan terecht is (positief voorspellende waarde 0,30): 3,6 terecht, 8,4 loos alarm.
Wordt 70% genegeerd, dan reageren verpleegkundigen op ongeveer 3,6 alarmen per 100 patiënten. Een deel daarvan is terecht, maar een deel ook niet. Tegelijk blijven patiënten bij wie het model geen alarm gaf buiten beeld. Het systeem levert dan nauwelijks gezondheidswinst op, kost wel werktijd en kan het vertrouwen in alle alarmsystemen aantasten (alarmmoeheid).
Waarom 'beter dan niets' niet is aangetoond.
- AUROC is een eigenschap van het model, niet van de zorg. Of patiënten er beter van worden hangt af van de positief voorspellende waarde, van de vraag of clinici adequaat reageren en van de behandeling die volgt.
- Er is geen vergelijking met de bestaande situatie. Daarvoor is een voor- en nameting nodig, of een gerandomiseerde implementatie, met klinisch relevante uitkomsten zoals sterfte, ic-opnameduur en tijd tot antibiotica.
- Zonder baseline is 'beter dan niets' een aanname, geen resultaat.
3. Noem twee ethische en twee praktische voorwaarden waaronder je zou instemmen met het bijwerken van het model met lokale data.
Read the worked answer
Ethische voorwaarden.
- Dataminimalisatie en doelbinding. Alleen de gegevens die voor het model nodig zijn, gepseudonimiseerd, met een vastgelegde bewaartermijn. Vijf jaar volledige dossierinzage is niet proportioneel als drie jaar met een beperkte set variabelen volstaat.
- Transparantie en wettelijke grondslag. Een geregistreerde grondslag, een uitgevoerde gegevensbeschermingseffectbeoordeling (DPIA) en duidelijke informatie aan patiënten, met afspraken over eigendom van het model en over gebruik door de leverancier voor andere doeleinden.
Praktische voorwaarden.
- Validatie vóór invoering. Het bijgewerkte model wordt eerst uitwendig gevalideerd in de eigen populatie, met vooraf vastgelegde uitkomsten en een vooraf vastgestelde minimale prestatie. Pas daarna volgt invoering.
- Mens in de lus en monitoring. Duidelijke werkinstructies, een vastgelegde reactie op een alarm, monitoring van het aantal alarmen en van de positief voorspellende waarde, en een knop om het systeem uit te zetten. Ook moet de leverancier aantonen dat het model niet verslechtert na verloop van tijd.
Zonder deze vier voorwaarden zou ik niet instemmen: de data zijn gevoelig, het model is aantoonbaar niet overdraagbaar en de klinische winst is nog niet gemeten.