Betalingsachterstand voorspellen: postcode, precisie en de DPIA die nog niet bestaat
Een woningcorporatie met 42.000 woningen wil huurders met een hoog risico op betalingsachterstand vroeg benaderen, zodat een huurconsulent een huisbezoek kan plannen in plaats van te wachten op een incassotraject. Het model is getraind op gegevens uit het ERP over 2017 tot en met 2023. Het veld 'huurtoeslag' ontbreekt bij 18% van de huurders en is in de trainingsdata als 0 ingevuld. Het veld 'inkomen' komt van een externe bron die in 2021 de definitie heeft gewijzigd. Het model haalt een AUC van 0,81; in de hoogste deciel is de precisie 0,34. Postcodegebied is een van de variabelen; zonder postcode zakt de AUC naar 0,74. De modelleur wil postcode behouden. De corporatie wil volgend kwartaal starten met de consulenten; er is nog geen DPIA uitgevoerd en er is geen modelregister. FB is gevraagd het model 'in productie te accepteren'.
1. Wat adviseer je over de postcodevariabele, en hoe weeg je dat tegen de modelprestaties?
Read the worked answer
Postcodegebied is in Nederland sterk gecorreleerd met huishoudkenmerken die niets met betaalgedrag te maken hebben, waaronder migratieachtergrond en huishoudsamenstelling. Gebruik als voorspeller betekent dat het model mensen selecteert op basis van waar ze wonen, ook als dat statistisch werkt. Dat is indirect onderscheid en het is bovendien een zichzelf versterkend effect: wie vaker wordt bezocht, komt vaker in de data als 'risico'.
De prestatie-afweging is minder zwaar dan hij lijkt. Een daling van 0,81 naar 0,74 AUC klinkt als verlies, maar de relevante maat hier is de precisie van 0,34 in de hoogste deciel: twee van de drie benaderde huurders zouden het bezoek dus niet nodig hebben. Het model is dus hoe dan ook een prioriteringshulpmiddel, geen voorspelling die op zichzelf een besluit draagt.
Advies: postcode eruit, en de resterende prestatie accepteren. Als de corporatie postcode wil behouden, is dat een expliciet, gedocumenteerd besluit van de bestuurder met een uitgevoerde toets op onderscheid, niet een keuze van de modelleur op basis van AUC. Wat je in geen geval doet, is de variabele behouden omdat het model anders 'minder goed' is; dat is een technische reden voor een ethisch vraagstuk.
2. Beoordeel de datakwaliteit. Welke dimensies zijn hier in het geding en wat is het gevolg voor het gebruik van het model?
Read the worked answer
Drie dimensies zijn direct geraakt.
Completeness. Bij 18% ontbreekt huurtoeslag en is het als 0 ingevuld. Dat is geen neutrale opvulling: 0 betekent 'geen toeslag', terwijl de werkelijke waarde onbekend is. Het model leert daardoor dat een deel van de huurders geen toeslag heeft, terwijl ze die mogelijk wel hebben. Het gevolg is systematische vertekening in precies de groep die het risico loopt.
Consistency. De inkomensdefinitie is in 2021 gewijzigd, maar het model is getraind op data van vóór en na die wijziging. Dezelfde variabele betekent niet hetzelfde over de hele periode. Dat is een klassieke bron van schijnverbanden, en het verklaart mogelijk mede waarom de precisie in de hoogste deciel zo laag is.
Timeliness en bruikbaarheid. De gegevens zijn tot 2023; de huurmarkt en de energieprijzen hebben zich daarna bewogen. Een model dat trends uit die periode doortrekt, kan afwijken van de actuele situatie zonder dat dit bij de invoering zichtbaar is.
Gevolg: het model is bruikbaar als hulpmiddel bij prioritering, mits een consulent altijd zelf beoordeelt. Het is niet bruikbaar als grondslag voor een besluit met gevolgen voor de huurder, zoals het weigeren van een betalingsregeling. De precisie van 0,34 verdraagt geen geautomatiseerde consequentie.
3. Wat moet er minimaal geregeld zijn voordat FB dit model in productie neemt? Noem de volgorde en wie waarvoor tekent.
Read the worked answer
FB moet de opdracht 'accepteer het model' terugleggen, want FB kan geen model accepteren waarvan de grondslag niet is beoordeeld. Volgorde:
- DPIA. Er is sprake van profilering van huurders met gegevens over inkomen en toeslagen, en mogelijk effecten op hun woonsituatie. Zonder DPIA is er geen zicht op de risico's en de maatregelen; de FG moet hierbij betrokken zijn, niet achteraf.
- Modelregister en eigenaarschap. De proceseigenaar (huurincasso) wordt eigenaar van het gebruik; het data-team van het model. FB wordt eigenaar van de applicatie en de inrichting van het consulentenscherm.
- Menselijke tussenkomst in het proces. De score mag alleen een voorstel voor een bezoek opleveren; de consulent beslist en kan afwijken, en die afwijking wordt vastgelegd. Dat is niet alleen ethiek, het is ook de enige correctie op de precisie van 0,34.
- Monitoring. Afspraken over datadrift, over de verdeling van uitkomsten naar woonplaats en over periodieke herijking van het model, met een moment waarop het model opnieuw wordt beoordeeld.
- Transparantie naar de huurder. Uitleg dat een gesprek volgt op een signaal, en hoe de huurder daarop kan reageren.
FB tekent voor de werking van de applicatie en de logging, niet voor het model. Dat onderscheid moet in het acceptatiedocument staan, anders verschuift de verantwoordelijkheid stilzwijgend naar de techniek.