De kennisbank van de gemeente: drie versies van dezelfde verordening
Een gemeente met 3.100 medewerkers zet een AI-assistent in voor het klantcontactcentrum, gebaseerd op retrieval over beleidsdocumenten. De assistent geeft antwoorden met bronvermelding en wordt door 40 KCC-medewerkers gebruikt. In de pilot beantwoordt hij 78% van de 50 steekproefvragen correct. Bij 6 antwoorden verwijst hij naar een PDF van de Wmo-verordening die sinds 2022 op de website staat en nooit is bijgewerkt; er bestaat ook een vastgestelde versie 2024 en een conceptversie 2025 die op het intranet circuleert. Medewerkers mogen zelf documenten uploaden naar de kennisbank, omdat de leverancier dat als selfservice-functionaliteit aanprijst. FB beheert de applicatie, een informatieadviseur beheert het metadatamodel, en de DIV-afdeling beheert het archief met de vastgestelde versies. De teamleider KCC wil de assistent volgende maand live hebben; de leverancier ziet geen probleem, want 'de bron staat erbij'.
1. Waarom is dit in de eerste plaats een vraagstuk van informatiemanagement en niet van applicatiebeheer? Benoem de lagen en de rol van elke laag.
Read the worked answer
Omdat de fout niet in de techniek zit maar in de informatie zelf. De assistent doet wat hij is opgedragen: hij haalt op uit wat hem is aangeboden. Het probleem is dat de aangeboden verzameling geen betrouwbare afspiegeling is van de geldende informatiehuishouding.
De lagen:
- Strategische laag: het bestuur bepaalt dat alleen vastgesteld beleid als bron mag gelden. Zonder dat uitgangspunt is er geen criterium om documenten te weigeren.
- Informatiemanagement: bepaalt de bron van waarheid, het metadatamodel (status, versie, geldigheidsdatum, eigenaar) en de koppeling met het archief. Dit is de laag die hier ontbreekt.
- Applicatielaag (FB): richt de inname van documenten in en bewaakt de werking. FB kan de techniek goed inrichten en toch een onbetrouwbare assistent opleveren.
De leverancier heeft gelijk dat bronvermelding helpt, maar bronvermelding is geen waarheidsgarantie: een correct geciteerde verouderde PDF is nog steeds een onjuist antwoord aan een burger. De selfservice-upload is daarom precies de verkeerde standaardinstelling: hij verplaatst de verantwoordelijkheid voor de bron naar 40 medewerkers die die bevoegdheid niet hebben.
2. Wat moet FB als eerste regelen om de betrouwbaarheid te verhogen, en wie heeft daarvoor mandaat nodig?
Read the worked answer
De eerste maatregel is niet een betere prompt of een ander model, maar het dichtzetten van de invoer: alleen documenten met de status 'vastgesteld', voorzien van geldigheidsdatum, mogen in de kennisbank. Dat betekent selfservice-upload uitzetten en de inname automatiseren vanuit één bron, namelijk het archief dat DIV beheert.
Die volgorde is bewust: zolang de invoer open staat, levert elke verbetering aan de retrieval slechts tijdwinst op.
Mandaat: FB kan de uploadfunctie technisch uitzetten, maar niet zelf bepalen welke versie juridisch geldig is. Dat besluit hoort bij de informatieadviseur en de proceseigenaar van het KCC, met DIV als uitvoerder van het archief. FB heeft dus een opdracht van de proceseigenaar nodig, anders is het uitzetten van een functionaliteit een eigenmachtige beperking van de gebruikers.
Praktisch: FB levert een korte notitie met het risico (6 van 50 antwoorden fout, dus ongeveer 12% onjuiste bronverwijzing), de voorgestelde maatregel en de eigenaar per maatregel. Dat maakt het besluit neembaar en voorkomt dat FB het als technisch probleem alleen oplost.
3. Welke inrichting van de informatievoorziening voorkomt herhaling, ook als er volgend jaar weer een nieuwe verordening komt?
Read the worked answer
Herhaling ontstaat als de kennisbank een tweede, zelfstandig bijgehouden verzameling wordt naast het archief. Voorkom dat door de kennisbank geen eigen kopie te laten zijn, maar een afgeleide met een expliciete levensduur.
Drie elementen:
- Eén bron van waarheid met een statusveld. Documenten komen alleen binnen via de archiefkoppeling; bij een nieuwe vastgestelde versie vervalt de geldigheid van de oude automatisch en verdwijnt die uit de retrieval.
- Metadata die de vraag kan beantwoorden. Niet alleen 'geüpload op', maar: geldig vanaf, geldig tot, status (concept/vastgesteld/ingetrokken) en eigenaar. De assistent moet op geldigheid filteren, niet op datum van upload.
- Een acceptatietest bij elke bronwijziging. Een vaste set van 50 vragen met het juridisch juiste antwoord, die bij elke update opnieuw wordt gedraaid, met de eis dat de assistent nooit een concept of ingetrokken versie citeert.
Daarnaast: één verantwoordelijke voor de kennisbank in de lijn, niet bij FB. FB beheert de pijplijn en de testset; de inhoudelijke eigenaar tekent af welke versie geldt. Zo blijft de vraag 'welke verordening geldt' bij de mensen die hem kunnen beantwoorden.