Rekenkamer Rotterdam onderzoekt algoritmes en AI

05 augustus 2023 door een van onze redacteuren

In 2021 publiceerde de Rekenkamer Rotterdam het rapport ‘Gekleurde technologie’. Het onderzoek maakte duidelijk dat de gemeente Rotterdam op dat moment onvoldoende zicht had op de aard en het gebruik van algoritmes binnen de organisatie. Ook werd geconcludeerd dat de gemeente te weinig aandacht besteedde aan het beheersen van ethische risico’s bij de ontwikkeling en uitvoering van algoritmes. Bij de behandeling van het rapport diende de raad een motie in waarin de rekenkamer werd verzocht een vervolgonderzoek naar de toepassing van algoritmes uit te voeren.

Raad wil dieper onderzoek

Met het nieuwe onderzoek dat januari 2023 is begonnen beoogt de rekenkamer antwoord te geven op de vraag in hoeverre de afspraken en het beleid van de gemeente Rotterdam toereikend zijn voor een verantwoorde toepassing van algoritmes.

De rekenkamer zal in het onderzoek kijken naar de wijze waarop de organisatorische afspraken, ook wel ‘governance’ genoemd, functioneren en in hoeverre deze in de praktijk daadwerkelijk worden toegepast. Onderdeel van het onderzoek is het daadwerkelijk toetsen van enkele algoritmes.

Wanneer worden algoritmen Artificiële Intelligentie ofwel AI?

Daarvoor moeten we kijken naar de definitie. AI is opgebouwd uit algoritmen zegt NORA, de website van de Nederlandse digitale overheid. Maar niet alle algoritmen zijn onderdeel van AI. Een algoritme kan worden omschreven als een set bij elkaar behorende digitale instructies die een bepaald probleem oplossen of een bepaalde taak uitvoeren.In het geval van AI kunnen we ervan uitgaan dat algoritmen geschreven zijn in een programmeertaal en dat het gaat om het verwerken van digitale gegevens.

Een geautomatiseerde beslisboom bijvoorbeeld is ook een algoritme. Maar dit is slechts een automatische versie van besluitvorming die door een mens op precies dezelfde manier zou zijn gedaan volgens die beslisregels op basis van ‘if X, then Y, else Z’.

NORA schrijft: De Nederlandse AI-coalitie hanteert voor het begrip AI de volgende omschrijving: 'Het vermogen van een systeem om externe gegevens correct te interpreteren, om te leren van deze gegevens, en om deze lessen te gebruiken om specifieke doelen en taken te verwezenlijken via flexibele aanpassing. Dit vermogen is traditioneel voorbehouden aan mensen.'

'Het vermogen van een systeem om externe gegevens correct te interpreteren, om te leren van deze gegevens, en om deze lessen te gebruiken om specifieke doelen en taken te verwezenlijken via flexibele aanpassing.

Hoe zelflerend vermogen van systemen uit de hand kan lopen laat een voorbeeld uit 2013 bij de belastingdienst zien:

Een zelflerend algoritme nam aldaar autonoom de regie en creëerde een 'risicomodel', waarbij het nauwkeurig berekende welke factoren een verhoogd risico op fraude met zich meebrachten. Het algoritme wees een risicoscore toe aan aanvragen voor kinderopvangtoeslag, waarbij aanvragen met een hoge score vaker werden onderworpen aan extra fraudecontroles. Het algoritme verwierf zelf de overtuiging dat huishoudens met een laag inkomen een verhoogde neiging hadden tot fraude. Dit leidde ertoe dat de Belastingdienst huishoudens met een laag inkomen vaker verdacht van mogelijke fraude met betrekking tot de kinderopvangtoeslag.

Het eerdere Rotterdamse onderzoek en de beslisboom

Vanwege dit en het toenemend gebruik en vermogen van AI heeft de gemeenteraad, de gemeente Rotterdam al eerder een onderzoek van de Rekenkamer in gang gezet.