Rutte voor de Parlementaire ondervragingscommissie Kinderopvangtoeslag © Bart Maat

Of het nu gaat om het opsporen van bijstandsfraude, het bouwen van Vinex-wijken of het aanpakken van illegale vakantieverhuur: steeds vaker maken gemeenten gebruik van slimme algoritmes en risicoprofilering, blijkt uit onderzoek van de NOS. Zulke algoritmes helpen overheden hun taken makkelijker te maken, maar ze vormen ook steeds vaker een bedreiging voor de burger, die door een gebrek aan kennis en zeggenschap machteloos staat tegenover de datasystemen. Ook op nationaal niveau wordt er een algoritmebeleid gevoerd dat weinig rekening houdt met de burger, blijkt uit een onderzoek van de Rekenkamer naar algoritmes binnen de rijksoverheid dat vorige week dinsdag verscheen.

Het onderzoeksorgaan schetst een Rijksoverheid wier ambtenaren vaak gebrekkige kennis hebben van de algoritmes die ze inzetten, waardoor ze vaak niet weten hoe ze discriminatie en privacyschendingen kunnen voorkomen.

Een van de belangrijkste doelen van de Rekenkamer was het openen van de black box van het algoritme, in de hoop de schimmigheid rond de IT-systemen van de overheid op te klaren. Vooralsnog bewaarden verschillende instanties hun systemen, en vooral de werking van hun algoritmes, achter slot en grendel. En wanneer men de digitale poorten wel opende, konden pottenkijkers rekenen op hevig verzet: zo werd de Autoriteit Persoonsgegevens stevig tegengewerkt toen het de Belastingdienst doorlichtte op onder andere discriminerende algoritmes. Pas na dreiging met een dwangsom werd er openheid van zaken gegeven.

Ander voorbeeld: februari vorig jaar werd het Systeem Risico Indicatie (SyRI) per direct stopgezet door de rechter. SyRI is een systeem dat via een algoritme uitkeringsfraude moest opsporen, maar dat zo veel persoonlijke gegevens bezat dat er sprake was van een schending van het Europese Verdrag voor de Rechten van de Mens. Hoe het systeem werkt, wilde de staat niet vrijgeven, omdat ‘burgers hun gedrag erop zouden kunnen aanpassen’.

In de samenleving hangt een zweem van wantrouwen rond algoritmes binnen de overheid. De kritiek komt van gedupeerde mensen, maar ook vanuit de politiek zelf. Zo riep DENK-fractievoorzitter Farid Azarkan vorige week in Buitenhof op om zelflerende algoritmes onmiddellijk stop te zetten, om te voorkomen dat er nog bijstandsontvangers met een dubbele nationaliteit gediscrimineerd kunnen worden.

Bij monde van persvoorlichter Joost Aerts laat de Rekenkamer weten dat ten onrechte het doembeeld wordt geschetst dat de overheid de controle over haar algoritmes kwijt is. ‘Algoritmes zijn slechts hulpmiddelen die ambtenaren kunnen inzetten om hun werk makkelijker te maken.’ Aerts en de zijnen benadrukken dat er voor zover de Rekenkamer weet geen algoritmen gebruikt worden die zelf beslissingen kunnen nemen: ‘Of het nu gaat om een bekeuring uitdelen of het korten op een uitkering, uitvoerende functionarissen nemen zelf de besluiten over het lot van de burger.’

Dat er geen volledig zelflerende algoritmes zijn aangetroffen is een conclusie die je niet kunt trekken op basis van de beperkte data, zegt Marlies van Eck, gespecialiseerd in de juridische kant van kunstmatige intelligentie en werkzaam als docent belastingrecht aan de Radboud Universiteit. ‘Er is een set van tientallen algoritmes door de overheid aangeleverd die onmogelijk gelijk kunnen staan aan het hele algoritmegebruik. De methode van het rapport van de Rekenkamer rammelt aan alle kanten.’ Het is niet haar enige kritiek. Volgens de Rekenkamer zijn de effecten van eenvoudige geautomatiseerde algoritmes op de burgers beperkt, omdat ze laagdrempelige taken uitvoeren zoals het versturen van ontvangstbevestigingen via de mail. Bijvoorbeeld wanneer iemand een uitkering aanvraagt bij het UWV. ‘Daarmee onderschat de Rekenkamer de impact’, zegt van Eck. ‘Uit mijn eigen onderzoek blijkt dat het grootste deel van de besluiten binnen overheidsorganisaties wel degelijk wordt genomen door algoritmes. Bij elkaar opgeteld hebben ze een behoorlijke invloed op ons leven. Denk aan verkeersboetes, kinderbijslag of de hondenbelasting; allemaal zijn ze geautomatiseerd door algoritmes.’

Dat er geen autonome AI-systemen zijn aangetroffen noemt Frank van Harmelen, hoogleraar kunstmatige intelligentie aan de Vrije Universiteit, geruststellend.‘Dit rapport laat zien dat de overheid zijn taken nog niet volledig toevertrouwt aan de algoritmes van AI-systemen.’ Een AI-systeem bestaat in de kern uit twee bestanddelen: data en zelflerende algoritmes. Hij wil benadrukken dat het belangrijk is bij zulke systemen dat er een human in the loop is bij het nemen van beslissingen binnen overheidsorganisaties. ‘Algoritmen excelleren op de dataset waarin je ze getraind hebt, maar zodra de context verandert raakt het systeem in de war. Om die reden zijn zulke systemen nog niet klaar om de taken van ambtenaren over te nemen.’ Als voorbeeld geeft hij de AI-camera’s die de politie in 2019 langs de Nederlandse snelwegen plaatste. De camera detecteert een appende bestuurder waarna een agent op kantoor controleert of er een juiste inschatting is gemaakt en of er een boete moet worden uitgedeeld. ‘Als de camera alleen is ingesteld op daglicht, is de kans groot dat er in het kunstlicht van lantaarnpalen gezichten verkeerd worden gelezen. Zonder een human in the loop kunnen er automobilisten onterecht bekeurd worden.’ Ook binnen defensie wordt er geëxperimenteerd met algoritmes. In november vorig jaar testte het leger tijdens de militaire expeditie Zebra Sword in de provincie Groningen de inzet van automatische wapensystemen. Op afstand bestuurbare gevechtsrobots moeten het leven van soldaten in het peloton beschermen.

Er wordt volop geëxperimenteerd met algoritmes, maar volgens de Rekenkamer heeft de Rijksoverheid weinig idee van wat van er in de eigen gelederen omgaat. Dat is opmerkelijk, omdat het controleorgaan concludeert dat de algoritmes binnen de rijksoverheid juist géén black boxes zijn. Hoe kan het dan dat er binnen ieder ministerie zo weinig kennis is over algoritmes? Volgens Aerts ligt het antwoord van de Rekenkamer op die vraag in het gebrekkige algoritmebeleid van de Rijksoverheid: ‘Iedere instantie zet op zijn eigen manier algoritmes in, waardoor het voor de ministers onmogelijk wordt om overzicht te houden.’

Ook onder ambtenaren spelen er problemen met algoritmes. Volgens Hanny Kemna, lid van het college van de Rekenkamer, is een van de grootste problemen dat ambtenaren vaak weinig begrijpen van de algoritmes die ze zelf toepassen. Daar moet volgens haar verandering in komen: ‘De tijd van het computer says no-syndroom is definitief voorbij; ambtenaren die algoritmes toepassen moeten er ook eigenaarschap over nemen.’ Een toetsingskader waarbij algoritmes langs de meetlat worden gelegd van privacy-eisen en ethische richtlijnen moet houvast bieden.

In een reactie van de staatssecretaris van Binnenlandse zaken Raymond Knops van het CDA op het rapport is te lezen dat het toetsingskader wordt meegenomen, maar dat er ‘rekening moet worden gehouden met bestaande structuren en de autonomie van de departementen en uitvoeringsorganisaties’. Met andere woorden: iedere overheidsorganisatie voert een eigen algoritmebeleid. Dat is nu juist het probleem dat in het rapport wordt aangekaart.

Volgens de Rekenkamer is het moment aangebroken dat de politiek verantwoordelijkheid moet gaan dragen voor haar eigen algoritmebeleid. Aerts vult aan: ‘De onrust in de samenleving over algoritmes is groot. De datasystemen van de overheid liggen onder een vergrootglas. We vinden het te makkelijk als de staatssecretaris zegt dat ieder ministerie verantwoordelijk is voor haar eigen algoritmebeleid.’

Als er iets is wat de toeslagenaffaire heeft duidelijk gemaakt is het dat de gedupeerden geen idee hadden in welke systemen ze terecht waren gekomen. Er zijn verschillende initiatieven in de lucht waar uitgelegd wordt hoe gemeenten algoritmes inzetten. Op algoritmeregister.amsterdam.nl legt Gemeente Amsterdam bijvoorbeeld uit hoe algoritmes worden ingezet om onder andere parkeerboetes uit te delen, de anderhalvemeter-richtlijnen te handhaven en woningfraude aan te pakken.

De Rekenkamer zelf stelt voor een loket op te zetten in gemeentehuizen, waar burgers terecht kunnen voor vragen over algoritmes. Wie bijvoorbeeld in zijn uitkering gekort wordt moet in het systeem mogen kijken dat ervoor verantwoordelijk is. Zo’n loket kan volgens Frederik Zuiderveen Borgesius, hoogleraar ICT & recht aan de Radboud Universiteit, voor meer rust zorgen onder mensen die in de bijstand zitten: ‘Kennis over algoritmes kan de burger wapens in handen geven tegen de overheid, maar kan ook helpen bij acceptatie. Als een ambtenaar kan uitleggen waarom iemand gekort wordt op zijn uitkering of binnen het risicoprofiel valt voor het plegen van fraude, is het ook makkelijker om het een plek te geven.’

‘Een sympathiek initiatief,’ noemt Marlies van Eck het loket, maar ‘het brengt de toegenomen macht van de overheid niet in balans’; daarvoor moet je volgens haar niet bij de burger aankloppen. ‘Als ik naar de Intratuin ga om een zak potgrond te kopen, kan ik er van uitgaan dat het gecertificeerd is. Ik vertrouw erop dat het doet waarvoor het bedoeld is, ik hoef niet te weten wat er allemaal inzit. Een informatieloket wekt de suggestie dat de verantwoordelijkheid bij de burger ligt, terwijl het aan de overheid zelf is om hun algoritmes op orde te krijgen.’


Het inlichtingenbureau

Vorige week verscheen er in De Groene een profiel van het Inlichtingenbureau, ‘een van de grootste verzamelaars van persoonlijke data’. Dit informatieknooppunt koppelt digitale databestanden van sociale diensten aan die van andere overheidsinstanties. Op de vraag wat de rol van algoritmes is binnen het Inlichtingenbureau heeft persvoorlichter Joost Aerts een duidelijk antwoord: ‘We zijn niet ingegaan op de specifieke rol van instanties als het Inlichtingenbureau.’ Aerts zegt dat de Rekenkamer de komende tijd gaat nadenken over een onderzoek naar algoritmes binnen een overheidsorganisatie.