De VNG concludeerde in de Uitvoeringsanalyse Digital Decade AI-verordening dat gemeenten nog niet voldoende waren toegerust voor de uitvoering van de AI Act. De bewustwording en kennis stonden nog aan het begin, gemeenten waren bij de inventarisatie afhankelijk van hun softwareleveranciers en verschillende procedures moesten nog worden uitgewerkt. Hoewel een deel van de verplichtingen inmiddels is uitgesteld, gelden andere verplichtingen al. Deugdelijke AI governance is daarom nu al noodzakelijk. Wat moeten overheidsinstanties nu regelen? In deze blog bespreken wij de belangrijkste verplichtingen en geven wij een praktisch stappenplan waarmee overheidsorganisaties hun AI governance kunnen inrichten en volledig aan de AI Act kunnen voldoen.
Wat moet nu al worden geregeld binnen de AI governance?
De volgende onderdelen van de AI Act gelden op dit moment al en zijn in het bijzonder relevant voor de AI governance van overheidsinstanties:
- Verboden AI-systemen: De meeste verboden gelden sinds 2 februari 2025 en moeten binnen de AI governance worden geïmplementeerd. Het gaat onder meer om social scoring, bepaalde vormen van biometrische categorisering, emotieherkenning op de werkplek en AI-systemen die mensen manipuleren of misbruik maken van hun kwetsbaarheid. Enkele later toegevoegde verboden gelden vanaf 2 december 2026.
- AI-geletterdheid: Aanbieders en gebruiksverantwoordelijken moeten sinds 2 februari 2025 binnen hun AI governance maatregelen nemen om de ontwikkeling van AI-geletterdheid te ondersteunen. Deze verplichting is door de Digital Omnibus gewijzigd van een resultaatsgerichte verplichting naar een inspanningsgerichte verplichting. Organisaties hoeven niet langer een bepaald niveau van AI-geletterdheid van iedere persoon te waarborgen, maar moeten wel maatregelen nemen om de ontwikkeling daarvan te ondersteunen. Daarbij moet rekening worden gehouden met de kennis, ervaring en opleiding van medewerkers en met de context waarin de AI-systemen worden gebruikt. De verplichting is dus verzacht, maar niet vervallen.
- Transparantieverplichtingen: sinds 2 augustus 2026 gelden transparantieverplichtingen voor bepaalde AI-systemen en AI-content. Zo moeten natuurlijke personen in beginsel worden geïnformeerd wanneer zij met een AI-systeem communiceren, bijvoorbeeld via een chatbot. Gebruiksverantwoordelijken moeten daarnaast bij onder meer deepfakes en bepaalde AI-teksten over aangelegenheden van algemeen belang bekendmaken dat de content met AI is gegenereerd of gemanipuleerd. Implementeer deze transparantieverplichtingen in de AI governance.
- Registratie van AI-systemen met een hoog risico: registratie vormt een belangrijk onderdeel van de AI governance. Overheidsinstanties moeten sinds 2 augustus 2026 zichzelf en het gebruik van daarvoor aangewezen AI-systemen met een hoog risico in de EU-databank registreren voordat zij deze systemen gebruiken. Op dit moment is het echter nog niet duidelijk hoe en via welk portaal deze registratie moet plaatsvinden. Het is daarom verstandig deze systemen alvast in een intern AI-register vast te leggen en de benodigde gegevens te verzamelen, zodat de registratie kan worden voltooid zodra het portaal beschikbaar is.
Complianceverplichtingen voor AI-systemen met een hoog risico uitgesteld
De zwaarste complianceverplichtingen uit de AI Act gelden voor AI-systemen met een hoog risico. Voor overheidsinstanties kan daarvan bijvoorbeeld sprake zijn bij AI-systemen voor de toekenning of intrekking van overheidsuitkeringen, de werving en selectie van personeel, bepaalde rechtshandhavingstaken en de behandeling van asiel-, visum- en verblijfsaanvragen.
Voor deze voor overheidsinstanties relevante AI-systemen met een hoog risico zouden de complianceverplichtingen oorspronkelijk vanaf 2 augustus 2026 gelden. Door de Digital Omnibus is deze datum uitgesteld tot 2 december 2027.
Voor AI-systemen met een hoog risico die zijn bedoeld om door overheidsinstanties te worden gebruikt en vóór 2 december 2027 in de handel worden gebracht of in gebruik worden gesteld, geldt overgangsrecht. Als zo'n systeem vanaf die datum aanzienlijk wordt gewijzigd, moeten de aanbieder en gebruiksverantwoordelijke al vanaf dat moment aan de AI Act voldoen. In alle gevallen moeten zij uiterlijk op 2 augustus 2030 de nodige stappen hebben genomen om aan de AI Act te voldoen. Deze verplichtingen moeten worden ingebed in de AI governance van de organisatie.
Welke verplichtingen gaan gelden voor AI-systemen met een hoog risico?
De AI Act maakt onderscheid tussen de aanbieder en de gebruiksverantwoordelijke. Een duidelijke rolverdeling vormt een belangrijk uitgangspunt voor de AI governance.
Gemeenten en andere overheidsinstanties zullen meestal gebruiksverantwoordelijke zijn: zij gebruiken een AI-systeem onder hun eigen verantwoordelijkheid. Vanaf 2 december 2027 moeten gebruiksverantwoordelijken de volgende verplichtingen voor AI-systemen met een hoog risico in hun AI governance hebben geborgd:
- Beoordeling van de gevolgen voor de grondrechten: overheidsinstanties moeten voor het eerste gebruik van de meeste hoogrisicosystemen de gevolgen voor de grondrechten beoordelen. Daarbij brengen zij onder meer de betrokken personen, mogelijke schade, het menselijk toezicht en de risicobeperkende maatregelen in kaart. Deze beoordeling wordt ook wel een Fundamental Rights Impact Assessment (FRIA) genoemd.
- Gebruik overeenkomstig de gebruiksaanwijzingen: de overheidsinstantie dient het systeem te gebruiken zoals bedoeld en gespecificeerd door de aanbieder, met inachtneming van de meegeleverde documentatie en gebruiksbeperkingen.
- Menselijk toezicht: de overheidsinstantie moet zorgen voor daadwerkelijk menselijk toezicht door personen die over voldoende bekwaamheid, opleiding en autoriteit beschikken, zodat nadelige effecten tijdig kunnen worden bijgestuurd of voorkomen.
- Inputdata: voor zover de overheidsinstantie controle heeft over de inputdata, moet zij erop toezien dat deze relevant en voldoende representatief zijn voor het doel waarvoor het systeem wordt ingezet.
- Monitoring en melding: de overheidsinstantie dient de werking van het systeem actief te monitoren. Bij signalen van risico's of ernstige incidenten moet zij passende maatregelen nemen en in bepaalde gevallen melding doen aan de aanbieder en de bevoegde autoriteiten.
- Bewaren van logs: overheidsinstanties moeten automatisch gegenereerde logs bewaren voor zover deze onder hun controle vallen, zodat controle achteraf mogelijk is.
- Informeren van werknemers en betrokkenen: overheidsinstanties moeten werknemers en hun vertegenwoordigers vooraf informeren over het gebruik van het AI-systeem op de werkplek, volgens de geldende wet- en regelgeving. Als het AI-systeem beslissingen neemt of ondersteunt die betrekking hebben op personen, moeten overheidsinstanties ook deze personen informeren over het gebruik van het systeem.
- Data Protection Impact Assessment (DPIA): als dat vereist is, gebruikt de overheidsinstantie de informatie over het AI-systeem om een DPIA uit te voeren op grond van de AVG.
- Samenwerking met bevoegde autoriteiten: op verzoek van bevoegde autoriteiten moeten overheidsinstanties informatie verschaffen over het gebruik van het systeem en medewerking verlenen aan eventuele onderzoeken.
Ook de bestuursrechtelijke waarborgen uit de Awb moeten onderdeel zijn van de AI governance. Wanneer een besluit mede met behulp van een AI-systeem wordt voorbereid of op de output daarvan wordt gebaseerd, moet het bestuursorgaan onder meer zorgen voor een zorgvuldige voorbereiding en een deugdelijke motivering. Ook moet de rechtsbescherming, waaronder de mogelijkheden van bezwaar en beroep, gewaarborgd blijven.
Een overheidsorganisatie kan ook aanbieder zijn, bijvoorbeeld wanneer zij zelf een AI-systeem ontwikkelt of laat ontwikkelen en dit onder haar eigen naam in gebruik stelt. In dat geval moeten binnen de AI governance aanvullende eisen en verplichtingen worden geborgd.
Praktisch stappenplan voor AI governance binnen overheidsinstanties
1. Beleg de verantwoordelijkheid voor AI governance op ambtelijk en bestuurlijk niveau
AI governance begint met een duidelijke verdeling van verantwoordelijkheden. Wijs binnen de organisatie een verantwoordelijke aan voor AI-compliance, bijvoorbeeld een AI-compliance officer. Deze kan de inventarisatie, kwalificatie en monitoring van AI-systemen coördineren. Beleg daarnaast de bestuurlijke verantwoordelijkheid, bijvoorbeeld bij een portefeuillehouder binnen het college. Maak duidelijk hoe het bestuur wordt geïnformeerd over het gebruik en de risico's van AI.
2. Inventariseer AI-systemen en leveranciers als basis voor de AI governance
Breng in kaart welke AI-systemen worden gebruikt en welke leveranciers daarbij betrokken zijn. Kijk ook naar AI-functionaliteiten in bestaande software.
3. Bepaal per systeem de rol en juridische kwalificatie
Beantwoord per systeem vier vragen:
- Is sprake van een AI-systeem in de zin van de AI Act?
- Is sprake van een verboden AI-systeem, een AI-systeem met een hoog risico of een AI-systeem waarvoor transparantieverplichtingen gelden?
- Is de overheidsorganisatie aanbieder of gebruiksverantwoordelijke?
- Welke verplichtingen volgen daaruit?
4. Voer een risicoanalyse uit en implementeer de maatregelen
Beoordeel binnen de AI governance de juridische, organisatorische en technische risico's en bepaal welke maatregelen nodig zijn. Kijk daarbij ook naar de samenhang met de AVG, de Awb en de BIO. Stel beleid en interne instructies op, beleg verantwoordelijkheden en organiseer AI-geletterdheid. Richt waar nodig menselijk toezicht, controle van inputdata, monitoring, logging en informatie- en transparantieverplichtingen in. Stel daarnaast procedures op voor registratie, incidentmeldingen, de FRIA en de DPIA.
5. Maak afspraken met leveranciers
Ook afspraken met leveranciers maken onderdeel uit van de AI governance. Leg contractueel vast wat het beoogde gebruik en de risicocategorie van het systeem zijn, welke AI Act-verplichtingen de leverancier naleeft en welke documentatie en gebruiksinstructies hij verstrekt. Maak daarnaast afspraken over toegang tot logs, monitoring, beveiliging, wijzigingen en updates, termijnen voor het melden van incidenten, medewerking aan registratie, de FRIA en DPIA, auditrechten en de gevolgen van niet-naleving of beëindiging van de dienstverlening.
6. Evalueer de AI governance periodiek
Controleer regelmatig of de inventarisatie, kwalificatie en getroffen maatregelen nog actueel zijn. Herbeoordeel het systeem wanneer de werking, leverancier, gebruikscontext of het beoogde doel verandert.
Uitstel biedt voorbereidingstijd
Het uitstel van de complianceverplichtingen voor AI-systemen met een hoog risico betekent niet dat overheidsinstanties kunnen afwachten. De verboden AI-systemen, de verplichting tot AI-geletterdheid, de transparantieverplichtingen en de registratieplicht gelden al. Een actuele inventarisatie, een juiste juridische kwalificatie, duidelijke verantwoordelijkheden en afspraken met leveranciers vormen de basis voor AI governance.
Yspeert advocaten helpt overheidsinstanties bij AI governance
De teams ICT-recht, bestuursrecht en aanbestedingsrecht van Yspeert ondersteunen gemeenten en andere overheidsinstanties bij AI governance en de toepassing van de AI Act:
- Hillie Lunter en Tom Klatter adviseren over de kwalificatie van AI-systemen, de verplichtingen die daaruit voortvloeien, het uitvoeren van een FRIA en DPIA en het inrichten van AI Act-compliance. Ook ondersteunen zij bij het vastleggen van AI Act-verplichtingen en de verdeling van verantwoordelijkheden in contracten met leveranciers;
- Elzelou Grit adviseert over de bestuursrechtelijke gevolgen van AI-gebruik en de samenhang met de Awb;
- Ruth Pruim adviseert over de inkoop en aanbesteding van AI-systemen en software met AI-functionaliteiten.
Wilt u weten hoe u de verplichtingen uit de AI Act binnen uw AI governance kunt borgen? Neem dan gerust contact op met een van onze specialisten.
