Verboden AI-systemen

Let op: vanaf 2 februari 2025 zijn bepaalde AI-systemen verboden

Artificial Intelligence (AI) biedt talloze voordelen die ons dagelijks leven efficiënter en effectiever maken. Zo helpt ChatGPT bedrijven bij het schrijven van marketingteksten, en ondersteunt AI in de zorg bij het analyseren van scans, wat leidt tot snellere diagnoses. Tegelijkertijd brengt AI ook risico’s met zich mee. Zo kunnen sommige AI-systemen een discriminerend effect hebben, bijvoorbeeld bij het beoordelen van sollicitanten of het vaststellen van kredietwaardigheid, wat leidt tot onterecht negatieve gevolgen voor bepaalde groepen mensen. Om dergelijke misstanden te voorkomen, is op 1 augustus 2024 de Europese AI-verordening (AI Act) in werking getreden. Deze wet stelt duidelijke regels voor het gebruik van AI, waaronder een verbod op bepaalde AI-systemen die als onaanvaardbaar risico worden beschouwd. Vanaf 2 februari 2025 zijn deze verboden AI-systemen niet meer toegestaan.

Welke AI-systemen zijn vanaf 2 februari 2025 verboden?

De AI Act verbiedt AI-systemen die een onaanvaardbaar risico vormen voor de veiligheid en grondrechten van personen (zoals het recht om niet gediscrimineerd te worden). Dit omvat onder andere:

• Manipulatieve of misleidende AI-systemen

Het is verboden om AI-systemen te gebruiken die het gedrag van mensen zodanig beïnvloeden dat ze keuzes maken die ze zonder AI niet zouden hebben gemaakt, met schade als gevolg.

• Misbruik van kwetsbaarheden

AI-systemen die specifiek gericht zijn op kwetsbare personen (zoals ouderen, minderjarigen of personen met een handicap) om hun gedrag te verstoren en schade te veroorzaken, zijn verboden. Dit verbod geldt niet voor medische toepassingen met de juiste toestemming van de betrokkenen.

• Social scoring

AI-systemen die individuen beoordelen op basis van hun sociaal gedrag of persoonlijke kenmerken en daar (negatieve) gevolgen aan verbinden, wat kan leiden tot discriminatie.

• Predictive policing

AI-systemen die uitsluitend op basis van persoonskenmerken of profilering het risico voorspellen dat iemand een misdrijf zal begaan, zijn verboden. Dit verbod geldt niet voor AI-systemen die ondersteuning bieden bij de menselijke beoordeling van criminele activiteiten, gebaseerd op objectieve en verifieerbare feiten.

• Emotieherkenning in specifieke contexten

Het gebruik van AI voor emotieherkenning op de werkplek of in het onderwijs is verboden, tenzij het specifiek wordt gebruikt voor medische of veiligheidsdoeleinden.

• Ongeoorloofde gezichtsherkenning

Het op grote schaal verzamelen van gezichtsafbeeldingen van het internet of via CCTV om databanken voor gezichtsherkenning te creëren of uit te breiden, zonder toestemming, is verboden. Daarnaast is het verboden om AI-systemen te gebruiken voor biometrische categorisering die persoonlijke kenmerken zoals ras, politieke opvattingen of seksuele gerichtheid afleidt. Tot slot mag gezichtsherkenning niet worden gebruikt voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving, tenzij het valt onder specifieke uitzonderingen zoals het opsporen van ernstige misdrijven of het voorkomen van dreigende veiligheidsrisico's.

Deze verboden gelden niet alleen voor partijen die het AI-systeem op de markt brengen (aanbieders), maar ook voor organisaties die AI-systemen gebruiken (gebruiksverantwoordelijken).

Wat als je organisatie toch een verboden AI-systeem gebruikt?

Het gebruik van verboden AI-systemen kan ernstige gevolgen hebben voor uw organisatie. Toezichthoudende autoriteiten, zoals de Autoriteit Persoonsgegevens, zullen toezicht houden en handhaven op de naleving van de AI Act. Bij overtreding kunnen hoge boetes worden opgelegd, die kunnen oplopen tot €35 miljoen of 7% van de wereldwijde jaaromzet, afhankelijk van welk bedrag hoger is. Daarnaast kan het reputatieschade en claims van derden tot gevolg hebben.

Vervolg van de inwerkingtreding AI Act

De AI Act zal de komende jaren gefaseerd van toepassing worden. Voor het gemak hebben we een tijdlijn opgesteld waarin u kunt terugzien wanneer de verschillende verplichtingen in de AI Act van toepassing worden.

Wilt u meer informatie over de regels uit de AI Act waaraan uw organisatie (straks) moet voldoen of wilt u weten of uw een verboden AI-systeem gebruikt? Neem dan contact op met onze ICT-recht specialisten Hillie Lunter en Tom Klatter.