Verboden toepassingen van AI - concept AI verordening

Verboden toepassingen van AI-Systemen

In het voorstel van de Europese Commissie voor de Artificial Intelligence Act (AIA) worden AI-systemen op basis van hun toepassing beoordeeld en anders behandeld. Eerder schreven we al over ‘wat de EU bedoelt met AI’. Op het moment dat het duidelijk is dat uw project een AI-systeem is, dan komt de tweede vraag: onder welke risicocategorie valt mijn systeem? In de AIA zijn er drie categorieën: verboden toepassingen (Titel 2 AIA), hoge-risico toepassingen (Titel 3 AIA), systemen die interactie hebben met mensen (Titel 4 AIA). Alle systemen die niet binnen een van deze categorieën vallen worden geacht een laag risico te hebben. In dit artikel geven we een overzicht van de toepassingen die verboden zijn.

In artikel 5 van de AIA worden er vier specifieke toepassingen uitgelicht die verboden zijn. De laatste toepassing heeft echter wel een aantal uitzonderingen. Voor al deze toepassingen geldt dat het verboden is om deze systemen: op de markt te brengen, beschikbaar te maken of te gebruiken. AI-systemen met de volgende toepassingen zijn verboden:

1. Systemen die, door middel van signalen die niet bewust herkend worden, een persoon proberen te beïnvloeden en diens gedrag te veranderen op een manier die waarschijnlijk fysiek of geestelijk leed kan veroorzaken bij die persoon of bij een ander.
2. Systemen die misbruik maken van kwetsbaarheden van bepaalde groepen vanwege hun leeftijd of handicap op een manier die waarschijnlijk fysiek of geestelijk leed kan veroorzaken bij die persoon of bij een ander.
3. Systemen die door of namens de overheid worden gebruikt om een betrouwbaarheidsscore, gebaseerd op gedrag of persoonlijkheidskenmerken, te bepalen voor een persoon en die vervolgens leidt tot:
   1. Een nadelige behandeling voor de persoon of een hele groep, zonder dat er sprake is van een verband tussen de score en de nieuwe situatie.
   2. Een nadelige behandeling voor de persoon of een hele groep die niet gerechtvaardigd wordt door het eerdere gedrag of de zwaarte van de gevolgen.
4. Systemen die direct op afstand biometrische identificatie uitvoeren in de openbare ruimte voor het handhaven van de wet, behalve als het strikt noodzakelijk is voor de volgende doelen:
   1. Het gericht zoeken naar specifieke mogelijke slachtoffers van een misdaad en vermiste kinderen.
   2. Het voorkomen van een specifieke en directe bedreiging van iemands leven of fysieke veiligheid of het voorkomen van een terroristische aanslag.
   3. Het zoeken of herkennen van een verdachte van een misdaad waarvoor een minimale maximumstraf staat van 3 jaar.

Bij deze systemen moet men altijd kunnen verantwoorden dat het gebruik noodzakelijk was en afwoog tegen de inbreuk op de rechten van alle onschuldigen. Ieder gebruik van een van de uitzonderingen moet verder goedgekeurd worden door een rechter of een ander onafhankelijke autoriteit die bepaalt onder welke voorwaarden het systeem gebruikt mag worden.

Deze vier toepassingen van AI-systemen zijn dus ofwel verboden, of alleen met toestemming van een rechter te gebruiken. Als u denkt dat uw product onder deze categorieën valt kunt u contact met ons opnemen voor advies over veranderingen en verbeteringen.