Hoog-risico AI systemen - concept AI verordening

Hoge-risico AI-Systemen volgens de nieuwe AI Act

In het voorstel van de Europese Commissie voor de Artificial Intelligence Act (AIA) worden AI-systemen op basis van hun toepassing beoordeeld en anders behandeld. Eerder schreven we al over ‘wat de EU bedoelt met AI’. Op het moment dat het duidelijk is dat uw project een AI-systeem is, dan komt de tweede vraag: Onder welke risicocategorie valt mijn systeem? In de AIA zijn er drie categorieën: verboden toepassingen (Titel 2 AIA), hoge-risico toepassingen (Titel 3 AIA) en systemen die interactie hebben met mensen (Titel 4 AIA). Alle systemen die niet binnen een van deze categorieën vallen worden geacht een laag risico te hebben. In dit artikel geven we een overzicht van de toepassingen die onder de categorie van hoge-risico toepassingen vallen.

In Annex III van de verordening wordt een overzicht gegeven van toepassingen van AI-systemen die onder de categorie hoog risico vallen. De lijst is onderverdeeld in acht verschillende toepassingsgebieden, waarbij ieder toepassingsgebied een of meerdere specifieke toepassingen bevat. In ons overzicht hieronder geven we een omschrijving van wat er per toepassingsgebied onder hoog-risico wordt verstaan, en waar mogelijk geven we ook een bestaande uitvoering die hieronder zou vallen. Bij alle specifieke toepassingen is het wel van belang dat men AI-systemen alleen gebruikt waarvoor die systemen ook bedoeld zijn.

1. Biometrische identificatie of categorisatie van mensen

AI-systemen die:

• Direct of later van een afstand;
• mensen proberen te identificeren of te categoriseren;
• op basis van hun biometrische informatie (bijvoorbeeld je gezicht of manier van bewegen).

De meeste vormen van directe identificatie met deze methodes zijn zelfs verboden door artikel 5 AIA, maar er zijn uitzonderingen, die dan dus onder de hoog-risico categorie vallen.
Voorbeeld: Een camera die zoekt naar winkeldieven.

2. Besturing en werking van kritieke infrastructuur

AI-systemen die:

• Als veiligheidselementen bij;
• De besturing en werking van kritieke infrastructuur zoals wegverkeer en de nutsvoorzieningen dienen.

Voorbeeld: Het automatisch monitoren van waterkwaliteit in een waterzuivering

3. Onderwijs

AI-systemen die:

1. Toegang tot onderwijs of toewijzing aan opleidingen bepalen.
2. Studenten beoordelen op hun opleiding of bij toelating tot een opleiding.

Voorbeeld: Studenten screenen voor toelating tot een universiteit

4. Werk, HR en zelfstandige ondernemers

AI-systemen die:

1. Ondersteunen bij de selectie van mensen voor vacatures of opdrachten en het filteren en beoordelen van reacties daarop.
2. Helpen bij interne HR beslissingen zoals promoties, ontslag en het beoordelen van werknemers.

Voorbeeld: Systemen om kandidaten voor vacatures te zoeken en benaderen

5. Toegang tot essentiële openbare en private diensten

AI-systemen die:

1. Beoordelen of mensen recht hebben op uitkeringen, toeslagen of andere openbare diensten of ondersteunen bij de handhaving en uitvoering van deze diensten.
2. De kredietwaardigheid of kredietscore van mensen bepalen, met uitzondering van interne systemen van MKB-bedrijven.
3. Gebruikt worden om het uitzenden of prioriteren van hulpdiensten te regelen.

Voorbeeld: Het SyRI systeem om uitkeringsfraude op te sporen

6. Justitie

AI-systemen die door de politie worden gebruikt om:

1. Voor een individu het risico op het (opnieuw) begaan van een misdaad te bepalen of het risico voor mogelijke slachtoffers van een misdaad.
2. De emotionele staat van een persoon te bepalen of om leugens te herkennen.
3. Deep fakes te herkennen.
4. De betrouwbaarheid van bewijs te beoordelen tijdens een strafrechtelijk onderzoek.
5. Op basis van het profileren van personen de kans op misdaden te beoordelen of om eigenschappen van personen of groepen in te schatten.
6. Mensen te profileren tijdens het herkennen, onderzoeken en vervolgen van misdaden.
7. Misdaadanalyses met betrekking tot mensen uit te voeren waarbij er grote hoeveelheden data uit verschillende bronnen doorzocht wordt om patronen of verbanden te vinden.

Voorbeeld: Risicoscores voor burgers die de kans op een latere misdaad aangeven

7. Migratie en grenscontrole

AI-systemen die door overheidsinstanties worden gebruikt om:

1. De emotionele staat van een persoon te bepalen of om leugens te herkennen.
2. Immigratie-gerelateerde risico’s te beoordelen van mensen die zich al op het grondgebied van een lidstaat bevinden of die een lidstaat binnen willen komen.
3. De echtheid van reisdocumenten en ondersteunende documenten te bepalen en vervalsingen te herkennen op basis van de beveiligingsmechanismen.
4. Asiel-, visum- en verblijfsvergunningaanvragen te beoordelen en klachten daarover te behandelen.

Voorbeeld: Geautomatiseerde beslissingen over asielaanvragen

8. Rechtspraak

AI-systemen die:

1. Een rechter ondersteunen bij het onderzoeken en interpreteren van feiten en de wet en bij het toepassen van de wet op een concrete casus.

Bijvoorbeeld: Pilots in Estland voor robot-rechters

Samenvatting

Deze acht toepassingsgebieden bestrijken een breed spectrum van toepassingen, maar ze zijn allemaal terug te koppelen aan fundamentele rechten. Deze rechten zijn de rechtvaardiging voor de verhoogde eisen die er aan deze systemen worden gesteld. Als u aan de voorwaarden van de AIA voor hoge-risico toepassingen kan voldoen, mag u deze systemen nog steeds in de praktijk gebruiken. Weet echter wel dat de verplichtingen tot toezicht en onderhoud tijdens de hele gebruiksduur van het systeem blijven bestaan.