Casus: Politiechatbot

Deze fictionele casus is gebaseerd op de vierde casus van de Princeton Dialogues on AI and Ethics Case Studies

1. Achtergrondinformatie

De democratische verkozen leiders van Panoptica, een fictief Europees land met een sterk sociaal vangnet en een liberale rechtstraditie, hebben gemerkt dat er een toename is van digitale misdaad in hun land. De grondwettelijke rechten van individuen in Panoptica - waaronder het recht op een eerlijk proces en de bescherming van het individu – zorgen ervoor dat de politie niet adequaat kan optreden tegen dergelijke misdaden. Door de complexiteit en het grensoverschrijdende karakter van de misdaden, is het namelijk erg moeilijk om de criminelen (op) te pakken en te vervolgen.

Na een sterke toename van identiteitsfraude gericht op ouderen, ontdekt de politie een website waar cybercriminelen gestolen identiteiten verhandelen en aan elkaar verkopen. De criminelen komen uit veel verschillende landen. Het forum bevindt zich in het ‘dark web’, wat betekent dat de website alleen toegankelijk is met behulp van specifieke software en dat de website niet gevonden kan worden door zoekmachines. Het feit dat dit soort fora zo verborgen zijn frustreerde eerdere pogingen van de politie om op te treden tegen deze misdaden. Het gebrek aan handhaving heeft geleid tot publieke verontwaardiging en heftige debatten over de rol van de overheid bij het beschermen van haar burgers. Tijdens de verkiezingen wil iedereen dat de overheid meer doet om oudere burgers te beschermen. De kiezers steunen uiteindelijk het idee om de politiecapaciteit te verhogen en actie te ondernemen tegen online identiteitsfraude.

2. Welke rol speelt AI in deze casus? En hoe zit deze AI in elkaar?

De politie gaat met dit mandaat in de hand aan de slag. In samenwerking met de Universiteit van Panoptica starten zij een project waarbij een chatbot wordt ontwikkeld die cybercriminelen kan identificeren. De chatbot, JEREMY, probeert te leren hoe deze criminelen communiceren onderling communiceren op verschillende fora. JEREMY gebruikt deze kennis om zich volgens voor te doen als een crimineel en een gesprek te starten met personen waarvan verwacht wordt dat zij identiteitsdiefstal plegen. Door een band met hen op te bouwen, kan JEREMY informatie verzamelen over de plannen van de criminelen. JEREMY bouwt een procesdossier op aan de hand van diens chatgeschiedenis, wat de politie later kan gebruiken voor het onderzoek. JEREMY kan, met genoeg computerkracht, onbeperkt worden opgeschaald en neemt nauwelijks politietijd in beslag. Daarnaast heeft JEREMY ook geen last van vooroordelen, waardoor de besluitvorming van JEREMY op geen enkele wijze discriminatoir kan zijn.

3. Op welke manier zijn er afspraken gemaakt tussen de relevante partijen in deze casus?

Zowel de ontwikkelaars van JEREMY als de politie en regering geloven dat dit de beste manier is om burgers te beschermen. Desalniettemin zijn zij erop voorbedacht dat niet alles zonder problemen zal verlopen. De betrokken partijen nemen dan ook een aantal stappen om de problemen voor te zijn. Ten eerste proberen ze JEREMY zo veilig mogelijk te maken met behulp van encryptie. Ten tweede wordt het gebruik van JEREMY zodanig beperkt, dat het systeem enkel mensen aanspreekt die al onderzocht worden, opdat de inbreuk op de privacy van burgers wordt geminimaliseerd.

Hoewel de ontwikkelaars van JEREMY de mogelijkheid hadden om vrijwel iedere internetgebruiker te identificeren die (mogelijk) identiteitsfraude zou gaan plegen, hebben zij besloten dat individuele vrijheden van de burgers belangrijker zij dan de maatschappelijke voordelen die een brede toepassing van JEREMY met zich mee zouden kunnen brengen.

Bijna direct nadat JEREMY in gebruik is genomen worden de eerste criminelen geïdentificeerd. De informatie die JEREMY heeft verzameld wordt gebruikt om tientallen criminelen te veroordelen. Het project lijkt een succes en men voelt zich veiliger online.

4. Welke risico’s spelen er in deze casus?

• Jurisdictie

Een van de veroordeelde criminelen is een jonge man die op vakantie was in Panoptica. Hij komt uit het onvrije buurland Hedonia. Hij is geen staatsburger van Panoptica en heeft er nooit gewoond. De misdaden die hij heeft gepleegd, hebben evenmin plaatsgevonden op het grondgebied van Panoptica. Daarom trekt hij het recht van Panoptica om hem te vervolgen in twijfel. In Hedonia is het verkopen van gestolen identiteiten namelijk niet expliciet strafbaar. Zijn arrestatie en veroordeling leidt tot een diplomatisch conflict tussen Hedonia en Panoptica.

• Uitlokking

De Hedoniaanse man stelt dat hij het slachtoffer is geworden van uitlokking door JEREMY. JEREMY zou hem namelijk hebben aangespoord om de identiteiten te verkopen. Het is terug te zien in de gesprekken die hij met JEREMY heeft gevoerd, waarin het systeem steeds meer geld heeft aangeboden.

• Verantwoording

De afname van cybercriminaliteit en de toename in veroordelingen van cybercriminelen door de inzet van JEREMY, maakt dat de burgers van Panoptica tevreden zijn over het project. Na de diplomatieke problemen vragen sommige burgers zich wel af of JEREMY niet te ver is gegaan. De burgers van Panoptica zijn echter bereid om een deel van hun vrijheid in te leveren om identiteitsfraude (beter) aan te pakken. Hoe JEREMY werkt is echter geheim: burgers weten dus niet wat er precies gebeurt. Het is bijvoorbeeld niet bekend hoe JEREMY bepaalt welke individu hij zal benaderen. Hierdoor is het vrijwel onmogelijk om je tegen het systeem te verzetten en/of juridische stappen te ondernemen. Een aantal maatschappelijk organisaties vragen zich daarom af of het gebruik van JEREMY wel acceptabel is.

5. Hoe worden deze risico’s in deze casus beperkt?

• Jurisdictie

Ook op internationaal niveau hebben wetgevers vragen over het incident tussen Panoptica en Hedonia. Zelfs als JEREMY de Panopticaanse wet niet heeft overtreden, is het nog maar de vraag of JEREMY zomaar onderzoek mag doen naar burgers van andere staten.
De onderzoekers en politieagenten die verantwoordelijk zijn voor JEREMY erkennen deze problemen. Zij geloven dat - zolang er geen internationale autoriteit bestaat die grensoverschrijdende criminaliteit op het gebied van identiteitsfraude kan oplossen - zij hun best moeten doen om deze delicten zelf op te lossen. De politie meent dat zij gebruik mogen maken van de technische middelen die te zijner beschikking staan. Zolang er Panopticaanse servers worden gebruikt bij de criminele activiteiten, dan is de politie bereid om jurisdictie te claimen. Zij menen dat de individuele rechten van hun burgers in dat geval zwaarder wegen dan de soevereiniteit van hun buurlanden.

• Uitlokking

De leiders van Panoptica lijken erop te vertrouwen dat de rechters onderscheid kunnen maken tussen uitlokking van JEREMY en het daadwerkelijk aanwezig zijn van een crimineel oogmerk.

• Verantwoording

De leiders van Panoptica voelen zich als democratisch gekozen leiders verplicht om te reageren op de zorgen van hun burgers. Ze benadrukken dat JEREMY alleen mensen benadert tegen wie al een strafrechtelijk onderzoek loopt.

De wetgever van Panoptica merkt op dat het systeem de mogelijkheid biedt voor menselijke interventie. Zo maken politieagenten een selectie van verdachte individuen waaruit JEREMY zijn doelwit kan kiezen. Daarnaast wordt het gedrag van JEREMY door de rechterlijke macht meegewogen bij het bepalen van de strafmaat. Alhoewel binnen de samenleving van Panoptica de gedachte heerst dat de rechterlijke macht niet bijzonder voortvarend te werk gaat met het implementeren van nieuwe technologie, zou dat in het onderhavige geval niet tot problemen moeten leiden: de gesprekken tussen de verdachte en JEREMY worden in een leesbaar formaat aan de desbetreffende rechter ter beschikking gesteld.

Conclusie

De leiders en burgers van Panoptica willen een kwetsbare maatschappelijk groep beschermen. Hiervoor zijn ze bereid om de politie in de aanval te laten gaan met de chatbot JEREMY. De inzet van JEREMY is zeer succesvol, maar niet zonder problemen. Bij het ontwerp en de inzet van JEREMY is er nagedacht over wie er mogelijk geselecteerd kan worden door JEREMY en ook is er altijd een rechter betrokken bij de veroordeling. Er is sprake van een balans tussen de rechten van de burgers en het beschermen van de kwetsbaren. Ondanks deze overwogen keuzes zijn er nog wel twee grote open vragen. Kan JEREMY over landsgrenzen heen gebruikt worden en worden verdachten uitgelokt door JEREMY? Dit zal in de toekomst beslist moeten worden.