Casus: Diabetes behandelen met AI

Deze casus is gebaseerd op de derde casus van de Princeton Dialogues on AI and Ethics Case Studies

1. Achtergrondinformatie

Diabetes type 2 is een aandoening waarbij de productie en het gebruik van insuline verstoord is. Dit leidt tot een hoge fluctuatie in de bloedsuikerspiegel van patiënten. Naast het ongemak van een instabiele bloedsuikerspiegel, hebben patiënten op de lange termijn ook kans op complicaties zoals verslechtering van de ogen en zenuwschade. Diabetes type 2 is te behandelen door een combinatie van een gecontroleerd dieet, aangepaste levensstijl en eventueel het toedienen van insuline.

Een groep van medische onderzoekers en informatici heeft een programma ontwikkeld, genaamd Charlie, waarbij ze AI gebruiken om de behandeling van diabetes te verbeteren. Met behulp van een smartwatch meet Charlie het bloedsuikerniveau van een patiënt en op basis daarvan krijgt de patiënt gepersonaliseerde insuline hoeveelheden voorgeschreven. Wat Charlie onderscheidt van andere AI-systemen, is dat alle metingen worden gecombineerd op een eigen dataplatform. Hierdoor kan Charlie leren van de effecten van het toedienen van insuline bij alle gebruikers. De app herinnert gebruikers ook om hun insuline regelmatig in te nemen en om gezond te leven. De ontwikkelaars hebben ook een forum toegevoegd aan de app waar gebruikers informatie over diabetes en gebruikservaringen kunnen delen. De activiteit op het forum wordt geanalyseerd en de resultaten worden toegevoegd aan de profielen van de gebruikers.

2. Welke rol speelt AI in deze casus? En hoe zit deze AI in elkaar?

De AI van Charlie, die de insulinedosissen van patiënten personaliseert, is de kern van het product. Hoewel de voorspellingen eerst alleen maar op basis van individuele informatie verbeterd kon worden, zorgt het dataplatform ervoor dat Charlie de effecten van verschillende dosissen op verschillende patiënten kan zien. Door de metingen van het dataplatform wordt Charlie steeds beter in het gladstrijken van de bloedsuikerspiegel. Charlie gebruikt ook notificaties ter herinnering om te sporten, goed te eten en insuline regelmatig in te nemen, als manieren om de bloedsuikerspiegel van patiënten te controleren.

Naast de AI die de insulinedosissen voorschrijft, maakt Charlie ook gebruik van AI om de posts op het forum te modereren en de posts te analyseren. Hiervoor wordt gebruik gemaakt van taalanalyse waarmee de emoties en inhoud van posts wordt bepaald. De resultaten worden gebruikt om te bepalen welke posts eerst getoond worden en om de profielen van gebruikers van extra informatie te voorzien.

3. Op welke manier zijn er afspraken gemaakt tussen de relevante partijen in deze casus?

Hoewel de gebruikers weten dat Charlie probeert om de behandeling van diabetes makkelijker te maken via gepersonaliseerde hoeveelheden insuline en behandelingen, weten ze niet wat er achter de schermen gebeurt. Ze hebben toestemming gegeven voor het delen van hun data, maar ze worden er niet van op de hoogte gesteld dat alle acties van Charlie die invloed hebben op het bloedsuikerniveau op het dataplatform worden vergeleken en geanalyseerd.

4. Welke risico’s spelen er in deze casus?

In deze casus kunnen er een aantal risico’s worden aangewezen, namelijk:

• Experimenteren met patiënten

Het doel van de onderzoekers is meer te weten te komen over de effecten van de verschillende behandelingen op verschillende patiënten. Om deze reden zullen zij niet steeds de optimale aanbevelingen doen, maar zullen zij ook een tijd gaan variëren in de behandelingen. De onderzoekers besluiten om meerdere behandelingen te gaan testen: ze beginnen met willekeurige behandelingen en naarmate er meer data binnenkomt, zullen zij steeds vaker kiezen voor de behandeling die het beste aansluit bij de desbetreffende patiënt. Het risico hiervan is dat een deel van de patiënten in de eerste periode niet-optimale aanbevelingen krijgt.

• Discriminatie

Bij een onderzoek over de effecten van Charlie, blijken de behandelingsresultaten niet te gelijk zijn voor alle bevolkingsgroepen. Bij etnische minderheden blijkt Charlie namelijk minder effectief te zijn dan gemiddeld. Als onderzoeker wil je dat jouw behandeling goed werkt voor iedereen en dus moet de effectiviteit van Charlie bij deze groepen verbeterd worden.

• Privacy

Ook op het gebied van privacy zijn er grote risico’s in deze casus. De ontwikkelaars informeren de patiënten onvoldoende over hetgeen er met hun data gebeurt. Zo voorzien de ontwikkelaars de patiënten niet van informatie over de verwerking van hun persoonsgegevens, op basis waarvan zij bepaalde aanbevelingen krijgen van Charlie en wat er met hun data gebeurt gedurende de behandelingen en na de behandelingen.

• Beïnvloeding

Bij het analyseren van de effecten van Charlie, werd er een groep patiënten geïdentificeerd met een hoge kans op slechte naleving van de aanbevelingen. Nadat de onderzoekers de effecten van Charlie bij patiënten vergeleken met de berichten die deze patiënten plaatsten op het forum, zagen zij een verband: er was een groep patiënten die de adviezen van Charlie slecht naleefde én specifieke soort informatie deelden via het forum. Hieruit zou kunnen volgen dat er een risico bestaat dat patiënten worden beïnvloed door hetgeen zij op het forum lezen over Charlie.

• Aansprakelijkheid

Het vijfde risico ligt op het gebied van aansprakelijkheid. Charlie geeft medische adviezen aan patiënten, waardoor het van groot belang is dat deze adviezen ook daadwerkelijk juist zijn. Wanneer een voorgeschreven behandeling door Charlie achteraf grote schade heeft doen veroorzaken bij een of meerdere patiënten, zouden de ontwikkelaars van Charlie hier aansprakelijk voor gehouden kunnen worden.

5. Hoe worden deze risico’s in deze casus beperkt?

In de praktijk is het van belang (grote) risico’s zoveel mogelijk te beperken. In deze casus hebben de ontwikkelaars van Charlie dit op de volgende manieren gedaan:

• Experimenteren met patiënten

In het kader van experimenteren van behandelingen voor patiënten, is het verbod op geautomatiseerde besluitvorming (artikel 22 AVG) van belang. De gebruikers van Charlie hebben het recht om niet ontworpen te worden aan geautomatiseerde besluiten die in aanmerkelijke mate treffen. Een deel van de patiënten zal door de experimenten namelijk tijdelijk een slechtere behandeling krijgen, wat gevolgen kan hebben voor hun gezondheid.
Om dergelijke experimenten te mogen uitvoeren, is uitdrukkelijke toestemming van de patiënten nodig. In de casus was hier echter geen toestemming voor gevraagd.

• Discriminatie

Om de effectiviteit van Charlie te balanceren, verzamelen de onderzoekers een meer gebalanceerde dataset waarin alle bevolkingsgroepen voorkomen. Dit wordt gebruikt als een nieuw startpunt voor Charlie voor de aanbevelingen van alle gebruikers.
De ontwikkelaars van Charlie dienen er wel op te letten dat zij een legitieme grondslag hebben om data omtrent de etniciteit van de patiënten te mogen verwerken. Informatie over de etniciteit van een persoon valt namelijk onder de categorie van bijzondere persoonsgegevens (artikel 9 AVG), waardoor er strikte regels zijn over de verwerking van deze gegevens. In de casus is het niet duidelijk of de ontwikkelaars hieraan hebben gedacht.

• Privacy

De ontwikkelaars van Charlie gaan steeds meer (nieuwe) data verwerken. Voorbeelden van nieuwe vormen van verwerking zijn het analyseren van de posts op het forum of het delen van de data in het dataportaal. Voor een nieuw verwerkingsdoel is veelal een losstaande verwerkingsgrond nodig, waarbij in deze casus geïnformeerde toestemming het meest passend is. Wanneer er niet aan deze verwerkingsgrond wordt voldaan, dan leidt dit tot schending van de privacy van de gebruikers van Charlie en tot overtreding van de AVG.
Om het privacy risico te beperken, zouden de ontwikkelaars van Charlie de patiënten om toestemming moeten vragen voor iedere vorm van verwerking van hun persoonsgegevens.  Toestemming voor een (nieuwe) verwerkingsgrond kan worden gegeven door middel van een duidelijk overzicht waar de patiënten uitdrukkelijk akkoord op geven.  In deze casus is er niet uitdrukkelijk om gevraagd.

• Beïnvloeding

Hoewel de ontwikkelaars de patiënten proberen te helpen om gezond te zijn, gebruiken ze hier tactieken voor die als manipulatief kunnen worden ervaren. Ten eerste verwerken ze de posts van patiënten voor een doel waar waarschijnlijk geen toestemming voor is gegeven. Bovendien bestaat het risico dat, wanneer patiënten weet krijgen van deze beïnvloedingsactiviteiten, dat zij zullen stoppen met het gebruik van Charlie.  
In de casus wordt er geen duidelijke informatie gegeven aan de gebruikers hoe Charlie hen probeert te motiveren. Als de ontwikkelaars willen vermijden dat hen manipulatie kan worden verweten, dan zullen ze patiënten meer moeten informeren en zullen ze beter na moeten denken over welke middelen ze willen gebruiken om de patiënten te helpen.

• Aansprakelijkheid

In deze casus zou de situatie zich voor kunnen doen dat ontwikkelaars aansprakelijk worden gesteld voor de gevolgen van een foutief advies aan patiënten. Uit de feiten van de casus blijkt niet duidelijk hoe de relatie tussen de ontwikkelaars en de gebruikers is geregeld.
Hoewel de eerste deelnemers aan Charlie, die deelnamen in de testfase van het AI-systeem, een overeenkomst hebben getekend, geldt dit zeer waarschijnlijk niet voor de gebruikers daarna. Deze latere gebruikers hebben wellicht alleen de algemene voorwaarden geaccepteerd. Hoewel de ontwikkelaars hierin eventueel alle aansprakelijkheid kunnen afwenden, is er een grote kans dat een dergelijke bepaling niet geldig is.
Om het risico op aansprakelijkheid zoveel mogelijk te verkleinen, is het van belang dat de ontwikkelaars zich, in deze casus, houden aan de Richtlijn voor Medische Hulpmiddelen (Richtlijn 93/42/EEG). Met andere woorden: om aansprakelijkheid voor schade zo veel mogelijk te beperken, is het van groot belang te voldoen aan alle wet- en regelgeving.

6. Waar moet men op blijven letten?

Het belangrijkste aandachtspunt in deze casus is de expliciete toestemming van de gebruikers voor de verschillende ontwikkelingen van Charlie. In het kader van de AVG is er veel mogelijk, maar enkel wanneer de gebruiker toestemming heeft gegeven. De ontwikkelaars van AI moeten er dus voor zorgen dat zij transparant zijn over de verwerking van de persoonsgegevens van de gebruikers én dat deze gebruikers expliciet toestemming hebben gegeven voor de verwerking hiervan.

Bovengenoemde transparantie en duidelijkheid is niet alleen relevant in het kader van de keuzevrijheid en privacy van de gebruikers van de AI, maar is daarnaast ook belangrijk voor het vertrouwen van de gebruikers. Het is van groot belang voor de toekomst van Charlie dat de ontwikkelaars open zijn over het AI-systeem, hun bedoelingen en methodes zodat gebruikers weten waar ze aan toe zijn.