VU heeft niet gediscrimineerd bij gebruik Proctorio

Het College voor de Rechten van de Mens ('het College’) heeft vorige week weer een uitspraak gedaan waarin algoritmes centraal staan. Eerder schreven wij al over de uitspraak van het College over de datingapp Breeze. Het College oordeelde daar dat Breeze actief discriminatie in haar matchingalgoritme tegen moet gaan. Breeze had namelijk concrete signalen ontvangen dat gebruikers met een donkere huidskleur of niet-Nederlandse achtergrond minder vaak getoond werden aan andere gebruikers.

Achtergrond en klachten

Nu heeft het College zich gebogen over een discriminatieklacht van een studente tegen de Vrije Universiteit (de VU). Tijdens de Corona-periode gebruikte de VU het programma Proctorio om toezicht te houden op studenten die digitaal tentamens maakten. De software van Proctorio werd gebruikt om de identiteit van studenten te controleren, de werkplek te inspecteren en om te controleren of studenten niet communiceerden met andere studenten tijdens het tentamen. De klachten van de studente waren als volgt:

De software van Proctorio maakt verboden onderscheid op basis van ras doordat de software niet voor alle huidskleuren even goed werkt;
De VU heeft verboden onderscheid op basis van ras gemaakt omdat ze geen onafhankelijk onderzoek heeft laten verrichten naar Proctorio om te verifiëren dat de software niet discrimineert; en
De VU heeft gediscrimineerd tijdens de klachtenbehandeling.

Tussenoordeel

In eerste instantie zag het er goed uit voor de studente. Het College gaf in een tussenoordeel namelijk aan dat de studente aannemelijk had gemaakt dat Proctorio discrimineert, door te stellen dat ze vaak niet werd herkend door Proctorio en vermoede dat dit kwam door haar donkere huidskleur. Het College gaf de VU tien weken de tijd om met bewijs van het tegendeel te komen.

Einduitslag

Op 17 oktober 2023 kwam het College met een definitieve uitspraak in deze zaak, en daar kwam de studente minder goed uit. De VU had namelijk volgens het College voldoende bewijs aangedragen om in ieder geval aan te tonen dat de studente niet de enige was met inlogproblemen en dat zij niet meer problemen dan gemiddeld heeft gehad met de software. Dit alles kon de VU aantonen met loggegevens. Hierdoor oordeelde het College dat hier geen sprake was van discriminatie door Proctorio. Wel benadrukt het College dat hiermee alleen duidelijk wordt dat de studente niet is gediscrimineerd, niet dat er geen enkele student(e) gediscrimineerd is door Proctorio.

Het College oordeelde over de klacht dat de VU meer onderzoek had moeten doen naar Proctorio als volgt: de VU moet zorgen dat software goed werkt en mag geen discriminerende software gebruiken, maar dit gaat niet zo ver dat ze verplicht kan worden om een onafhankelijk onderzoek te laten doen naar software zoals Proctorio. Het eigen onderzoek van de VU, voordat zij Proctorio ging gebruiken, gaf ook geen aanleiding om aan te nemen dat de software discrimineerde.

Op één punt kreeg de studente wel gelijk: de klachtbehandeling binnen de VU is niet toereikend. Het is niet duidelijk waar studenten terecht kunnen met hun klacht en het duurt vervolgens lang om een klacht op de juiste plek te krijgen. Daarom geeft het College de studente op dit punt gelijk.

Algoritmische discriminatie

In deze zaak is de studente erin geslaagd om een vermoeden van algoritmische discriminatie aannemelijk te maken bij het College. Uiteindelijk was dit niet voldoende om discriminatie daadwerkelijk vast te stellen in dit geval, maar het College sluit niet uit dat Proctorio in andere situaties wel discrimineert. Zo heeft RTL Nieuws hier een onderzoek naar gedaan en in de wetenschappelijke literatuur over gezichtsherkenning is het bekend dat er bij mensen met een donkere huidskleur meer fouten voorkomen.

Kunnen burgers wel genoeg informatie verzamelen om ooit verder te komen dan een vermoeden van discriminatie? De studente in deze zaak werd bijgestaan door een organisatie gespecialiseerd in het gebruik van AI, maar niet iedereen heeft toegang tot die kennis. Aan de andere kant laat dit oordeel zien dat de VU zich inhoudelijk heeft moeten verweren met feitelijke informatie, om aan te tonen dat er geen sprake was van discriminatie.

Als u vragen heeft over discriminatie door algoritmes, neem dan contact op met onze specialist Frederick Droppert droppert@bg.legal!

Dit artikel is geschreven door Robin Verhoef.