Casus: Schoolresultaten optimaliseren

Deze casus is gebaseerd op de derde casus van de Princeton Dialogues on AI and Ethics Case Studies

1. Achtergrondinformatie

De middelbare school OS Minerva heeft een deprimerend record behaald; ze heeft namelijk het hoogste percentage vroegtijdige schoolverlaters van het land. 9% van haar leerlingen verlaat de school zonder diploma! Verder haalt slechts 55% van haar leerlingen een diploma zonder te blijven zitten. De onderwijsinspectie eist verbeteringen en dreigt de school te sluiten als de resultaten niet verbeteren. Het bestuur van de school ziet echter geen makkelijke oplossingen. De leerlingen lijken niet gemotiveerd en ook de leraren staan niet te springen om na alle negatieve beoordelingen een verplicht vernieuwingstraject in te gaan.

De rector van OS Minerva, mevrouw Vulcani, gaat op zoek naar een oplossing en in overleg met de inspectie ontstaat het plan om de data die de school heeft over leerlingen te gaan gebruiken. OS Minerva verzamelt natuurlijk data over de schoolprestaties van leerlingen, maar daarnaast heeft iedere leerling ook een pas voor de bibliotheek en de kantine en ook het gebruik van het wifinetwerk wordt bijgehouden. Mevrouw Vulcani vraagt zich af of het misschien mogelijk is om met behulp van deze data leerlingen te helpen en de resultaten van de school te verbeteren.

Hephaestats, een lokaal bedrijf, wordt gevraagd om de data te gaan analyseren. Mevrouw Vulcani stelt samen met Hephaestats een aantal doelen op voor het project. Vervolgens stemmen de inspectie en de rector in en kan de data van de leerlingen gedeeld worden met Hephaestats.

2. Welke rol speelt AI in deze casus? En hoe zit deze AI in elkaar?

Hephaestats gebruikt AI technieken om het risico op schoolverlating te voorspellen. Voorbeelden van de informatie zijn onder andere demografische informatie (geslacht, adres, thuissituatie, etniciteit), academische informatie (cijfers, gemiddeldes, aanwezigheid, nablijven) en leraren (diploma’s, hoeveelheid onvoldoendes, ervaringsjaren). Hephaestats maakt met deze data een nieuwe, afgeleide dataset die vergelijkbare statistische eigenschappen heeft als de originele data. De dataset is niet meer gekoppeld aan specifieke leerlingen.

De leraren krijgen de profielen van risicoleerlingen te zien en daarbij ook aanbevelingen over hoe ze iedere specifieke leerling het beste kunnen helpen. De leraren die de aanbevelingen opvolgen, zien een directe verbetering in de resultaten van de leerlingen. Het bestuur van de school gebruikt een overzicht van de aanbevelingen om veranderingen in de roosters en de kantine door te voeren.

Na een paar jaar zijn de resultaten van OS Minerva enorm verbeterd. 85% van de leerlingen haalt nu een diploma zonder te blijven zitten en slechts 5% verlaat de school zonder een diploma.

3. Op welke manier zijn er afspraken gemaakt tussen de relevante partijen in deze casus?

Tussen OS Minerva en Hephaestats zijn de volgende doelen opgesteld voor het project:

• Identificeer voorspellende factoren voor afleiding als indicator voor een risico op schoolverlating. Pas deze factoren toe om risicoleerlingen aan te wijzen.
• Geef docenten gedetailleerde informatie om zo gericht aandacht te kunnen geven aan risicoleerlingen met specifieke interventies, zoals praten, een aangepast schema of een gesprek met de ouders.
• Wees transparant in het gebruik van het systeem.

De school communiceert de samenwerking met Hephaestats echter niet naar de ouders en de leerlingen. De rector stelt namelijk dat de ouderraad het nooit eens is met het bestuur, terwijl het probleem te urgent is om niks te doen. Verder vindt de rector dat dit project binnen het mandaat van de school valt.

4. Welke risico’s spelen er in deze casus?

• Privacy

Er wordt data geanalyseerd van de leerlingen van een middelbare school, die (bijna) allemaal minderjarig zullen zijn. Deze analyse wordt uitgevoerd zonder de toestemming van de ouders of de kinderen en deze worden ook pas na afloop geïnformeerd over het project. Scholen hebben een wettelijke verantwoordingsplicht met betrekking tot de verwerking van de persoonsgegevens van hun leerlingen.

• Dubbele belangen

Hoewel het ongetwijfeld beter is voor leerlingen om de middelbare school af te sluiten met een diploma, is dit project niet alleen voor de leerlingen opgestart maar ook uit eigenbelang van de school. De beslissingen worden verder genomen zonder inspraak van ouders of leerlingen.

• Proefpersonen

De leerlingen van OS Minerva voelen zich proefpersonen en worden door de risicoscores alleen geholpen met als doel om de resultaten van de school te verbeteren.

• Transparantie

De aanpak van de school is niet transparant. Het is niet duidelijk hoe de risicoprofielen tot stand komen en de broncode is niet openbaar.

• Relatie bestuur-leraren

Een deel van de leraren is gefrustreerd dat er in de voorgaande jaren niet is geluisterd naar hun aanbevelingen om leerlingen te helpen, terwijl het schoolbestuur nu wel luistert omdat een AI-systeem de aanbevelingen doet. Hephaestats krijgt nu alle lof terwijl de leraren het zware werk doen.

• “Artificial Intelligence”

Een van de wiskundeleraren stelt in een opiniestuk dat het AI-systeem van Hephaestats gewoon een kwestie van statistiek is die in een mooi pakketje wordt verkocht. Ze waarschuwt voor de neiging om blind te vertrouwen op dit systeem, omdat het niet toekomstbestendig zou zijn.

5. Hoe worden deze risico’s in deze casus beperkt?

• Privacy

Hoewel de gegevens van de leerlingen geanonimiseerd zijn voor het analyseproces, worden ze nog steeds verwerkt bij het bepalen van de risicoprofielen. De school beroept zich op haar wettelijke plicht om goed onderwijs te geven als grondslag voor de verwerking, maar het zou veel beter zijn als ze hier toestemming voor hadden gevraagd bij de medezeggenschapsraad. Het is namelijk niet vanzelfsprekend dat de plicht van de school om goed onderwijs te geven genoeg is om de data van haar leerlingen op deze manier te verwerken.

• Dubbele belangen

Door de ouders en leerlingen niet de informeren, heeft de school het idee dat ze dit project uit eigenbelang doet niet weg kunnen nemen. Als ze ouders en leerlingen eerder hadden betrokken dan was dit geen probleem geweest.

• Proefpersonen

Door de gebrekkige informatie van OS Minerva over de aanpak worden de leerlingen niet behandeld als een belangengroep maar meer als een soort patiënten. Ze worden beoordeeld zonder dat ze dit weten en hoewel ze er zelf misschien baat bij hebben, wordt er geen rekening gehouden met hun grondrechten.

• Transparantie

De aanpak van de school is niet transparant. Ze had  bij Hephaestats moeten bedingen dat de broncode openbaar zou worden. Hephaestats heeft, nadat zij de nodige publieke kritiek had ontvangen, wel een programma gemaakt waarmee leerlingen de invloed van individuele variabelen kunnen bekijken. Naast technische transparantie moet een school ook transparant zijn over de bescherming van de persoonsgegevens van haar leerlingen, wat hier niet is gebeurd.

• Relatie bestuur-leraren

Hoewel de veranderingen een positief effect hebben op de leerlingen, is het gevaarlijk om blind op een AI-systeem te vertrouwen. Het is een bekend fenomeen dat resultaten kunnen veranderen door alleen de aandacht van het meten. Hoewel er inderdaad positieve resultaten voor de leerlingen zijn, kan dit ook komen doordat er nu eindelijk steun is vanuit het bestuur voor grote veranderingen.

• “Artificial Intelligence”

Omdat Hephaestats haar broncode niet vrij wil geven, is het niet te controleren hoe de resultaten en aanbevelingen tot stand komen. Hierdoor kan ook niet worden gecontroleerd hoe geavanceerd de technieken zijn. Ook is het niet vanzelfsprekend dat een school een AI-systeem los mag laten op haar leerlingen, zelfs als de onderwijsinspectie daar toestemming voor zou geven.

Conclusie

Hoewel de samenwerking tussen Minerva en Hephaestats ongetwijfeld leerlingen heeft geholpen in het behalen van betere schoolresultaten, heeft de school hiervoor wel de rechten van haar leerlingen geschonden. Het schoolbestuur heeft zich gefocust op haar taak om onderwijs te leveren, maar dat moet ze ook doen in een veilige leeromgeving. Door eerder te overleggen met ouders, leerlingen en leraren had het project even effectief kunnen zijn met respect voor de rechten van de leerlingen en de motivatie van de leraren.