Wat mag je verwachten van een AI model?

Hoe kunnen de verwachtingen van een AI model juridisch vastgelegd worden?

Ten eerste is het belangrijk om te bepalen wat een goede manier is om de verwachtingen van een model te meten. Er kan gekeken worden naar hoe vaak het model de verkeerde optie kiest (nauwkeurigheid) of hoe groot de gemiddelde afwijking van de echte waarde is (foutmarge). Een vals positieve test is in het geval van het opsporen van een ziekte minder kwalijk, dan een vals negatieve test. Dan kan men kijken naar de vals positieve en vals negatieve uitkomsten. Je kan dan bepalen dat een vals negatieve uitslag twee keer zo kwalijk is als een vals positieve uitslag en op basis daarvan een specifieke score voor een model opstellen. Al deze methodes zijn te kwantificeren en kunnen bij de ontwikkeling goed bepaald worden.

Het is ook belangrijk dat het model goed blijft werken nadat het in gebruik is genomen. Daarom is het aan te bevelen om een evaluatie te houden en voor die evaluatie ook een aantal uitkomsten van het model te bekijken en te controleren. Mocht het model slechter werken dan verwacht, dan zal de ontwikkelaar in de meeste gevallen nog een kans moeten krijgen om het model te verbeteren. Mocht hij dit weigeren, dan is het handig als hiervoor ook een bepaling in de overeenkomst is opgenomen. Je kan hierbij denken aan een bepaling die bepaalt dat de ontwikkelaar de plicht heeft om het model te verbeteren als het model slechter werkt in de praktijk dan een bepaalde marge onder de ontwikkelingswaarde. Mocht de ontwikkelaar hier zijn verplichtingen niet nakomen, dan is het mogelijk een schadevergoeding te vorderen en/of de overeenkomst te ontbinden.