Inleiding

Sinds de moord op de Afro-Amerikaanse George Floyd door een witte politieagent eind mei 2020 is het wereldwijde protest tegen racisme sterk opgelaaid. Niet alleen racisme door mensen, maar ook racisme door technologieën wordt aan de kaak gesteld. Algoritmes blijken nogal eens discriminerend te zijn, met name tegenover vrouwen en zwarte mensen. Zo had Amazon een seksistisch sollicitatiealgoritme en is een veelgebruikt taalalgoritme racistisch tegenover mensen met Afro-Amerikaanse namen.^[i] Hoe kan het dat algoritmes zo vaak discrimineren? En waarom is dit zo moeilijk op te lossen? Studenten Emma Sofie Achterberg, Eline Kempkes en Margot Hoogerwerf van de Universiteit Utrecht schreven een gezamenlijke scriptie over de rol van algoritmes in institutioneel racisme en seksisme. Hun onderzoek integreert inzichten uit de kunstmatige intelligentie, filosofie en geschiedenis.

Hoe algoritmes discrimineren

Algoritmes verwerken enorme hoeveelheden data. Op basis van verbanden in deze data kunnen ze verschillende groepen onderscheiden. Vervolgens kunnen ze individuen indelen in deze groepen.^[ii] Dit onderscheiden van groepen en indelen van individuen wordt ‘classificeren’ genoemd. Het is problematisch, omdat individuen worden ingedeeld in groepen op basis van essentialistische kenmerken. Deze kenmerken doen geen recht aan de verschillende ervaringen die individuen hebben. Hoewel individuen uit dezelfde groep ervaringen kunnen delen, bestaat er namelijk geen essentie van de identiteit van bijvoorbeeld ‘vrouwen’ of ‘mensen van kleur’.^[iii]

Classificerende algoritmes kunnen worden gebruikt om voorspellingen te doen, bijvoorbeeld om in te schatten of iemand een terrorist of een waardeloze werknemer zal zijn. De algoritmes werken dan ‘profilerend’: ze stellen risicoprofielen samen en kennen individuen vervolgens een risico toe, naargelang de data over die individuen corresponderen met de vastgestelde kenmerken van de risicoprofielen.^[iv] In de data schuilen echter vaak onbewuste vooroordelen en stereotypes, omdat data een representatie zijn van onze wereld die vol zit met vooroordelen en stereotypes. Algoritmes zullen de vooroordelen en stereotypes uit de data reproduceren, doordat zij zich uiteraard op deze data baseren.^[v] Hierdoor zullen de uitkomsten van de algoritmes niet voor alle individuen en groepen even rechtvaardig zijn. Een algoritme kan bijvoorbeeld als uitkomst hebben dat vacatures of advertenties voor bepaalde producten alleen bij individuen uit een bepaalde groep terechtkomen. Individuen die niet tot deze groep behoren, worden zo gediscrimineerd, omdat zij in hun keuzevrijheid en -mogelijkheden worden beperkt.

Waarom juist zwarte vrouwen worden gediscrimineerd door algoritmes

Met name zwarte vrouwen blijken vaak gediscrimineerd te worden door algoritmes. Algoritmes voor gezichtsherkenning die gebruikt werden door techgiganten zoals IBM, Microsoft en Amazon bleken bijvoorbeeld de gezichten van zwarte vrouwen het slechtst te herkennen. Dit kan verstrekkende gevolgen hebben: wanneer gezichtsherkenning bijvoorbeeld wordt gebruikt bij het opsporen van misdaad, kan een zwarte vrouw hierdoor onjuist worden beschuldigd, omdat haar gezicht niet goed is herkend.^[vi] Dat nu juist zwarte vrouwen vaak gediscrimineerd worden, kan verklaard worden met het principe van ‘intersectionaliteit’: het idee dat individuen gediscrimineerd worden op grond van meerdere factoren die met elkaar interfereren.^[vii] Zwarte vrouwen vallen onder de groep ‘vrouwen’ en ‘mensen van kleur’. Hierdoor kunnen zij last hebben van seksisme en van racisme, maar óók nog eens van de interferentie van deze twee factoren.

Ook historische stereotypes kunnen een verklaring bieden voor het feit dat juist zwarte vrouwen vaak het slachtoffer zijn van algoritmische discriminatie. Deze stereotypes vinden hun oorsprong in de achttiende eeuw: de eeuw van slavernij en surveillance. Terwijl witte mensen steeds meer rechten genoten, werden zwarte mensen op de slavenplantages en daarbuiten op de meest brute manieren ‘onder controle gehouden’.^[viii] Om de surveillance over zwarte mensen te rechtvaardigen, beriepen witte machthebbers zich op stereotypes. Dat zwarte mensen gevaarlijk zijn, bijvoorbeeld, en daarom gecontroleerd moeten worden. Of dat ze niet technisch zijn en daarom niet in staat zijn tot enig ander werk dan slavenarbeid.^[ix]

Met name over zwarte vrouwen bestonden specifieke stereotypes, zoals dat van de domme zwarte vrouw die ‘haar plaats kent’ als slaaf en daar blij mee is (‘de Mammy’), dat van de seksueel makkelijke en onverzadigbare diersoort (‘de Jezebel’) en dat van de boze zwarte vrouw die gif en gal spuwt naar iedereen die haar niet respecteert (‘de Sapphire’).^[x] Deze historische stereotypes manoeuvreren zwarte vrouwen nog steeds in bepaalde rolpatronen, waardoor een vicieuze cirkel ontstaat van een sociale werkelijkheid die de stereotypes lijkt te herbevestigen.^[xi] Het erkennen hiervan kan helpen om de algoritmische discriminatie van zwarte vrouwen te stoppen.

Afbeelding 1: Culturele artefacten die het Jezebel-stereotype weergeven (Ferris State University, Jim Crow Museum of Racist Memorabilia, z.d.)

Dat nu juist stereotypes over zwarte vrouwen doorwerken in digitale technologieën, valt ook te verklaren vanuit de diversiteit onder programmeurs. Deze is erg laag. Het meest recente Diversity Report van Google vermeldt bijvoorbeeld dat zwarte vrouwen slechts 0,7 procent van de technische werknemers uitmaken.^[i] Hierdoor worden stereotypes ten aanzien van zwarte vrouwen in algoritmes minder snel door programmeurs opgemerkt. Op deze manier sluimeren stereotypes niet alleen door in de data, maar ook in het ontwerp van algoritmes. Om dit tegen te gaan, moet het zwarte vrouwen gemakkelijker worden gemaakt om in de ICT te gaan werken.

Waarom eerlijk zijn zo moeilijk is

Discriminatie door algoritmes kan echter niet alleen worden opgelost door historische stereotypes te erkennen en door de diversiteit onder programmeurs te vergroten. Ook technisch gezien blijkt het lastig om niet-discriminerende, oftewel ‘eerlijke’, algoritmes te realiseren. Omdat de definitie voor ‘eerlijk’ in een computer gestopt moet worden, is het nodig dat deze definitie uitgedrukt kan worden in wiskundige taal. Er bestaat nog geen geschikte wiskundige formule voor eerlijkheid die functioneert. Er zijn drie gangbare definities voor een eerlijk algoritme, maar aan elke kleven voor- en nadelen.^[ii]

Bovendien kan het ontwerp van een algoritme eerlijk lijken, maar dit in de praktijk toch niet zijn. Huidige algoritmes zijn namelijk niet intersectioneel. Wanneer je bij sommige algoritmes los naar seksisme en racisme kijkt, lijken ze in eerste instantie niet seksistisch of racistisch. Toch kan het voorkomen dat zwarte vrouwen niet eerlijk worden behandeld, omdat er een bepaald samenspel is van racisme en seksisme. Dat samenspel maakt het extra lastig om maatregelen te implementeren in een algoritme.^[iii]

Ook zijn bedrijven en organisaties soms minder gemotiveerd om een eerlijk algoritme te ontwikkelen, omdat dit ten koste gaat van de accuratesse van het algoritme. Algoritmes worden namelijk minder goed in voorspellen wanneer zij ook eerlijk moeten zijn. Wanneer een algoritme twee doelen moet optimaliseren in plaats van één, moet er een compromis tussen de twee doelen worden gemaakt.^[iv]

Waarom programmeurs verantwoordelijk blijven

Omdat het zo moeilijk is om discriminatie door algoritmes te doorgronden, worden programmeurs vaak niet volledig verantwoordelijk gehouden. We zouden programmeurs alleen verantwoordelijk kunnen houden als zij controle over de algoritmes hebben, maar aangezien de algoritmes zelflerend zijn, kunnen programmeurs op een gegeven moment niet meer controleren of hun algoritmes nog steeds neutraal zijn.^[v] Bovendien zijn programmeurs in principe niet van kwade wil; het is niet hun bedoeling om te discrimineren. Ook vanwege dit gebrek aan intentionaliteit, zouden programmeurs daarom niet volledig verantwoordelijk kunnen worden gehouden voor de discriminerende gevolgen van algoritmes.^[vi]

Maar wie zijn er dan wel verantwoordelijk? De algoritmes zelf? Volgens Sullins (2006, 169) kan die claim niet worden gemaakt. Aan algoritmes kan geen moreel agentschap worden toegekend, omdat algoritmes geen intentie en geen gevoel van verantwoordelijkheid tegenover anderen kunnen hebben. De gebruikers dan? Zij lijken verantwoordelijk te zijn voor discriminatie, omdat ze ook verantwoordelijk zijn voor de eigen keuze om een algoritme in te zetten en de uitkomsten ervan op te volgen. Het argument kan echter worden gemaakt dat gebruikers, onder wie bedrijven en organisaties, zich niet bewust zijn van het feit dat algoritmes tot discriminatie kunnen leiden. Ook hebben zij weinig inzicht in de werking van het algoritme. De verantwoordelijkheid voor discriminerende algoritmes kan daarom niet zomaar op gebruikers worden afgeschoven.

We komen dan toch weer uit bij de programmeurs. Alhoewel zij niet altijd precies weten hoe algoritmes discriminatie in de hand werken, zijn zij zich er wel van bewust dat algoritmes kunnen leiden tot discriminatie. Als ze er dan toch voor kiezen om een algoritme vrij te geven voor gebruikers, zijn ze wel degelijk verantwoordelijk. Daarom moeten programmeurs zo veel mogelijk doen om discriminatie te voorkomen, zoals gebruikers voorlichten over de mogelijke manieren waarop een specifiek algoritme discriminerend kan zijn.

En nu?

Sinds de wereldwijde protesten tegen racisme vanaf juni 2020 hebben verschillende techbedrijven maatregelen getroffen om discriminatie door algoritmes tegen te gaan. Zo kondigde techbedrijf Amazon aan een jaar lang geen software voor gezichtsherkenning meer te zullen verkopen aan Amerikaanse politiekorpsen, maakte techbedrijf IBM bekend helemaal te stoppen met gezichtsherkenning en verwijderde het gerenommeerde Massachusetts Institute of Technology (MIT) de dataset die het gebruikte om beeldtechnologie te ontwikkelen.^[vii] Maar vormt het intrekken van gezichtsherkenningstechnologieën en het verwijderen van datasets niet een schijnoplossing? Of zelfs een collectieve afleiding, zodat andere technologieën in de luwte verder kunnen worden ontwikkeld?

Op basis van de in dit artikel beschreven inzichten uit de kunstmatige intelligentie, filosofie en geschiedenis, hebben wij een schema samengesteld dat inzicht geeft in de oorzaken van discriminatie door algoritmes én dat hier oplossingen voor aandraagt die verder gaan dan het defensief intrekken van technologieën of verwijderen van datasets. In dit schema (zie figuur 1) zijn in het blauw de opeenvolgende stappen uit het verloop van het in-werking-stellen van een algoritme weergegeven. In het rood is de discriminatie door algoritmes weergegeven. Het is hierbij belangrijk om op te merken dat er sprake is van een positieve terugkoppeling: de verschillende manieren waarop algoritmes discrimineren, versterken elkaar. Doordat stereotypes doorwerken in voorspellende algoritmes, worden ze in de uitkomsten van de algoritmes herbevestigd, blijven ze bestaan in de samenleving en komen ze versterkt terecht in nieuwe data. In het schema is ten slotte, in het groen, een handelingsperspectief gepresenteerd om algoritmes in de toekomst discriminatie-vrij te maken.

Afbeelding 2: discriminatie door algoritmes, naar een handelingsperspectief

Op meerdere momenten moet worden ingegrepen. Het is ten eerste van belang om de risico’s van profilerende algoritmes beter bekend te maken aan mensen wiens data verzameld worden. Zij kunnen dan eventueel bezwaar aantekenen, mochten ze de risico’s van een bepaald algoritme te groot vinden. Vervolgens is het belangrijk om zo veel mogelijk diversiteit in teams van programmeurs te waarborgen. Een divers team merkt stereotypes in de data namelijk eerder op en neemt zelf ook minder eenzijdige stereotypes mee in het ontwerpen van algoritmes. Tijdens het ontwerpen van algoritmes moeten ook technische oplossingen worden ingezet om onrechtvaardige uitkomsten tegen te gaan. Nadat het algoritme is ontworpen en het voorspellingen heeft gedaan, zouden deze voorspellingen ten slotte onderworpen moeten worden aan een ‘ethische reflectie’. Deze reflectie kan helpen bij het maken van de beslissing om het algoritme wel of niet in de praktijk te gaan toepassen. Het zou goed zijn als de ethische reflectie niet alleen wordt uitgevoerd door programmeurs en gebruikers, maar ook door een onafhankelijke derde partij die gespecialiseerd is in algoritmes en discriminatie.

Meer weten?

Dit artikel is gebaseerd op een interdisciplinaire scriptie. Wil je de gehele scriptie lezen? Klik dan hier: Computer says no tegen zwarte vrouwen (volledige scriptie).

De Algorithmic Justice League (AJL) probeert bewustzijn te creëren over de negatieve impact die kunstmatige intelligentie kan hebben op mensen, onder meer in de vorm van discriminatie. De organisatie onderneemt vele acties om deze discriminatie tegen te gaan. Ze maakte ook een documentaire waarin mensen die gediscrimineerd worden door technologie hun ervaringen vertellen: A Coded Bias.