Articles

Algoritmische discriminatie

Algoritmische discriminatie

Algoritmische discriminatie

08.01.2019 NL law

'Slimme algoritmes' nemen steeds meer arbeidsrechtelijk relevante beslissingen. Zo kunnen zelflerende systemen onder meer worden ingezet om te bepalen wie promotie krijgt of welk cv wordt geselecteerd in een sollicitatieprocedure. Ook in de opkomende platformeconomie worden veel arbeidsrechtelijk relevante beslissingen genomen door geautomatiseerde systemen: wie doet welke klus en tegen welke beloning?

Het is de vraag of dit soort beslissingen ook eerlijk(er) zijn wanneer zij geautomatiseerd zijn. Zelflerende algoritmes kunnen namelijk tot niet objectief te rechtvaardigen resultaten komen, zowel doordat het algoritme de vooroordelen van de programmeurs of hun opdrachtgevers weerspiegelt, als doordat het is getraind met historische oefendata die is voortgekomen uit een ongelijke historische situatie. In deze 'Ter Visie' verken ik twee arbeidsrechtelijk relevante, hiermee samenhangende, eigenaardigheden van zelflerende systemen.

De eerste eigenaardigheid is dat zulke systemen beslissingen nemen op basis van zeer grote hoeveelheden data, factoren en daarmee blootstaan aan veel potentiële claims uit hoofde van indirecte discriminatie. Een systeem dat onderscheid maakt op basis van de ogenschijnlijk neutrale maatstaf 'postcode' kan zo bijvoorbeeld ook onderscheid maken op basis van etniciteit, omdat het nu eenmaal vaak voorkomt dat mensen van een bepaalde etniciteit of sociale klasse bij elkaar in dezelfde wijk wonen.

De tweede eigenaardigheid is dat zelflerende systemen vaak een zogeheten 'black box' zijn. Dat hangt deels samen  met het feit dat zulke systemen bedrijfsgeheim zijn. Het kan echter ook gaan om een eigenschap die inherent is aan het type systeem dat wordt gebruikt: van de meeste zelflerende systemen kan achteraf maar moeilijk worden gereconstrueerd waarom zij een bepaalde beslissing namen. Dat leidt tot verschillende problemen op het gebied van zowel materieel gelijkebehandelingsrecht als bewijsrecht.

Een voorbeeld van een probleem op het gebied van materieel gelijkebehandelingsrecht is het volgende: volgens jurisprudentie van het Europees Hof van Justitie zal van een beloningssysteem dat ondoorzichtig is eerder worden vermoed dat het discriminatoir is.

Een bewijsrechtelijk probleem zou kunnen voortvloeien uit het feit dat de bewijslast verschuift naar de werkgever zodra de werknemer het vermoeden van discriminatie heeft gevestigd. De werkgever moet dan bewijzen dat hij niet heeft gediscrimineerd. Een werkgever zal echter moeilijk in dit bewijs kunnen slagen, als hij een systeem hanteert dat kan worden omschreven als black box.

Het beste dat een werkgever die een black box gebruikt kan doen, is uitleggen hoe het systeem is ontworpen – bij voorkeur onder verwijzing naar maatregelen die zijn getroffen om zo min mogelijk discriminatoire effecten te hebben. Gelet hierop doen werkgevers die gebruik willen maken van zelflerende systemen er goed aan het ontwerpproces van hun zelflerende systeem goed te documenteren. Welke ontwerpbeslissingen worden er gemaakt, en waarom?

Related news

04.07.2019 NL law
Seminar: Employment law in the public sector

Seminar - Stibbe will host a seminar with the title 'Employment law in the public sector' in Amsterdam on 4 July 2019. In addition to the imminent Act on the Normalisation of the Legal Status of Civil Servants (Wnra), integrity and remuneration issues also receive a great deal of attention, particularly where public employers are concerned. During this seminar, we will discuss these most current topics.

Read more

06.06.2019 NL law
Masterclass: Alcohol and drug testing in the workplace

Masterclass - Stibbe will host a masterclass entitled 'Alcohol and drug testing in the workplace' on 6 June in Amsterdam. During this masterclass, employment law expert Johan Zwemmer and privacy experts Frederiek Fernhout and Judica Krikke will discuss the Dutch Data Protection Authority's general prohibition of these tests and discuss whether and how employers should implement.

Read more

02.07.2019 NL law
Debate night: HR Analytics: opportunity or threat?

Seminar - On 2 July 2019, Stibbe's Digital Economy Group will host a debate night in Amsterdam on the hot topic of HR analytics. During Stibbe's debate night, speakers from the world of business, politics, science and law will exchange views on HR analytics, how they can be used in practice, and their development in the context of employment and privacy law.

Read more

06.06.2019 NL law
Masterclass: Alcohol- en drugstesten op de werkvloer

Masterclass - Stibbe in Amsterdam organiseert op 6 juni de masterclass 'Alcohol- & drugstesten op de werkvloer'. Tijdens deze masterclass bespreken arbeidsrechtexpert Johan Zwemmer en privacydeskundigen Frederiek Fernhout en Judica Krikke het algemene verbod van de Autoriteit Persoonsgegevens op deze testen voor werkgevers en leggen zij onder meer uit hoe hiermee moet worden omgegaan.

Read more

29.05.2019 NL law
Debatavond: HR Analytics: kans of bedreiging?

Seminar - Stibbe's Digital Economy Group organiseert op 2 juli 2019 een debatavond in Amsterdam over 'HR analytics'. Tijdens deze debatavond gaan sprekers uit het bedrijfsleven, politiek, wetenschap en recht met elkaar in debat over dit actuele onderwerp en o.a. welke arbeids- en privacyrechtelijke aspecten spelen een rol bij het gebruik van AI en HR Analytics. 

Read more

Our website uses functional cookies for the functioning of the website and analytic cookies that enable us to generate aggregated visitor data. We also use other cookies, such as third party tracking cookies - please indicate whether you agree to the use of these other cookies:

Privacy – en cookieverklaring