Awgb verbied direct en indirect onderscheid

[floort]

In de uitleg over non-discriminatie staat uitleg over een publicatie van het College voor de Rechten van de Mens.
https://github.com/MinBZK/Algoritmekader/blob/main/docs/bouwblokken/fundamentele%20rechten/non-discriminatie.md

In deze samenvatting lees ik een interpretatie die volgens mij volgens de Algemene wet gelijke behandeling teveel ruimte overlaat.
De Awgb verbied (onder omstandigheden en met uitzonderingen) namelijk direct en indirect onderscheid en dat gaat veel verder dan risicoprofielen uitsluitend richten op of uitsluitend gebaseerd zijn op een beschermde categorie.

De formulering van Artikel 1, lid 1.c maakt volgens mij de relevantie voor algoritmes wel duidelijk:

indirect onderscheid: indien een ogenschijnlijk neutrale bepaling, maatstaf of handelwijze personen met een bepaalde godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht, nationaliteit, hetero- of homoseksuele gerichtheid of burgerlijke staat in vergelijking met andere personen bijzonder treft.

Omdat pull request #21 wat langer blijft hangen dan andere pull requests is het mij niet duidelijk of het de bedoeling is om verwijzingen naar de Awgb op te nemen en wat de juiste vorm is om deze wetgeving mee te nemen in andere verbetersuggesties.

Er zijn denk ik (minimaal) drie belangrijke vragen die meekomen met de combinatie van de Awgb en AVG die belangrijk zijn voor het algoritmekader:

1. Moet het gebruik van een algoritme dat direct of indirect onderscheid maakt op basis van de beschermde categorieën getoetst worden aan de Awgb?
2. Zijn persoonsgegevens die direct of indirect betrekking hebben op de beschermde categorieën uit de Awgb, maar niet gebruikt worden om onderscheid te maken in het algoritme wel relevant voor de toepassing van het algoritme en is de verwerking daarmee rechtmatig (zie artikel 5(1)(c) AVG)?
3. Is er behoefte aan advies over het toetsen of input data (vooral indirect) betrekking heeft op de categorieën uit de Awgb?

[jaspervanderheide]

Ha Floor. Je PR blijft even hangen omdat een collega op vakantie is. Zij heeft dat overzicht gemaakt, dus zij kan beste beoordelen of het erbij hoort. (Wat mij betreft hoort het erbij als ik de lijst zie overigens.)

CvRM gaat in hun stuk overigens wel uitgebreid in op indirecte discriminatie, maar niet in de Richtlijnen. Dat moet vanzelfsprekend wel duidelijk in het uiteindelijke kader komen.

Om concreet je vragen te beantwoorden:

1. Ja, lijkt me wel. Eigenlijk wil je elk algoritme op een (proportionele) manier toetsen, omdat indirect onderscheid niet altijd gemakkelijk te zien is.
2. Dit is een goede vraag voor @IsabelBarbera's werkgroep.
3. Ja! Wij zijn nu een werkgroep non-discriminatie aan het opstarten, dus je hulp is welkom! Dat kan ook gewoon via Github. We zijn nu nog wat in de verkennende fase, dus deze discussie helpt al enorm. Verder dus zoeken naar rapporten, bestaande tools en nuttige definities. Maar straks willen we ook kijken hoe we dat toetsen praktisch kunnen maken.

Afsluitend nog een ping voor @ruthkoole

[floort]

Dankjewel. Ik wil geen druk zetten om de PR sneller te behandelen, maar zag een mogelijke blokkade voor verdere voorstellen op dit punt. Die is er dus niet.

Voor punt 1: je zegt op een 'proportionele' manier toetsen. Dat klinkt redelijk, maar ik weet niet wat het betekent. Ik denk dat het beter is om vast te houden aan artikel 5(2) AVG en te zeggen dat de verwerkingsverantwoordelijke in staat moet zijn om o.a. de rechtmatigheid aan te tonen als er persoonsgegevens worden verwerkt. Dat omvat uiteindelijk ook rechtmatigheid onder de Awgb. Ik denk niet dat het handig is om de indruk te wekken dat er niet aan 5(2) AVG voldaan hoeft te worden als dat teveel werk wordt gevonden.

[floort]

Vanwege het enorm bede spectrum aan soorten algoritmes en toepassingsgebieden vind ik het heel lastig om eenduidige methoden te noemen.
Ik kan me heel goed een statistische toets voorstellen waaruit duidelijk wordt dat een veld "postcode" in een database in sommige gevallen een hele sterkte correlatie heeft met bijvoorbeeld religie. Maar hoe doe je dat met camera-beelden? Dan moet je waarschijnlijk hele andere methoden gebruiken.
Wat ik wil voorkomen is dat de vraag uit de weg wordt gegaan omdat de uitvoering lastig is. Het is ook goed mogelijk dat de juiste conclusie is dat voor sommige systemen we niet weten hoe die aantoonbaar compliant ingezet kunnen worden en dat dus de inzet niet rechtmatig is totdat iemand de rechtmatigheid wel kan aantonen.

Volgens mij zou dat een goede basis zijn voor een brainstorm over concrete maatregelen. Aanvullend zouden registraties in het algoritmeregister met goede voorbeelden en voldoende detail om geinformeerd als voorbeeld te kunnen gebruiken ook helpen. Is dat haalbaar?

[jaspervanderheide]

Het aanleveren van registraties voor het register is aan overheidsorganisaties zelf. Daar hebben wij vanuit projectteam helaas weinig invloed op. Dus wanneer er goede voorbeelden zijn (die aan jouw criteria voldoen), weet ik niet.

Overigens eens met je analyse dat het per algoritme en toepassingsgebied kan verschillen. Daar moeten we onderscheid in gaan maken.

[floort]

Het is duidelijk dat jullie niet over de inhoud van de registraties gaan. Ik denk dat goede voorbeelden helpen en dat het kan lonen als instellingen die misschien worstelen met registraties omdat niet helemaal bekend is hoe ze moeten uitleggen waaraan ze voldoen nuttig kunnen zijn als voorbeeld gebruikt worden. Als ze niet al in het register zitten kan dat ook op een andere manier. Het gaat mij daarbij niet om mijn criteria (geen idee wat die zijn), maar om zo nuttig mogelijk voorbeelden die zo goed mogelijk uitgewerkt zijn.

[jaspervanderheide]

Er loopt in ieder geval een toegezegd onderzoek naar de DUO-casus die ik eerder noemde. Ik ken de inhoud daarvan niet, maar dat geeft na publicatie hopelijk voldoende diepgang voor discussie. Anders zal ik kijken of er voor deze specifieke discussie casussen zijn.

[floort]

Ik heb bij deze discussie een paar voorbeelden genoemd: https://algoritmes.pleio.nl/groups/view/6719c09d-3b0d-4b77-b26f-578fe6cf1fc8/applicatie-algoritmeregister/discussion/view/3f7ad813-f33a-4bac-adad-9b0c4b9a708d/verzameling-concrete-incidenten

Behalve DUO is het RISC voorbeeld wel een interessante maar lastig te bespreken vanwege een gebrek aan informatie. Een spamfilter casus is misschien een veilige optie om te bespreken omdat praktisch iedereen dat heeft en er conceptueel een paar interessante haakjes aan zitten. Hoe bepaal je bijvoorbeeld of discriminitie op basis van IP ranges wel of geen indirect onderscheid is uit de Awgb?

Veel animo om het op pleio te bespreken is er niet helaas. Misschien eens kijken of de uitnodiging van @IsabelBarbera help om dit soort praktische casussen wel bespreekbaar te maken?

[Mildoooo]

De handreiking non-discriminatie stelt dat het non-discriminatierecht uitgangspunten geeft en geen ge- of verboden. Het recht geeft een standaard, een uitgangspunt of een principe, maar daarop bestaan altijd
uitzonderingen. De context speelt een belangrijke rol. Discriminatie (direct/indirect) op basis van directe gronden zoals ras, godsdienst, leeftijd zal weliswaar in veel gevallen verboden zijn, maar je zult altijd de vragen moeten aflopen of een specifieke geval tot benadeling zal leiden. Vervolgens moet een keuze te rechtvaardigen zijn. Is er een goede reden voor het gemaakte onderscheid? 1) is er een wettelijke uitzondering En 2) is er een objectieve rechtvaardiging en is er een legitiem doen. Is het middel dat ik gebruik om mijn doel te bereiken passend, noodzakelijk en evenredig?
Op pagina 10 staat een mooi schema. https://open.overheid.nl/documenten/ronl-3f9fa69c-acf4-444d-96e1-5c48df00eb3c/pdf
Algoprudentie kan een waardevolle bijdrage leveren aan normontwikkeling. Vooral in gevallen waarbij het niet zo evident is dat er sprake is van een verbod.

[floort]

Ik snap de nuancering daarin: onderscheid is onder omstandigheden toegestaan zoals ook in de Awgb staat beschreven. Ik benader het vanuit artikel 5(2) AVG waarbij moet kunnen worden aangetoond dat de verwerking rechtmatig is (5(1)(a) AVG) en daarmee ook moet kunnen worden aangetoond dat, waar relevant, aan de Awgb wordt voldaan.

Het is niet mijn intentie om te stellen dat onder de Awgb het verbod op discriminatie absoluut is (dat is het niet). Maar je zal in de concrete situatie moeten kunnen aantonen dat de Awgb niet van toepassing is, of dat je onder een uitzondering van het discriminatieverbod valt. De nuance dat het verbod niet absoluut is zat verstopt in punt 1 van mijn post hier bovenaan. Niet expliciet benoemd, maar niet vergeten.