From 8eb7db2c1c849744c8c8bc5ead08c0951ffd757d Mon Sep 17 00:00:00 2001 From: Jasper van der Heide <19666278+jaspervanderheide@users.noreply.github.com> Date: Fri, 16 Aug 2024 15:08:23 +0200 Subject: [PATCH 01/22] Update aselecte_steekproeven.md --- docs/maatregelen/aselecte_steekproeven.md | 7 ++++--- 1 file changed, 4 insertions(+), 3 deletions(-) diff --git a/docs/maatregelen/aselecte_steekproeven.md b/docs/maatregelen/aselecte_steekproeven.md index 3a82eb966a..05007c9450 100644 --- a/docs/maatregelen/aselecte_steekproeven.md +++ b/docs/maatregelen/aselecte_steekproeven.md @@ -1,10 +1,11 @@ --- # vul hier een titel in voor deze maatregel -title: Aselecte steekproeven +title: Gebruik aselecte als er gebruik gemaakt wordt van risicogestuurde selectie # geef hier een korte toelichting van deze maatregel -toelichting: Uitvoeren van aselecte steekproeven aanvullend op risicogestuurde selectie +toelichting: Zorg dat een risicogestuurde selectie niet alleen gemaakt worden op basis van een algoritme, maar dat er ook willekeurige gevallen toegevoegd worden aan de selectie. Deze kan gebruikt worden om modellen te onderhouden. vereiste: -- +- beoordelen_gevolgen_voor_grondrechten +- non_discriminatie # vul hier de fasen van de levenscyclus in die horen bij deze maatregel levenscyclus: - implementatie From 6f3eb77790ae2f103b4de54264c4aa3ff748e606 Mon Sep 17 00:00:00 2001 From: Jasper van der Heide <19666278+jaspervanderheide@users.noreply.github.com> Date: Fri, 16 Aug 2024 15:16:54 +0200 Subject: [PATCH 02/22] Add files via upload --- ...xpliciteer tegenvoorbeelden in datavorm.MD | 52 ++++++++++++++++ ...gel 22 bepaal wat we willen voorspellen.MD | 55 +++++++++++++++++ .../maatregel 36 bijgestuurde selectie.MD | 55 +++++++++++++++++ .../maatregel41_biastoets_uitvoeren.md | 28 +++++++++ .../maatregel42_CBS_synthetische_data.md | 59 +++++++++++++++++++ docs/maatregelen/maatregel43_ground_truth.md | 53 +++++++++++++++++ ...atregel66_reproduceerbaarheid_algoritme.md | 58 ++++++++++++++++++ 7 files changed, 360 insertions(+) create mode 100644 docs/maatregelen/maatregel 21 Expliciteer tegenvoorbeelden in datavorm.MD create mode 100644 docs/maatregelen/maatregel 22 bepaal wat we willen voorspellen.MD create mode 100644 docs/maatregelen/maatregel 36 bijgestuurde selectie.MD create mode 100644 docs/maatregelen/maatregel41_biastoets_uitvoeren.md create mode 100644 docs/maatregelen/maatregel42_CBS_synthetische_data.md create mode 100644 docs/maatregelen/maatregel43_ground_truth.md create mode 100644 docs/maatregelen/maatregel66_reproduceerbaarheid_algoritme.md diff --git a/docs/maatregelen/maatregel 21 Expliciteer tegenvoorbeelden in datavorm.MD b/docs/maatregelen/maatregel 21 Expliciteer tegenvoorbeelden in datavorm.MD new file mode 100644 index 0000000000..60b1dde5cc --- /dev/null +++ b/docs/maatregelen/maatregel 21 Expliciteer tegenvoorbeelden in datavorm.MD @@ -0,0 +1,52 @@ +--- +# vul hier een titel in voor deze maatregel +title: Expliciteer tegenvoorbeelden zoveel mogelijk in datavorm bijvoorbeeld in unit tests. +# geef hier een korte toelichting van deze maatregel +toelichting: Gesimuleerde data maakt het mogelijk om te testen of een algoritme ook op deze data werkt conform ontwerp (een unit test). Omdat de data gesimuleerd is, is bekend welke patronen er in de data zitten. Hierdoor is het mogelijk om te toetsen of een algoritme bias heeft, als de gesimuleerde data de werkelijkheid beschrijft. Er kunnen verschillende simulaties ontwikkeld worden, waarbij de relatie tussen beschermde persoonsgegevens en de uitkomst telkens anders is. +# vul hier de bestandsnamen in van de vereisten die horen bij deze maatregel +vereiste: +- geen +# vul hier de fasen van de levenscyclus in die horen bij deze maatregel +levenscyclus: +- ontwerp +# vul hier de bouwblokken in die horen bij deze maatregel +bouwblok: +- technische-robuustheid-en-veiligheid +--- + + + + +## Maatregel + +Expliciteer tegenvoorbeelden zoveel mogelijk in datavorm bijvoorbeeld in unit tests. + +## Toelichting + +Gesimuleerde data maakt het mogelijk om te testen of een algoritme ook op deze data werkt conform ontwerp (een unit test). Omdat de data gesimuleerd is, is bekend welke patronen er in de data zitten. Hierdoor is het mogelijk om te toetsen of een algoritme bias heeft, als de gesimuleerde data de werkelijkheid beschrijft. Er kunnen verschillende simulaties ontwikkeld worden, waarbij de relatie tussen beschermde persoonsgegevens en de uitkomst telkens anders is. + +## Bijbehorende vereiste(n) + + + + + +## Bronnen + + +| Bron | +|-----------------------------| + + + +## Risico + + +Model heeft bias die niet opgemerkt wordt. + +## Voorbeeld + + +Heb je een voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) + + diff --git a/docs/maatregelen/maatregel 22 bepaal wat we willen voorspellen.MD b/docs/maatregelen/maatregel 22 bepaal wat we willen voorspellen.MD new file mode 100644 index 0000000000..aec63fc724 --- /dev/null +++ b/docs/maatregelen/maatregel 22 bepaal wat we willen voorspellen.MD @@ -0,0 +1,55 @@ +--- +# vul hier een titel in voor deze maatregel +title: bepaal of we meten wat we willen voorspellen. +# geef hier een korte toelichting van deze maatregel +toelichting: Voorspellende algoritmes proberen een uitkomst zo goed mogelijk te voorspellen. Het gebruik van zulke algoritmes kan tot ongewenste situaties leiden als de *target* van het algoritme niet overeenkomt met het doel waarvoor het algoritme ontworpen is. + +# vul hier de bestandsnamen in van de vereisten die horen bij deze maatregel +vereiste: +- geen +# vul hier de fasen van de levenscyclus in die horen bij deze maatregel +levenscyclus: +- ontwerp +# vul hier de bouwblokken in die horen bij deze maatregel +bouwblok: +- technische-robuustheid-en-veiligheid +--- + + + + +## Maatregel + +Evalueer de bias van meerdere uitkomstvariabelen + +## Toelichting + +Voorspellende algoritmes proberen een afhankelijke variabele (target) zo goed mogelijk te voorspellen. Het gebruik van zo'n algoritme kan tot ongewenste situaties leiden als de target van het algoritme niet overeenkomt met het doel waarvoor het algoritme ontworpen is. Het is daarom belangrijk om -indien mogelijk- meerdere uitkomsten te gebruiken als het doel waarvoor het algoritme ontworpen is multidemsionaal is. Zo benadeelde een algoritme, dat de meest ongezonde personen moest selecteren voor vervolgbehandeling, zwarte patienten ten opzichte van witte wanneer zorgkosten de target vormden. Dit gebeurde niet als de target het aantal chronische aandoeningen was of een combinatie van zorgkosten en het aantal chronische aandoeningen. [Obermeyer e.a. (2019)](https://www.science.org/doi/10.1126/science.aax2342) Bias kan dus verschillen per target, ook als beide targets ongeveer hetzelfde meten. + +## Bijbehorende vereiste(n) + + + + + +## Bronnen + + +| Bron | +|-----------------------------| + + + +## Risico + + +Model leidt tot ongewenste situatie doordat de uitkomst niet of maar gedeeltelijk overeenkomt met het doel waarvoor het algoritme ontworpen is. + +## Voorbeeld + + +[Obermeyer e.a. (2019)](https://www.science.org/doi/10.1126/science.aax2342) + +Heb je een voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) + + diff --git a/docs/maatregelen/maatregel 36 bijgestuurde selectie.MD b/docs/maatregelen/maatregel 36 bijgestuurde selectie.MD new file mode 100644 index 0000000000..5b303eb351 --- /dev/null +++ b/docs/maatregelen/maatregel 36 bijgestuurde selectie.MD @@ -0,0 +1,55 @@ +--- +# vul hier een titel in voor deze maatregel +title: Bepaal effectiviteit en representativiteit via 'bijgestuurde selectie' +# geef hier een korte toelichting van deze maatregel +toelichting: +# vul hier de bestandsnamen in van de vereisten die horen bij deze maatregel +vereiste: +- geen +# vul hier de fasen van de levenscyclus in die horen bij deze maatregel +levenscyclus: +- ontwikkelen +# vul hier de bouwblokken in die horen bij deze maatregel +bouwblok: +- technische-robuustheid-en-veiligheid +--- + + + + +## Maatregel + +Bepaal effectiviteit en representativiteit via 'bijgestuurde selectie' + +## Toelichting + +Bepaal effectiviteit en representativiteit via 'bijgestuurde selectie'. +Vaak wordt een model niet gebruikt, omdat inputdata biased is. In plaats van inputdata te wijzigen, is het ook mogelijk om een representatieve selectie te krijgen door restricties op te leggen aan de selectie. +Zo kan opgelegd worden dat het model minimaal 50 procent vrouwen selecteert, om een gelijke man-vrouw verdeling te garanderen. Dit vergroot de grip van gebruikers op de eerlijkheid van het algoritme. + +## Bijbehorende vereiste(n) + + + + + +## Bronnen + + +| Bron | +|-----------------------------| +|[Hekkelman e.a. (2023)](https://www.cpb.nl/rechtvaardige-algoritmes) | + +## Risico + + +Effectief en eerlijk algoritme wordt gemist door focus op eerlijkheid. + +## Voorbeeld + + +[Hekkelman e.a. (2023)](https://www.cpb.nl/rechtvaardige-algoritmes) + +Heb je een voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) + + diff --git a/docs/maatregelen/maatregel41_biastoets_uitvoeren.md b/docs/maatregelen/maatregel41_biastoets_uitvoeren.md new file mode 100644 index 0000000000..26b0684bd4 --- /dev/null +++ b/docs/maatregelen/maatregel41_biastoets_uitvoeren.md @@ -0,0 +1,28 @@ +--- +# vul hier een titel in voor deze maatregel +title: Voer een biastoets uit +# geef hier een korte toelichting van deze maatregel +toelichting: Zorg dat er bij het valideren van het algoritme een biastoets wordt uitgevoerd, zodat de mate van bias die ontstaat bij ingebruikname van het algoritme inzichtelijk is. +# vul hier de bestandsnamen in van de vereisten die horen bij deze maatregel +vereiste: +- beoordelen_gevolgen_voor_grondrechten +- non_discriminatie +# vul hier de fasen van de levenscyclus in die horen bij deze maatregel +levenscyclus: +- verificatie-en-validatie +# vul hier de bouwblokken in die horen bij deze maatregel +bouwblok: +- conformiteitsbeoordeling +- fundamentele-rechten +--- + + + + +## Maatregel + +Voor een algoritme toegepast gaat worden moet deze expliciet op bias getoetst zijn. + +## Toelichting + +Bij het gebruik van een algoritme voor het maken van selecties kan bias optreden. Zo kunnen bepaalde groepen in de selectie over-/ of ondergerepresenteerd worden. De selectie gemaakt door het algoritme kan dus onwenselijk zijn en zelfs strafbaar zijn als blijkt dat de selectie is gemaakt op basis van verboden persoonskenmerken of als bepaalde groepen onevendig hard worden getroffen door het algoritme. Door het algoritme te toetsen op bias, bijvoorbeeld door middel van de CBS data, kan dit risico verkleind worden. diff --git a/docs/maatregelen/maatregel42_CBS_synthetische_data.md b/docs/maatregelen/maatregel42_CBS_synthetische_data.md new file mode 100644 index 0000000000..efcbbf2cda --- /dev/null +++ b/docs/maatregelen/maatregel42_CBS_synthetische_data.md @@ -0,0 +1,59 @@ +--- +# vul hier een titel in voor deze maatregel +title: Algoritmes controleren met synthetische en/of CBS data +# geef hier een korte toelichting van deze maatregel +toelichting: Zorg dat selecties gemaakt door algoritmes gecontroleerd worden op achtergrondkenmerken met behulp van synthetische en/of CBS microdata, zodat het inzichtelijk wordt welke groepen door het algoritme worden geselecteerd. +# vul hier de bestandsnamen in van de vereisten die horen bij deze maatregel +vereiste: +- beoordelen_gevolgen_voor_grondrechten +- non_discriminatie +- verboden_toepassingen_evaluatie_of_classificatie_natuurlijke_personen_of_groepen_personen +# vul hier de fasen van de levenscyclus in die horen bij deze maatregel +levenscyclus: +- dataverkenning-en-datapreparatie +- ontwikkelen +- verificatie-en-validatie +- verboden_toepassingen_evaluatie_of_classificatie_natuurlijke_personen_of_groepen_personen +# vul hier de bouwblokken in die horen bij deze maatregel +bouwblok: +- conformiteitsbeoordeling +- data +- fundamentele-rechten +--- + + + + +## Maatregel + +Maak gebruik van synthetische en/of CBS microdata om de persoonskenmerken van selecties gemaakt door een selectiealgoritme inzichtelijk te maken. + +## Toelichting + +Bij het opstellen van selectiealgoritmes mogen bepaalde persoonskenmerken niet gebruikt worden (denk bijvoorbeeld aan migratieachtergrond). Selecties gemaakt door het algoritme zouden echter wel gecontroleerd moeten worden op die persoonskenmerken. Doordat organisaties vaak geen toegang hebben tot data met daarin deze kenmerken of deze data niet mogen gebruiken is het voor de organisaties niet inzichtelijk welke personen geselecteerd worden door hun algoritme en of dit een bepaald groep omvat. Door selecties te koppelen aan synthetische data en/of CBS microdata kunnen deze persoonskenmerken verkregen worden en kunnen selecties meer inzichtelijk gemaakt worden. + +## Bijbehorende vereiste(n) + + + + + +## Bronnen + + +| Bron | +|-----------------------------| + + +## Risico + + +Data over specifieke kwetsbare variabelen is niet beschikbaar, waardoor modeluitkomsten niet gecontroleerd kunnen worden. + +## Voorbeeld + + +Recent is naar buiten gekomen dat DUO gebruikt maakte van een algoritme om studenten te identificeren die zouden frauderen op hun studiefinanciering. Van de studenten die geselecteerd werden door het algoritme had meer dan 90 procent een migratieachtergrond. DUO had geen zicht op de kenmerken van de geselecteerde groep, omdat ze geen data hebben over migratieachtergrond. Had DUO deze informatie wel gehad (door het koppelen van hun selectie aan synthetische en/of CBS microdata) dan had het gebruik van het algoritme stopgezet kunnen worden. + +Heb je een voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) + diff --git a/docs/maatregelen/maatregel43_ground_truth.md b/docs/maatregelen/maatregel43_ground_truth.md new file mode 100644 index 0000000000..1ed4d0c085 --- /dev/null +++ b/docs/maatregelen/maatregel43_ground_truth.md @@ -0,0 +1,53 @@ +--- +# vul hier een titel in voor deze maatregel +title: Besluitvorming mens controleren +# geef hier een korte toelichting van deze maatregel +toelichting: Zorg dat wanneer een selectie gemaakt wordt door een mens deze zorgvuldig wordt gecontroleerd, zodat het risico op menselijke bias verkleint wordt. +# vul hier de bestandsnamen in van de vereisten die horen bij deze maatregel +vereiste: +- Recht_of_uitleg_AI-besluiten +- beoordelen_gevolgen_voor_grondrechten +- non_discriminatie +- recht_op_niet_geautomatiseerd_besluitvorming +# vul hier de fasen van de levenscyclus in die horen bij deze maatregel +levenscyclus: +- verificatie-en-validatie +# vul hier de bouwblokken in die horen bij deze maatregel +bouwblok: +- conformiteitsbeoordeling +- fundamentele-rechten +--- + + + + +## Maatregel + +Wanneer besluitvorming tot stand is gekomen op basis van menselijke keuzes, dan moeten deze keuzes goed worden gecontroleerd. + +## Toelichting + +Vaak wordt aangenomen dat keuzes die door een mens zijn genomen vrij van bias zijn. Denk bijvoorbeeld aan rechters van wie wordt geacht dat zij onpartijdig oordelen, maar waarvan wetenschappelijk is vastgesteld dat rechters verschillend oordelen over gelijke gevallen. Ook zijn beslissingen van mensen vatbaar voor behavioral bias. [Kleinberg e.a. (2018)](https://academic.oup.com/jla/article/doi/10.1093/jla/laz001/5476086) Beslissingen gemaakt door mensen zullen dus niet standaard als waar moeten worden aangenomen. Het is belangrijk om van te voren goed na te denken over een ground truth waar uitkomsten aan gespiegeld moeten worden. + +## Bijbehorende vereiste(n) + + + + + +## Bronnen + + +| Bron | +|-----------------------------| +| [Kleinberg e.a. (2018)](https://academic.oup.com/jla/article/doi/10.1093/jla/laz001/5476086) | + +## Risico + + +Het oordeel van de mens is niet de ground truth. Hierdoor kunnen meetfouten in de vorm van selectieve labels ontstaan. + +## Voorbeeld + + + diff --git a/docs/maatregelen/maatregel66_reproduceerbaarheid_algoritme.md b/docs/maatregelen/maatregel66_reproduceerbaarheid_algoritme.md new file mode 100644 index 0000000000..f0ab024556 --- /dev/null +++ b/docs/maatregelen/maatregel66_reproduceerbaarheid_algoritme.md @@ -0,0 +1,58 @@ +--- +# vul hier een titel in voor deze maatregel +title: Reproduceerbaarheid algoritme +# geef hier een korte toelichting van deze maatregel +toelichting: Zorg dat algoritmes die in werking worden genoemd reproduceerbaar zijn, zodat bekend is hoe beslissingen tot stand gekomen zijn. +# vul hier de bestandsnamen in van de vereisten die horen bij deze maatregel +vereiste: +- Recht_op_uitleg_AI-besluiten +- beoordelen_gevolgen_voor_grondrechten +- non_discriminatie +- toezichtmogelijkheden_voor_gebruikers +- verstrekking_van_informatie_op_verzoek +# vul hier de fasen van de levenscyclus in die horen bij deze maatregel +levenscyclus: +- archiveren +# vul hier de bouwblokken in die horen bij deze maatregel +bouwblok: +- conformiteitsbeoordeling +- fundamentele-rechten +--- + + + + +## Maatregel + +Algoritmes dienen reproduceerbaar te zijn. + +## Toelichting + +Algoritmes kunnen gebaseerd zijn op verschillende methoden. Het is belangrijk dat algoritmes reproduceerbaar zijn, zodat nagegaan kan worden hoe beslissingen tot stand gekomen zijn. Ook maakt dit het mogelijk om na te gaan hoe uitkomsten van het algoritme veranderen als de inputdata wijzigt. +[Kleinberg e.a. (2020)](https://www.pnas.org/doi/full/10.1073/pnas.1912790117?doi=10.1073%2Fpnas.1912790117). + +## Bijbehorende vereiste(n) + + + + + +## Bronnen + + +| Bron | +|-----------------------------| +| [Kleinberg e.a. (2020)](https://www.pnas.org/doi/full/10.1073/pnas.1912790117?doi=10.1073%2Fpnas.1912790117) | + +## Risico + + +Achteraf kan niet meer worden geconstrueerd wat de aanvaarde risico's ten aanzien van bias zijn. + +Achteraf kan niet meer worden gereconstrueerd waarom een algoritme tot een besluit is genomen. + +## Voorbeeld + + +Heb je een voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) + From f13c5cd2876cd25a12c5b1c1c04b040e2699f9cb Mon Sep 17 00:00:00 2001 From: Jasper van der Heide <19666278+jaspervanderheide@users.noreply.github.com> Date: Fri, 16 Aug 2024 15:17:49 +0200 Subject: [PATCH 03/22] Rename maatregel 21 Expliciteer tegenvoorbeelden in datavorm.MD to expliciteer_tegenvoorbeelden_in_datavorm.md --- ...in datavorm.MD => expliciteer_tegenvoorbeelden_in_datavorm.md} | 0 1 file changed, 0 insertions(+), 0 deletions(-) rename docs/maatregelen/{maatregel 21 Expliciteer tegenvoorbeelden in datavorm.MD => expliciteer_tegenvoorbeelden_in_datavorm.md} (100%) diff --git a/docs/maatregelen/maatregel 21 Expliciteer tegenvoorbeelden in datavorm.MD b/docs/maatregelen/expliciteer_tegenvoorbeelden_in_datavorm.md similarity index 100% rename from docs/maatregelen/maatregel 21 Expliciteer tegenvoorbeelden in datavorm.MD rename to docs/maatregelen/expliciteer_tegenvoorbeelden_in_datavorm.md From c7c19ffa988b03e37f1a0c34bf62e78f4d38c207 Mon Sep 17 00:00:00 2001 From: Jasper van der Heide <19666278+jaspervanderheide@users.noreply.github.com> Date: Fri, 16 Aug 2024 15:21:03 +0200 Subject: [PATCH 04/22] Update and rename maatregel 36 bijgestuurde selectie.MD to bijgestuurde_selectie.md --- ...regel 36 bijgestuurde selectie.MD => bijgestuurde_selectie.md} | 0 1 file changed, 0 insertions(+), 0 deletions(-) rename docs/maatregelen/{maatregel 36 bijgestuurde selectie.MD => bijgestuurde_selectie.md} (100%) diff --git a/docs/maatregelen/maatregel 36 bijgestuurde selectie.MD b/docs/maatregelen/bijgestuurde_selectie.md similarity index 100% rename from docs/maatregelen/maatregel 36 bijgestuurde selectie.MD rename to docs/maatregelen/bijgestuurde_selectie.md From 7c0b0833736e225e83eded43958b890349409e13 Mon Sep 17 00:00:00 2001 From: Jasper van der Heide <19666278+jaspervanderheide@users.noreply.github.com> Date: Fri, 16 Aug 2024 15:22:12 +0200 Subject: [PATCH 05/22] Update and rename maatregel42_CBS_synthetische_data.md to synthetische_data.md --- ...{maatregel42_CBS_synthetische_data.md => synthetische_data.md} | 0 1 file changed, 0 insertions(+), 0 deletions(-) rename docs/maatregelen/{maatregel42_CBS_synthetische_data.md => synthetische_data.md} (100%) diff --git a/docs/maatregelen/maatregel42_CBS_synthetische_data.md b/docs/maatregelen/synthetische_data.md similarity index 100% rename from docs/maatregelen/maatregel42_CBS_synthetische_data.md rename to docs/maatregelen/synthetische_data.md From c0ab82e279ddd5fe8a56f0ca4ab7353c557253e5 Mon Sep 17 00:00:00 2001 From: Jasper van der Heide <19666278+jaspervanderheide@users.noreply.github.com> Date: Fri, 16 Aug 2024 15:23:19 +0200 Subject: [PATCH 06/22] Rename maatregel41_biastoets_uitvoeren.md to biastoets_uitvoeren.md --- ...{maatregel41_biastoets_uitvoeren.md => biastoets_uitvoeren.md} | 0 1 file changed, 0 insertions(+), 0 deletions(-) rename docs/maatregelen/{maatregel41_biastoets_uitvoeren.md => biastoets_uitvoeren.md} (100%) diff --git a/docs/maatregelen/maatregel41_biastoets_uitvoeren.md b/docs/maatregelen/biastoets_uitvoeren.md similarity index 100% rename from docs/maatregelen/maatregel41_biastoets_uitvoeren.md rename to docs/maatregelen/biastoets_uitvoeren.md From e55624e3f6f652f238eeca723d8503e26a0a39cc Mon Sep 17 00:00:00 2001 From: Jasper van der Heide <19666278+jaspervanderheide@users.noreply.github.com> Date: Fri, 16 Aug 2024 15:24:16 +0200 Subject: [PATCH 07/22] Rename maatregel43_ground_truth.md to besluitvorming_mens_controleren.md --- ...regel43_ground_truth.md => besluitvorming_mens_controleren.md} | 0 1 file changed, 0 insertions(+), 0 deletions(-) rename docs/maatregelen/{maatregel43_ground_truth.md => besluitvorming_mens_controleren.md} (100%) diff --git a/docs/maatregelen/maatregel43_ground_truth.md b/docs/maatregelen/besluitvorming_mens_controleren.md similarity index 100% rename from docs/maatregelen/maatregel43_ground_truth.md rename to docs/maatregelen/besluitvorming_mens_controleren.md From 9a1aa7a6cbf829d2643d393e620031dc69a35401 Mon Sep 17 00:00:00 2001 From: Jasper van der Heide <19666278+jaspervanderheide@users.noreply.github.com> Date: Fri, 16 Aug 2024 15:24:44 +0200 Subject: [PATCH 08/22] Rename maatregel 22 bepaal wat we willen voorspellen.MD to bepaal_wat_te_voorspellen --- ...aal wat we willen voorspellen.MD => bepaal_wat_te_voorspellen} | 0 1 file changed, 0 insertions(+), 0 deletions(-) rename docs/maatregelen/{maatregel 22 bepaal wat we willen voorspellen.MD => bepaal_wat_te_voorspellen} (100%) diff --git a/docs/maatregelen/maatregel 22 bepaal wat we willen voorspellen.MD b/docs/maatregelen/bepaal_wat_te_voorspellen similarity index 100% rename from docs/maatregelen/maatregel 22 bepaal wat we willen voorspellen.MD rename to docs/maatregelen/bepaal_wat_te_voorspellen From e8d70b85e8606a843c60f3472e440a78b6bdda4d Mon Sep 17 00:00:00 2001 From: Jasper van der Heide <19666278+jaspervanderheide@users.noreply.github.com> Date: Fri, 16 Aug 2024 15:35:59 +0200 Subject: [PATCH 09/22] Rename maatregel66_reproduceerbaarheid_algoritme.md to reproduceerbaarheid_algoritme.md --- ...ceerbaarheid_algoritme.md => reproduceerbaarheid_algoritme.md} | 0 1 file changed, 0 insertions(+), 0 deletions(-) rename docs/maatregelen/{maatregel66_reproduceerbaarheid_algoritme.md => reproduceerbaarheid_algoritme.md} (100%) diff --git a/docs/maatregelen/maatregel66_reproduceerbaarheid_algoritme.md b/docs/maatregelen/reproduceerbaarheid_algoritme.md similarity index 100% rename from docs/maatregelen/maatregel66_reproduceerbaarheid_algoritme.md rename to docs/maatregelen/reproduceerbaarheid_algoritme.md From 6c1ed2e84367a75fba6c615c6e877f3a93358acc Mon Sep 17 00:00:00 2001 From: ruthkoole Date: Wed, 21 Aug 2024 10:05:44 +0200 Subject: [PATCH 10/22] eerste versie maatregel functioneren in lijn met doeleinden --- docs/maatregelen/bepaal_wat_te_voorspellen | 55 ------------------- .../functioneren_in_lijn_met_doeleinden.md | 52 ++++++++++++++++++ 2 files changed, 52 insertions(+), 55 deletions(-) delete mode 100644 docs/maatregelen/bepaal_wat_te_voorspellen create mode 100644 docs/maatregelen/functioneren_in_lijn_met_doeleinden.md diff --git a/docs/maatregelen/bepaal_wat_te_voorspellen b/docs/maatregelen/bepaal_wat_te_voorspellen deleted file mode 100644 index aec63fc724..0000000000 --- a/docs/maatregelen/bepaal_wat_te_voorspellen +++ /dev/null @@ -1,55 +0,0 @@ ---- -# vul hier een titel in voor deze maatregel -title: bepaal of we meten wat we willen voorspellen. -# geef hier een korte toelichting van deze maatregel -toelichting: Voorspellende algoritmes proberen een uitkomst zo goed mogelijk te voorspellen. Het gebruik van zulke algoritmes kan tot ongewenste situaties leiden als de *target* van het algoritme niet overeenkomt met het doel waarvoor het algoritme ontworpen is. - -# vul hier de bestandsnamen in van de vereisten die horen bij deze maatregel -vereiste: -- geen -# vul hier de fasen van de levenscyclus in die horen bij deze maatregel -levenscyclus: -- ontwerp -# vul hier de bouwblokken in die horen bij deze maatregel -bouwblok: -- technische-robuustheid-en-veiligheid ---- - - - - -## Maatregel - -Evalueer de bias van meerdere uitkomstvariabelen - -## Toelichting - -Voorspellende algoritmes proberen een afhankelijke variabele (target) zo goed mogelijk te voorspellen. Het gebruik van zo'n algoritme kan tot ongewenste situaties leiden als de target van het algoritme niet overeenkomt met het doel waarvoor het algoritme ontworpen is. Het is daarom belangrijk om -indien mogelijk- meerdere uitkomsten te gebruiken als het doel waarvoor het algoritme ontworpen is multidemsionaal is. Zo benadeelde een algoritme, dat de meest ongezonde personen moest selecteren voor vervolgbehandeling, zwarte patienten ten opzichte van witte wanneer zorgkosten de target vormden. Dit gebeurde niet als de target het aantal chronische aandoeningen was of een combinatie van zorgkosten en het aantal chronische aandoeningen. [Obermeyer e.a. (2019)](https://www.science.org/doi/10.1126/science.aax2342) Bias kan dus verschillen per target, ook als beide targets ongeveer hetzelfde meten. - -## Bijbehorende vereiste(n) - - - - - -## Bronnen - - -| Bron | -|-----------------------------| - - - -## Risico - - -Model leidt tot ongewenste situatie doordat de uitkomst niet of maar gedeeltelijk overeenkomt met het doel waarvoor het algoritme ontworpen is. - -## Voorbeeld - - -[Obermeyer e.a. (2019)](https://www.science.org/doi/10.1126/science.aax2342) - -Heb je een voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) - - diff --git a/docs/maatregelen/functioneren_in_lijn_met_doeleinden.md b/docs/maatregelen/functioneren_in_lijn_met_doeleinden.md new file mode 100644 index 0000000000..0a522bacbc --- /dev/null +++ b/docs/maatregelen/functioneren_in_lijn_met_doeleinden.md @@ -0,0 +1,52 @@ +--- +title: Stel vast dat het algoritme voortdurend functioneert in lijn met de vastgestelde doelstelling +toelichting: +vereiste: +- zorgvuldigheidsbeginsel +levenscyclus: +- ontwikkelen +- verificatie-en-validatie +- monitoring-en-beheer +onderwerp: +- technische-robuustheid-en-veiligheid +- bias-en-non-discriminatie +- governance +rollen: +- opdrachtgever +- projectleider +- data-scientist +hide: +- navigation +--- + + + +## Maatregel +Stel vast dat het algoritme voortdurend functioneert in lijn met de [vastgestelde doelstelling](formuleren_doelstellling.md). + +## Toelichting +- Vertaal de [vastgestelde doelstelling](formuleren_doelstellling.md) naar functionele eisen voor het algoritme. Werk het vastgestelde doel uit in een beschrijving in logische taal/pseudo code of documentatie die handvatten biedt aan de ontwikkelaar. +- Monitor de mate waarin aan deze eisen wordt voldaan door het algoritme. +- Bepaal en leg vast hoe eventuele parameters, business rules en indicatoren bepaald worden. Zorg dat dit breed wordt afgestemd in de organisatie (ontwikkelteam, opdrachtgevers en beheer). +- Houd hier rekening met eventuele (statistische) bias: meten we daadwerkelijk wat we denken te meten? +- Wanneer het algoritme meerdere doelen dient, is het belangrijk ook te evalueren op meerdere functionele eisen. +- Wanneer er sprake is van een (handmatige) behandeling, bepaal dan wanneer deze behandeling als 'succesvol' gezien kan worden. + +## Bijbehorende vereiste(n) + + + +## Risico +Het algoritme functioneert niet in lijn met geformuleerde doelstellingen. + + +## Bronnen +| Bron | +|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------| +| [Toetsingskader Algoritmes Algemene Rekenkamer, 2.01](https://www.rekenkamer.nl/onderwerpen/algoritmes/documenten/publicaties/2024/05/15/het-toetsingskader-aan-de-slag) | +| [Impact Assessment Mensenrechten en Algoritmes, 1](https://www.rijksoverheid.nl/documenten/rapporten/2021/02/25/impact-assessment-mensenrechten-en-algoritmes) | +| [Onderzoekskader Algoritmes Auditdienst Rijk, DM.1](https://www.rijksoverheid.nl/documenten/rapporten/2023/07/11/onderzoekskader-algoritmes-adr-2023) | + +## Voorbeeld + +Heb jij een goed voorbeeld? Laat het ons weten! \ No newline at end of file From 609d71dd386efc7272f3f9bf277ca907eacefc9a Mon Sep 17 00:00:00 2001 From: ruthkoole Date: Wed, 21 Aug 2024 12:47:20 +0200 Subject: [PATCH 11/22] maatregel uitvoeren biastoets en kleine fixes --- docs/maatregelen/index.md | 2 +- docs/maatregelen/synthetische_data.md | 4 +--- 2 files changed, 2 insertions(+), 4 deletions(-) diff --git a/docs/maatregelen/index.md b/docs/maatregelen/index.md index 35743bacc0..44c18db679 100644 --- a/docs/maatregelen/index.md +++ b/docs/maatregelen/index.md @@ -39,4 +39,4 @@ Deze maatregel helpt om te voldoen aan de vereiste om niet te discrimineren. Maa ## Help ons deze pagina te verbeteren -Deel je idee, suggestie of opmerking via [GitHub](https://github.com/MinBZK/Algoritmekader) of mail ons via [algoritmes@minbzk.nl](algoritmes@minbzk.nl). +Deel je idee, suggestie of opmerking via [GitHub](https://github.com/MinBZK/Algoritmekader) of mail ons via [algoritmes@minbzk.nl](mailto::algoritmes@minbzk.nl). diff --git a/docs/maatregelen/synthetische_data.md b/docs/maatregelen/synthetische_data.md index efcbbf2cda..317479ea44 100644 --- a/docs/maatregelen/synthetische_data.md +++ b/docs/maatregelen/synthetische_data.md @@ -13,10 +13,8 @@ levenscyclus: - dataverkenning-en-datapreparatie - ontwikkelen - verificatie-en-validatie -- verboden_toepassingen_evaluatie_of_classificatie_natuurlijke_personen_of_groepen_personen # vul hier de bouwblokken in die horen bij deze maatregel -bouwblok: -- conformiteitsbeoordeling +onderwerp: - data - fundamentele-rechten --- From d77a5c635ef629669614a28432ee74b7d6f6b19e Mon Sep 17 00:00:00 2001 From: ruthkoole Date: Wed, 21 Aug 2024 12:48:49 +0200 Subject: [PATCH 12/22] maatregel biastoets --- docs/maatregelen/voer_en_biasanalyse_uit.md | 134 ++++++++++++++++++++ 1 file changed, 134 insertions(+) create mode 100644 docs/maatregelen/voer_en_biasanalyse_uit.md diff --git a/docs/maatregelen/voer_en_biasanalyse_uit.md b/docs/maatregelen/voer_en_biasanalyse_uit.md new file mode 100644 index 0000000000..af0978ad60 --- /dev/null +++ b/docs/maatregelen/voer_en_biasanalyse_uit.md @@ -0,0 +1,134 @@ +--- +title: Voer een biasanalyse uit +toelichting: Analyseer of het gebruik van het algoritme of het proces daaromheen leidt tot onwenselijke of onrechtmatige verschillen in de behandeling van individuen en/of groepen. +vereiste: +- non-discriminatie +- beoordelen_gevolgen_voor_grondrechten +- fundamentele_rechten +levenscyclus: +- ontwerp +- verificatie-en-validatie +- monitoring-en-beheer +onderwerp: +- bias-en-non-discriminatie +rollen: +- ethicus +- data-scientist +- opdrachtgever +- projectleider +hide: +- navigation +--- + + + +## Maatregel +Analyseer of het gebruik van het algoritme of het proces daaromheen leidt tot onwenselijke of onrechtmatige verschillen in de behandeling van individuen en/of groepen. + +## Toelichting +Het uitvoeren van een analyse over onwenselijke of onrechtmatige verschillen bestaat grofweg uit 3 stappen: + +- [Stap 1](#stap-1-analyseer-of-er-sprake-is-van-bias): Analyseer of er sprake is van bias: *systematisch verschil in behandeling van bepaalde objecten, mensen of groepen in vergelijking met anderen.* +- [Stap 2](#stap-2-voer-een-rechtvaardigingstoets-uit): Voer een rechtvaardigingstoets uit om te bepalen of het geconstateerde verschil uit stap 1 te rechtvaardigen is. +- [Stap 3](#stap-3-voer-een-ethische-wenselijkheidstoets-uit): Voer een ethische wenselijkheidstoets uit om te bepalen of het geconstateerde verschil uit stap 1 ethisch wenselijk is. + +De 3 stappen worden hieronder verder toegelicht. + +### Stap 1: Analyseer of er sprake is van bias +In deze stap is het doel om te bepalen in welke mate er sprake is van een systematisch verschil in behandeling van bepaalde objecten, mensen of groepen in vergelijking met anderen. +Dit verschil kan zowel op een [directe als een indirecte manier](../onderwerpen/bias-en-non-discriminatie/index.md/#bias-in-algoritmische-context) ontstaan. + +#### Toetsen op direct onderscheid +Toetsen op direct onderscheid is in vergelijking tot toetsen op indirect onderscheid relatief eenvoudig. + +:material-arrow-right: Bepaal of de inputvariabelen die gebruikt worden leiden tot een direct onderscheid op basis van godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht, nationaliteit, hetero- of homoseksuele gerichtheid[^1] of burgelijke staat. + +Het is niet mogelijk om een uitputtend overzicht te geven van alle selectiecriteria die mogelijk tot direct onderscheid op grond van ras of nationaliteit kunnen leiden. +Wel zijn in de jurisprudentie verschillende voorbeelden en aanknopingspunten te vinden. +Zo staat vast dat selectie op basis van fysieke etnische kenmerken, zoals huidskleur, direct onderscheid op grond van ras oplevert [^2]. +Een ander voorbeeld is dat onderscheid op grond van een niet-westers klinkende naam direct onderscheid op grond van afkomst (en dus ras) oplevert [^3]. + +[^1]: Er is een wetsvoorstel om de term 'hetero- of homoseksuele gerichtheid' in de Algmemene wet gelijke behandeling (Awgb) te wijzigingen in 'seksuele gerichtheid'. Met deze wijziging sluit de Awgb aan bij een eerdere wijziging van artikel 1 van de Grondwet. + +[^2]: Zie [Discriminatie door risicoprofielen, een mensenrechtelijk toetsingskader, College voor de Rechten van de Mens](https://publicaties.mensenrechten.nl/publicatie/61a734e65d726f72c45f9dce) + +[^3]: Zie [Discriminatie door risicoprofielen, een mensenrechtelijk toetsingskader, College voor de Rechten van de Mens](https://publicaties.mensenrechten.nl/publicatie/61a734e65d726f72c45f9dce), [College voor de Rechten van de Mens 7 juni 2021, oordeel 2021-70](https://oordelen.mensenrechten.nl/oordeel/2021-70); [College voor de Rechten van de Mens 23 april 2015, oordeel 2015-44](https://oordelen.mensenrechten.nl/oordeel/2015-44); [College voor de Rechten van de Mens 23 april 2015, oordeel 2014-0426](https://oordelen.mensenrechten.nl/oordeel/2015-43). + +#### Toetsen op indirect onderscheid +Ook selectiecriteria die op het eerste gezicht geen enkele link lijken te hebben met een [discriminatiegrond](../onderwerpen/bias-en-non-discriminatie/index.md#discriminatiegrond) kunnen leiden tot indirect onderscheid op grond van een discriminatiegrond. +Enkele voorbeelden van zulke 'ogenschijnlijk neutrale' selectiecriteria die verband hebben met ras of nationaliteit zijn: postcode, hoogte van het inkomen, kenteken, familielid in het buitenland, laaggeletterdheid. +Indirect onderscheid is in vergelijking met direct onderscheid lastiger op te signaleren en te voorkomen. +Daarom is het belangrijk jouw algoritmische toepassing regelmatig te analyseren op eventueel indirect onderscheid. +Het toetsen op indirect onderscheid bestaat uit 6 stappen: + +1. **Bepaal wat de [kwetsbare groepen](../maatregelen/kwetsbare_groepen.md) zijn.** +Eventueel kan dit aangevuld worden op basis van de [discriminatiegronden](../onderwerpen/bias-en-non-discriminatie/index.md#discriminatiegrond) uit non-discriminatie wetgeving. Of andere groepen waarvoor verschillen in behandeling ethisch onwenselijk zijn. + +2. **Bepaal wat "verschillen in behandeling" betekent in de context van het algoritme.** +In deze stap is het belangrijk om voorafgaand aan de daadwerkelijke analyse met een [brede groep stakeholders](../maatregelen/betrek_belanghebbenden.md) te bepalen wat 'eerlijk' en 'rechtvaardig' wordt bevonden in de context van het betreffende algoritme. +Er zijn veel verschillende manieren waarop je kan kijken naar onderscheid bij het gebruik van algoritmes. Een onderscheid is het volgende: + + - **Onderscheid op basis van gelijke uitkomsten (representatie)**. + De belangrijkste vraag die hier mee beantwoord wordt is: hebben personen uit verschillende groepen gelijke kans om geselecteerd te worden door het algoritme? Of is er sprake van een over- of ondervertegenwoording van bepaalde groepen in de selectie ten opzichte van de betreffende populatie? + - **Onderscheid op basis van gelijke prestaties (fouten)**. + De belangrijkste vraag die hier mee beantwoord wordt is: presteert het algoritme gelijk voor personen uit verschillende groepen? Met andere woorden: maakt het algoritme vaker fouten bij bepaalde groepen? Dat kan er eventueel toe leiden dat bepaalde groepen vaker onterecht wel of niet geselecteerd worden door het algoritme. + + De verschillende maten/metrieken waarop gekeken kan worden naar onderscheid, worden in de (wetenschappelijke) literatuur ook wel *fairness metrieken* genoemd. + Een hulpmiddel om de meest passende metrieken te kiezen in jouw situatie is de [Fairness tree](https://openresearch.amsterdam/en/media/inline/2022/7/14/fairness_handbook.pdf). + + Door te denken vanuit verschillende perspectieven, zullen er in de praktijk meerdere metrieken van belang zijn. + Het kan echter voorkomen dat deze metrieken elkaar tegenspreken. + Maak een duidelijke prioritering van de verschillende metrieken om afwegingen te maken tussen de verschillende maten van eerlijkheid. + +3. **Verzamel de benodigde data die nodig is om bovenstaande groepen te bepalen.** +Bepaal welke data benodigd is om te analyseren of er verschillen zijn tussen bepaalde groepen. +In veel gevallen zal data benodigd zijn die demografische en beschermde kenmerken van groepen omschrijft. +Het verzamelen en verwerken van deze data kan in strijd zijn met privacy vereisten uit bijvoorbeeld de [Algemene Verordening Gegevensbescherming](../vereisten/persoonsgegevens_worden_rechtmatig_verwerkt.md). +Het is daarom van belang om duidelijk afwegingen te maken tussen privacy en het analyseren van bias die rekening houdt met de juridische en ethische vereisten. + + !!! info "Uitzondering voor hoog risico AI-systemen" + + De AI-verordening biedt een uitzondering voor het verwerken van bijzondere categorieën persoonsgegevens voor het monitoren, opsporen en corrigeren van bias bij AI-systemen met een hoog risico. Zie [artikel 10.5, AI-verordening](https://eur-lex.europa.eu/legal-content/NL/TXT/HTML/?uri=OJ:L_202401689#d1e3348-1-1). + + Om de data op een veilige en rechtmatige manier te gebruiken voor een biasanalyse dient de data van voldoende kwaliteit te zijn. + Denk hier goed na of de data eventuele bias bevat die kan duiden op een bepaalde vooringenomenheid in de biasanalyse zelf (historische bias of representatie bias). + De data dient bijvoorbeeld voldoende actueel en volledig te zijn. Kunnen de groepen zonder het gebruik van onwenselijke proxies bepaald worden? + + Voor sommige groepen zal het onmogelijk zijn om te beschikken over data van voldoende kwaliteit om zorgvuldig te toetsen op bias. + De laaggeletterdheid van burgers of personen is bijvoorbeeld lastig meetbaar en in veel gevallen niet beschikbaar. + Bepaal in zo'n situatie [of er andere mogelijkheden zijn deze groepen te helpen](../maatregelen/kwetsbare_groepen.md), of dat er andere mogelijkheden zijn om eventuele ongelijke behandeling bij deze groepen te constateren. + Bijvoorbeeld door hierop te monitoren in de klacht- en bezwarenprocedure. + +4. **Bereken de verschillen in behandeling en/of uitkomsten van het algoritme**. + +5. **Indien er een significante verschil in behandeling is geconstateerd, voer een oorzaakanalyse uit**. + +6. **Documenteer en onderbouw de gemaakte keuzes en onderliggende afwegingen**. +Evalueer en pas deze keuzes en afwegingen waar nodig aan. + +Het doel van een bias toets is toetsen of het gebruik van een algoritme tot onwenselijke en/of onrechtmatige verschillen in de behandeling van individuen en/of groepen leidt. Om deze toets uit te voeren is het nodig om te analyseren of er sprake is van verschillen in behandeling en/of uitkomsten tussen verschillende groepen, om te analyseren of het algoritme onderscheid maakt op basis van beschermde kenmerken. In de laatste stap van de bias toets wordt een rechtvaardigingstoets en een ethische wenselijkheidstoets uitgevoerd. + +De bias toets heeft overlap met de maatregelen: kwetsbare groepen, onderbouwing geselecteerde kenmerken (incl. proxy analyse), mensenrechtentoets, accuraatheid, proportionaliteit, subsidiariteit, legitiem doel, noodzakelijkheid. + +### Stap 2: Voer een rechtvaardigingstoets uit + +### Stap 3: Voer een ethische wenselijkheidstoets uit + + +## Bijbehorende vereiste(n) + + + +## Risico + + +## Bronnen +| Bron | +|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------| +| [Toetsingskader Algoritmes Algemene Rekenkamer, 2.01](https://www.rekenkamer.nl/onderwerpen/algoritmes/documenten/publicaties/2024/05/15/het-toetsingskader-aan-de-slag) | +| [Impact Assessment Mensenrechten en Algoritmes, 1](https://www.rijksoverheid.nl/documenten/rapporten/2021/02/25/impact-assessment-mensenrechten-en-algoritmes) | +| [Onderzoekskader Algoritmes Auditdienst Rijk, DM.1](https://www.rijksoverheid.nl/documenten/rapporten/2023/07/11/onderzoekskader-algoritmes-adr-2023) | + +## Voorbeeld + +Heb jij een goed voorbeeld? Laat het ons weten! \ No newline at end of file From 8dd42731cb77cbaa6a41c42ea4bdeeefd32bef3b Mon Sep 17 00:00:00 2001 From: ruthkoole Date: Wed, 21 Aug 2024 16:50:07 +0200 Subject: [PATCH 13/22] maatregel biasanalyse verder uitwerken --- docs/maatregelen/kwetsbare_groepen.md | 2 +- docs/maatregelen/voer_en_biasanalyse_uit.md | 82 ++++++++++++++++----- 2 files changed, 63 insertions(+), 21 deletions(-) diff --git a/docs/maatregelen/kwetsbare_groepen.md b/docs/maatregelen/kwetsbare_groepen.md index 264da59625..45b9b6d474 100644 --- a/docs/maatregelen/kwetsbare_groepen.md +++ b/docs/maatregelen/kwetsbare_groepen.md @@ -45,7 +45,7 @@ De impact van het algoritme op de besluitvorming en op personen, doelgroepen en/ ## Bronnen | Bron | |-------------------------------------------------------------------------------------------------------------------------------------------------------| -| [Onderzoekskader Algoritmes Auditdienst Rijk, SV.4](https://www.rijksoverheid.nl/documenten/rapporten/2023/07/11/onderzoekskader-algoritmes-adr-2023) | +| [Onderzoekskader Algoritmes Auditdienst Rijk, SV.4, DM.16](https://www.rijksoverheid.nl/documenten/rapporten/2023/07/11/onderzoekskader-algoritmes-adr-2023) | | [Kamerstukken II 2023/24, 31066-1374](https://www.tweedekamer.nl/downloads/document?id=2024D15214) | | [Impact Assessment Mensenrechten en Algoritmes, 4.1](https://open.overheid.nl/documenten/ronl-c3d7fe94-9c62-493f-b858-f56b5e246a94/pdf) | | [Handreiking non-discriminatie by design, 1.7 en 1.8 en 1.15](https://open.overheid.nl/documenten/ronl-3f9fa69c-acf4-444d-96e1-5c48df00eb3c/pdf) | diff --git a/docs/maatregelen/voer_en_biasanalyse_uit.md b/docs/maatregelen/voer_en_biasanalyse_uit.md index af0978ad60..b9e6af9f7a 100644 --- a/docs/maatregelen/voer_en_biasanalyse_uit.md +++ b/docs/maatregelen/voer_en_biasanalyse_uit.md @@ -2,7 +2,7 @@ title: Voer een biasanalyse uit toelichting: Analyseer of het gebruik van het algoritme of het proces daaromheen leidt tot onwenselijke of onrechtmatige verschillen in de behandeling van individuen en/of groepen. vereiste: -- non-discriminatie +- non_discriminatie - beoordelen_gevolgen_voor_grondrechten - fundamentele_rechten levenscyclus: @@ -16,6 +16,8 @@ rollen: - data-scientist - opdrachtgever - projectleider +- jurist +- domeinspecialist hide: - navigation --- @@ -32,7 +34,7 @@ Het uitvoeren van een analyse over onwenselijke of onrechtmatige verschillen bes - [Stap 2](#stap-2-voer-een-rechtvaardigingstoets-uit): Voer een rechtvaardigingstoets uit om te bepalen of het geconstateerde verschil uit stap 1 te rechtvaardigen is. - [Stap 3](#stap-3-voer-een-ethische-wenselijkheidstoets-uit): Voer een ethische wenselijkheidstoets uit om te bepalen of het geconstateerde verschil uit stap 1 ethisch wenselijk is. -De 3 stappen worden hieronder verder toegelicht. +Voor alle stappen geldt dat het belangrijk is om de gemaakte keuzes en afwegingen zorgvuldig te onderbouwen en te documenteren. De 3 stappen worden hieronder verder toegelicht. ### Stap 1: Analyseer of er sprake is van bias In deze stap is het doel om te bepalen in welke mate er sprake is van een systematisch verschil in behandeling van bepaalde objecten, mensen of groepen in vergelijking met anderen. @@ -45,8 +47,8 @@ Toetsen op direct onderscheid is in vergelijking tot toetsen op indirect ondersc Het is niet mogelijk om een uitputtend overzicht te geven van alle selectiecriteria die mogelijk tot direct onderscheid op grond van ras of nationaliteit kunnen leiden. Wel zijn in de jurisprudentie verschillende voorbeelden en aanknopingspunten te vinden. -Zo staat vast dat selectie op basis van fysieke etnische kenmerken, zoals huidskleur, direct onderscheid op grond van ras oplevert [^2]. -Een ander voorbeeld is dat onderscheid op grond van een niet-westers klinkende naam direct onderscheid op grond van afkomst (en dus ras) oplevert [^3]. +Zo staat vast dat selectie op basis van fysieke etnische kenmerken, zoals huidskleur, direct onderscheid op grond van ras oplevert[^2]. +Een ander voorbeeld is dat onderscheid op grond van een niet-westers klinkende naam direct onderscheid op grond van afkomst (en dus ras) oplevert[^3]. [^1]: Er is een wetsvoorstel om de term 'hetero- of homoseksuele gerichtheid' in de Algmemene wet gelijke behandeling (Awgb) te wijzigingen in 'seksuele gerichtheid'. Met deze wijziging sluit de Awgb aan bij een eerdere wijziging van artikel 1 van de Grondwet. @@ -59,7 +61,7 @@ Ook selectiecriteria die op het eerste gezicht geen enkele link lijken te hebben Enkele voorbeelden van zulke 'ogenschijnlijk neutrale' selectiecriteria die verband hebben met ras of nationaliteit zijn: postcode, hoogte van het inkomen, kenteken, familielid in het buitenland, laaggeletterdheid. Indirect onderscheid is in vergelijking met direct onderscheid lastiger op te signaleren en te voorkomen. Daarom is het belangrijk jouw algoritmische toepassing regelmatig te analyseren op eventueel indirect onderscheid. -Het toetsen op indirect onderscheid bestaat uit 6 stappen: +Het toetsen op indirect onderscheid bestaat uit 5 stappen: 1. **Bepaal wat de [kwetsbare groepen](../maatregelen/kwetsbare_groepen.md) zijn.** Eventueel kan dit aangevuld worden op basis van de [discriminatiegronden](../onderwerpen/bias-en-non-discriminatie/index.md#discriminatiegrond) uit non-discriminatie wetgeving. Of andere groepen waarvoor verschillen in behandeling ethisch onwenselijk zijn. @@ -73,12 +75,17 @@ Er zijn veel verschillende manieren waarop je kan kijken naar onderscheid bij he - **Onderscheid op basis van gelijke prestaties (fouten)**. De belangrijkste vraag die hier mee beantwoord wordt is: presteert het algoritme gelijk voor personen uit verschillende groepen? Met andere woorden: maakt het algoritme vaker fouten bij bepaalde groepen? Dat kan er eventueel toe leiden dat bepaalde groepen vaker onterecht wel of niet geselecteerd worden door het algoritme. + Om te toetsen of er sprake is van onderscheid op basis van gelijke prestaties, is het noodzakelijk om [de prestaties van het algoritme goed te analyseren](../maatregelen/functioneren_in_lijn_met_doeleinden.md). + In het geval van classificatie is het daarvoor nodig om een zogeheten *confusion matrix* op te stellen. + Een confusion matrix is een tabel waarin de voorspellingen van het algoritme worden vergeleken met de werkelijke waarden (de *ground truth*). + De verschillende maten/metrieken waarop gekeken kan worden naar onderscheid, worden in de (wetenschappelijke) literatuur ook wel *fairness metrieken* genoemd. + Veel van deze metrieken kunnen op basis van de confusion matrix berekend worden. Een hulpmiddel om de meest passende metrieken te kiezen in jouw situatie is de [Fairness tree](https://openresearch.amsterdam/en/media/inline/2022/7/14/fairness_handbook.pdf). Door te denken vanuit verschillende perspectieven, zullen er in de praktijk meerdere metrieken van belang zijn. Het kan echter voorkomen dat deze metrieken elkaar tegenspreken. - Maak een duidelijke prioritering van de verschillende metrieken om afwegingen te maken tussen de verschillende maten van eerlijkheid. + Maak een duidelijke prioritering van de verschillende metrieken om afwegingen te maken tussen de verschillende opvattingen van eerlijkheid. 3. **Verzamel de benodigde data die nodig is om bovenstaande groepen te bepalen.** Bepaal welke data benodigd is om te analyseren of er verschillen zijn tussen bepaalde groepen. @@ -100,35 +107,70 @@ Het is daarom van belang om duidelijk afwegingen te maken tussen privacy en het Bijvoorbeeld door hierop te monitoren in de klacht- en bezwarenprocedure. 4. **Bereken de verschillen in behandeling en/of uitkomsten van het algoritme**. +Er zijn verschillende open source softwarepakketten die je hierbij kunnen ondersteunen, zoals [fairlearn](https://fairlearn.org/), [Aequitas](https://github.com/dssg/aequitas), [fairml](https://cran.r-project.org/web/packages/fairml/index.html), [fairness](https://cran.r-project.org/web/packages/fairness/index.html) of [AI Fairness 360](https://aif360.res.ibm.com/). -5. **Indien er een significante verschil in behandeling is geconstateerd, voer een oorzaakanalyse uit**. - -6. **Documenteer en onderbouw de gemaakte keuzes en onderliggende afwegingen**. -Evalueer en pas deze keuzes en afwegingen waar nodig aan. +5. **Voer een oorzaakanalyse uit indien er een significant onderscheid is geconstateerd**. +Als er in de vorige stap een significant onderscheid is geconstateerd, is het belangrijk om na te gaan hoe dit onderscheid is ontstaan. +Dit kan bijvoorbeeld ontstaan door: + - een vorm van bias in de onderliggende inputdata. Je kan hierbij denken aan: + - historische bias: in hoeverre beschrijft de data de huidige situatie? Kan het zo zijn dat + - representatie bias: is de data waarop getraind wordt representatief voor de bijbehorende populatie? Zijn trends uit de gebruikte data generaliseerbaar naar de totale populatie? + - meetbias: beschrijven de inputvariabelen wel wat ze moeten beschrijven? In hoeverre zijn dit benaderingen waarbij eventuele factoren worden weggelaten? + - een vorm van bias in het proces na afloop van het algoritme + - is er sprake van automatiseringsbias of bevestigingsbias in de (handmatige) beoordeling? -Het doel van een bias toets is toetsen of het gebruik van een algoritme tot onwenselijke en/of onrechtmatige verschillen in de behandeling van individuen en/of groepen leidt. Om deze toets uit te voeren is het nodig om te analyseren of er sprake is van verschillen in behandeling en/of uitkomsten tussen verschillende groepen, om te analyseren of het algoritme onderscheid maakt op basis van beschermde kenmerken. In de laatste stap van de bias toets wordt een rechtvaardigingstoets en een ethische wenselijkheidstoets uitgevoerd. +:material-arrow-right: Wanneer duidelijker is hoe de geconstateerde bias is ontstaan, is het goed om te verkennen of er mogelijkheden zijn om dit (in de toekomst) te voorkomen. -De bias toets heeft overlap met de maatregelen: kwetsbare groepen, onderbouwing geselecteerde kenmerken (incl. proxy analyse), mensenrechtentoets, accuraatheid, proportionaliteit, subsidiariteit, legitiem doel, noodzakelijkheid. +Het is belangrijk hier [een brede groep aan belanghebbenden bij te betrekken](../maatregelen/betrek_belanghebbenden.md). +De oorzaken van bias komen uit de 'echte wereld', waarbij patronen in datasets historische, demografische en sociale verschillen weerspiegielen. +Het verklaren en voorkomen van bias vraagt daarmee niet alleen om technische oplossingen, maar het is belangrijk de hele socio-technische omgeving waarin het algoritme wordt ingezet mee te nemen. ### Stap 2: Voer een rechtvaardigingstoets uit +Wanneer er in [Stap 1](#stap-1-analyseer-of-er-sprake-is-van-bias) is geconstateerd dat er sprake is van een onderscheid, dient de volgende vraag beantwoord te worden: + +> Valt dit onderscheid te rechtvaardigen? + +Een geconstateerd systematisch onderscheid is niet altijd fout en is niet altijd verboden, maar het vraagt wel altijd om aandacht en zorgvuldigheid. +Het geconstateerde onderscheid kan in bepaalde situaties en onder bepaalde strikte voorwaarden gerechtvaardigd zijn: + +- Voor **direct onderscheid** kan er bijvoorbeeld sprake zijn van een wettelijke uitzondering die het gemaakte onderscheid toelaat. +- Voor **indirect onderscheid** geldt dat behalve een wettelijke uitzondering er ook een **objectieve rechtvaardiging** kan bestaan, waarmee het geconstateerde onderscheid in bepaalde gevallen toelaatbaar kan zijn. + +Twee subvragen die hierbij beantwoord moeten worden zijn: + +- streeft het ingezette risicoprofiel een legitiem doel na? +- bestaat er een redelijke relatie van evenredigheid tussen het gebruikte algoritme en de nagestreefde doelstelling? + +Wanneer er geen rechtvaardiging is voor het gemaakte onderscheid, spreken we van een verboden direct of indirect onderscheid, ofwel discriminatie. +Het algoritme of AI-systeem mag in dat geval niet gebruikt worden. + +Voor meer toelichting over het uitvoeren van een rechtvaardigingstoets, verwijzen we naar het rapport [Discriminatie door risicoprofielen - Een mensenrechtelijk toetsingskader](https://publicaties.mensenrechten.nl/publicatie/61a734e65d726f72c45f9dce) van het College voor de Rechten van de Mens. ### Stap 3: Voer een ethische wenselijkheidstoets uit +Bepaal of het geconstateerde onderscheid uit [Stap 1](#stap-1-analyseer-of-er-sprake-is-van-bias) ethisch wenselijk is. +In sommige gevallen kan het zo zijn dat ondanks dat er een objectieve rechtvaardiging bestaat voor het gemaakte onderscheid, dit vanuit ethisch perspectief toch onwenselijk is. +Bepaal [met een grote groep belanghebbenden](../maatregelen/betrek_belanghebbenden.md) wat eventuele (nadelige) effecten van het gemaakte onderscheid kunnen zijn, of jullie dit eerlijk vinden en of er eventuele alternatieven zijn. ## Bijbehorende vereiste(n) ## Risico - +Wanneer er geen zorgvuldige analyse naar (onwenselijke) bias is uitgevoerd, bestaat het risico dat het gebruik van het algoritme discriminerende effecten met zich meebrengt. +Dit kan leiden tot een ongelijke behandeling van burgers met eventuele schade voor betrokkenen. ## Bronnen | Bron | |--------------------------------------------------------------------------------------------------------------------------------------------------------------------------| -| [Toetsingskader Algoritmes Algemene Rekenkamer, 2.01](https://www.rekenkamer.nl/onderwerpen/algoritmes/documenten/publicaties/2024/05/15/het-toetsingskader-aan-de-slag) | -| [Impact Assessment Mensenrechten en Algoritmes, 1](https://www.rijksoverheid.nl/documenten/rapporten/2021/02/25/impact-assessment-mensenrechten-en-algoritmes) | -| [Onderzoekskader Algoritmes Auditdienst Rijk, DM.1](https://www.rijksoverheid.nl/documenten/rapporten/2023/07/11/onderzoekskader-algoritmes-adr-2023) | - -## Voorbeeld - -Heb jij een goed voorbeeld? Laat het ons weten! \ No newline at end of file +| [Toetsingskader Algoritmes Algemene Rekenkamer, 2.19, 3.08](https://www.rekenkamer.nl/onderwerpen/algoritmes/documenten/publicaties/2024/05/15/het-toetsingskader-aan-de-slag) | +| [Onderzoekskader Algoritmes Auditdienst Rijk, DM.16, DM.17, DM.18, DM.20, DM.21, DM.22](https://www.rijksoverheid.nl/documenten/rapporten/2023/07/11/onderzoekskader-algoritmes-adr-2023) | +| [Discriminatie door risicoprofielen - Een mensenrechtelijk toetsingskader, College voor de Rechten van de Mens](https://publicaties.mensenrechten.nl/publicatie/61a734e65d726f72c45f9dc) | +| [Handreiking non-discriminatie by design](https://www.rijksoverheid.nl/documenten/rapporten/2021/06/10/handreiking-non-discriminatie-by-design) | + +## Voorbeelden +- [Addendum Vooringenomenheid voorkomen, Algorithm Audit](https://algorithmaudit.eu/nl/algoprudence/cases/aa202402_preventing-prejudice_addendum/) met bijbehorende data en broncode op [Github](https://github.com/NGO-Algorithm-Audit/DUO-CUB) +- [Onderzoek misbruik uitwonendenbeurs, PricewaterhouseCoopers](https://www.rijksoverheid.nl/documenten/rapporten/2024/03/01/eindrapport-pwc-rapportage-onderzoek-misbruik-uitwonendenbeurs) +- [Pilot Slimme Check, Gemeente Amsterdam](https://openresearch.amsterdam/nl/page/105057/eindevaluatie-pilot-slimme-check---bias-analyse-eindrapport) +- [Bias toetsing 'Kort Verblijf Visa' aanvragen, Rijks ICT Gilde](https://www.rijksoverheid.nl/documenten/publicaties/2023/04/01/bias-toetsing-kort-verblijf-visa-aanvragen) +- [Report on Algorithmic bias assesment, SigmaRed](https://www.rijksoverheid.nl/documenten/rapporten/2024/02/07/sigmared-report-on-algorithmic-bias-assessment) \ No newline at end of file From f14a9aea9729567df2987fb432a3db68ea492156 Mon Sep 17 00:00:00 2001 From: Ruth Koole <71120805+ruthkoole@users.noreply.github.com> Date: Wed, 21 Aug 2024 16:52:00 +0200 Subject: [PATCH 14/22] komt te vervallen door voer_een_biasanalyse_uit --- docs/maatregelen/biastoets_uitvoeren.md | 28 ------------------------- 1 file changed, 28 deletions(-) delete mode 100644 docs/maatregelen/biastoets_uitvoeren.md diff --git a/docs/maatregelen/biastoets_uitvoeren.md b/docs/maatregelen/biastoets_uitvoeren.md deleted file mode 100644 index 26b0684bd4..0000000000 --- a/docs/maatregelen/biastoets_uitvoeren.md +++ /dev/null @@ -1,28 +0,0 @@ ---- -# vul hier een titel in voor deze maatregel -title: Voer een biastoets uit -# geef hier een korte toelichting van deze maatregel -toelichting: Zorg dat er bij het valideren van het algoritme een biastoets wordt uitgevoerd, zodat de mate van bias die ontstaat bij ingebruikname van het algoritme inzichtelijk is. -# vul hier de bestandsnamen in van de vereisten die horen bij deze maatregel -vereiste: -- beoordelen_gevolgen_voor_grondrechten -- non_discriminatie -# vul hier de fasen van de levenscyclus in die horen bij deze maatregel -levenscyclus: -- verificatie-en-validatie -# vul hier de bouwblokken in die horen bij deze maatregel -bouwblok: -- conformiteitsbeoordeling -- fundamentele-rechten ---- - - - - -## Maatregel - -Voor een algoritme toegepast gaat worden moet deze expliciet op bias getoetst zijn. - -## Toelichting - -Bij het gebruik van een algoritme voor het maken van selecties kan bias optreden. Zo kunnen bepaalde groepen in de selectie over-/ of ondergerepresenteerd worden. De selectie gemaakt door het algoritme kan dus onwenselijk zijn en zelfs strafbaar zijn als blijkt dat de selectie is gemaakt op basis van verboden persoonskenmerken of als bepaalde groepen onevendig hard worden getroffen door het algoritme. Door het algoritme te toetsen op bias, bijvoorbeeld door middel van de CBS data, kan dit risico verkleind worden. From 9ccf0c864e785c9f8ac10c1337b33d8cee2d7c27 Mon Sep 17 00:00:00 2001 From: Ruth Koole <71120805+ruthkoole@users.noreply.github.com> Date: Wed, 21 Aug 2024 16:52:36 +0200 Subject: [PATCH 15/22] fix typo in filename --- .../{voer_en_biasanalyse_uit.md => voer_een_biasanalyse_uit.md} | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) rename docs/maatregelen/{voer_en_biasanalyse_uit.md => voer_een_biasanalyse_uit.md} (99%) diff --git a/docs/maatregelen/voer_en_biasanalyse_uit.md b/docs/maatregelen/voer_een_biasanalyse_uit.md similarity index 99% rename from docs/maatregelen/voer_en_biasanalyse_uit.md rename to docs/maatregelen/voer_een_biasanalyse_uit.md index b9e6af9f7a..a545468ccf 100644 --- a/docs/maatregelen/voer_en_biasanalyse_uit.md +++ b/docs/maatregelen/voer_een_biasanalyse_uit.md @@ -173,4 +173,4 @@ Dit kan leiden tot een ongelijke behandeling van burgers met eventuele schade vo - [Onderzoek misbruik uitwonendenbeurs, PricewaterhouseCoopers](https://www.rijksoverheid.nl/documenten/rapporten/2024/03/01/eindrapport-pwc-rapportage-onderzoek-misbruik-uitwonendenbeurs) - [Pilot Slimme Check, Gemeente Amsterdam](https://openresearch.amsterdam/nl/page/105057/eindevaluatie-pilot-slimme-check---bias-analyse-eindrapport) - [Bias toetsing 'Kort Verblijf Visa' aanvragen, Rijks ICT Gilde](https://www.rijksoverheid.nl/documenten/publicaties/2023/04/01/bias-toetsing-kort-verblijf-visa-aanvragen) -- [Report on Algorithmic bias assesment, SigmaRed](https://www.rijksoverheid.nl/documenten/rapporten/2024/02/07/sigmared-report-on-algorithmic-bias-assessment) \ No newline at end of file +- [Report on Algorithmic bias assesment, SigmaRed](https://www.rijksoverheid.nl/documenten/rapporten/2024/02/07/sigmared-report-on-algorithmic-bias-assessment) From 57ded5a1f8b6de2226395c9070016cd2915f7313 Mon Sep 17 00:00:00 2001 From: Ruth Koole <71120805+ruthkoole@users.noreply.github.com> Date: Tue, 3 Sep 2024 13:15:17 +0200 Subject: [PATCH 16/22] voeg opmerking toe over andere rechtspersonen --- docs/maatregelen/voer_een_biasanalyse_uit.md | 4 ++++ 1 file changed, 4 insertions(+) diff --git a/docs/maatregelen/voer_een_biasanalyse_uit.md b/docs/maatregelen/voer_een_biasanalyse_uit.md index a545468ccf..d2e04601f3 100644 --- a/docs/maatregelen/voer_een_biasanalyse_uit.md +++ b/docs/maatregelen/voer_een_biasanalyse_uit.md @@ -36,6 +36,10 @@ Het uitvoeren van een analyse over onwenselijke of onrechtmatige verschillen bes Voor alle stappen geldt dat het belangrijk is om de gemaakte keuzes en afwegingen zorgvuldig te onderbouwen en te documenteren. De 3 stappen worden hieronder verder toegelicht. +!!! note "Opmerking" + + Deze maatregel is in ieder geval van toepassing op natuurlijke personen. Voor andere rechtspersonen zoals bedrijven kan dit ook van toepassing zijn. Denk bijvoorbeeld aan een gelijke behandeling tussen eenmanszaken en grotere bedrijven. + ### Stap 1: Analyseer of er sprake is van bias In deze stap is het doel om te bepalen in welke mate er sprake is van een systematisch verschil in behandeling van bepaalde objecten, mensen of groepen in vergelijking met anderen. Dit verschil kan zowel op een [directe als een indirecte manier](../onderwerpen/bias-en-non-discriminatie/index.md/#bias-in-algoritmische-context) ontstaan. From b6e959d751499f9ddaac3b5ee4a07cc0e2cd5a13 Mon Sep 17 00:00:00 2001 From: Ruth Koole <71120805+ruthkoole@users.noreply.github.com> Date: Tue, 3 Sep 2024 13:25:35 +0200 Subject: [PATCH 17/22] voeg onderscheid op basis van gelijke calibratie toe --- docs/maatregelen/voer_een_biasanalyse_uit.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/docs/maatregelen/voer_een_biasanalyse_uit.md b/docs/maatregelen/voer_een_biasanalyse_uit.md index d2e04601f3..5fb33b8199 100644 --- a/docs/maatregelen/voer_een_biasanalyse_uit.md +++ b/docs/maatregelen/voer_een_biasanalyse_uit.md @@ -72,12 +72,13 @@ Eventueel kan dit aangevuld worden op basis van de [discriminatiegronden](../ond 2. **Bepaal wat "verschillen in behandeling" betekent in de context van het algoritme.** In deze stap is het belangrijk om voorafgaand aan de daadwerkelijke analyse met een [brede groep stakeholders](../maatregelen/betrek_belanghebbenden.md) te bepalen wat 'eerlijk' en 'rechtvaardig' wordt bevonden in de context van het betreffende algoritme. -Er zijn veel verschillende manieren waarop je kan kijken naar onderscheid bij het gebruik van algoritmes. Een onderscheid is het volgende: +Er zijn veel verschillende manieren waarop je kan kijken naar onderscheid bij het gebruik van algoritmes. Voorbeelden van manieren waarop je naar onderscheid kan kijken zijn: - **Onderscheid op basis van gelijke uitkomsten (representatie)**. De belangrijkste vraag die hier mee beantwoord wordt is: hebben personen uit verschillende groepen gelijke kans om geselecteerd te worden door het algoritme? Of is er sprake van een over- of ondervertegenwoording van bepaalde groepen in de selectie ten opzichte van de betreffende populatie? - **Onderscheid op basis van gelijke prestaties (fouten)**. De belangrijkste vraag die hier mee beantwoord wordt is: presteert het algoritme gelijk voor personen uit verschillende groepen? Met andere woorden: maakt het algoritme vaker fouten bij bepaalde groepen? Dat kan er eventueel toe leiden dat bepaalde groepen vaker onterecht wel of niet geselecteerd worden door het algoritme. + - **Onderscheid op basis van gelijke calibratie**. Om te toetsen of er sprake is van onderscheid op basis van gelijke prestaties, is het noodzakelijk om [de prestaties van het algoritme goed te analyseren](../maatregelen/functioneren_in_lijn_met_doeleinden.md). In het geval van classificatie is het daarvoor nodig om een zogeheten *confusion matrix* op te stellen. From fd735a7ea212d8ce115692d8f5bbb4f962731691 Mon Sep 17 00:00:00 2001 From: Ruth Koole <71120805+ruthkoole@users.noreply.github.com> Date: Tue, 3 Sep 2024 13:36:43 +0200 Subject: [PATCH 18/22] Update voer_een_biasanalyse_uit.md --- docs/maatregelen/voer_een_biasanalyse_uit.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/maatregelen/voer_een_biasanalyse_uit.md b/docs/maatregelen/voer_een_biasanalyse_uit.md index 5fb33b8199..db6e6a572a 100644 --- a/docs/maatregelen/voer_een_biasanalyse_uit.md +++ b/docs/maatregelen/voer_een_biasanalyse_uit.md @@ -104,7 +104,7 @@ Het is daarom van belang om duidelijk afwegingen te maken tussen privacy en het Om de data op een veilige en rechtmatige manier te gebruiken voor een biasanalyse dient de data van voldoende kwaliteit te zijn. Denk hier goed na of de data eventuele bias bevat die kan duiden op een bepaalde vooringenomenheid in de biasanalyse zelf (historische bias of representatie bias). - De data dient bijvoorbeeld voldoende actueel en volledig te zijn. Kunnen de groepen zonder het gebruik van onwenselijke proxies bepaald worden? + De data dient bijvoorbeeld voldoende actueel en volledig te zijn. Voor sommige groepen zal het onmogelijk zijn om te beschikken over data van voldoende kwaliteit om zorgvuldig te toetsen op bias. De laaggeletterdheid van burgers of personen is bijvoorbeeld lastig meetbaar en in veel gevallen niet beschikbaar. From db9791a78f169d424609cae86d0d2e30efacf31a Mon Sep 17 00:00:00 2001 From: Ruth Koole <71120805+ruthkoole@users.noreply.github.com> Date: Tue, 3 Sep 2024 13:40:21 +0200 Subject: [PATCH 19/22] Update voer_een_biasanalyse_uit.md --- docs/maatregelen/voer_een_biasanalyse_uit.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/maatregelen/voer_een_biasanalyse_uit.md b/docs/maatregelen/voer_een_biasanalyse_uit.md index db6e6a572a..51e39d4e2b 100644 --- a/docs/maatregelen/voer_een_biasanalyse_uit.md +++ b/docs/maatregelen/voer_een_biasanalyse_uit.md @@ -118,7 +118,7 @@ Er zijn verschillende open source softwarepakketten die je hierbij kunnen onders Als er in de vorige stap een significant onderscheid is geconstateerd, is het belangrijk om na te gaan hoe dit onderscheid is ontstaan. Dit kan bijvoorbeeld ontstaan door: - een vorm van bias in de onderliggende inputdata. Je kan hierbij denken aan: - - historische bias: in hoeverre beschrijft de data de huidige situatie? Kan het zo zijn dat + - historische bias: in hoeverre beschrijft de data de huidige situatie? - representatie bias: is de data waarop getraind wordt representatief voor de bijbehorende populatie? Zijn trends uit de gebruikte data generaliseerbaar naar de totale populatie? - meetbias: beschrijven de inputvariabelen wel wat ze moeten beschrijven? In hoeverre zijn dit benaderingen waarbij eventuele factoren worden weggelaten? - een vorm van bias in het proces na afloop van het algoritme From d7471b99d58cd93b3e30900ed683506f4a786622 Mon Sep 17 00:00:00 2001 From: Ruth Koole <71120805+ruthkoole@users.noreply.github.com> Date: Tue, 3 Sep 2024 13:43:25 +0200 Subject: [PATCH 20/22] Update voer_een_biasanalyse_uit.md --- docs/maatregelen/voer_een_biasanalyse_uit.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/maatregelen/voer_een_biasanalyse_uit.md b/docs/maatregelen/voer_een_biasanalyse_uit.md index 51e39d4e2b..6d23857586 100644 --- a/docs/maatregelen/voer_een_biasanalyse_uit.md +++ b/docs/maatregelen/voer_een_biasanalyse_uit.md @@ -114,7 +114,7 @@ Het is daarom van belang om duidelijk afwegingen te maken tussen privacy en het 4. **Bereken de verschillen in behandeling en/of uitkomsten van het algoritme**. Er zijn verschillende open source softwarepakketten die je hierbij kunnen ondersteunen, zoals [fairlearn](https://fairlearn.org/), [Aequitas](https://github.com/dssg/aequitas), [fairml](https://cran.r-project.org/web/packages/fairml/index.html), [fairness](https://cran.r-project.org/web/packages/fairness/index.html) of [AI Fairness 360](https://aif360.res.ibm.com/). -5. **Voer een oorzaakanalyse uit indien er een significant onderscheid is geconstateerd**. +5. **Probeer te verklaren hoe het geconstateerde onderscheid is ontstaan**. Als er in de vorige stap een significant onderscheid is geconstateerd, is het belangrijk om na te gaan hoe dit onderscheid is ontstaan. Dit kan bijvoorbeeld ontstaan door: - een vorm van bias in de onderliggende inputdata. Je kan hierbij denken aan: From ec5e61d6aff6da2f031f1c68ab8625773399b4cc Mon Sep 17 00:00:00 2001 From: Ruth Koole <71120805+ruthkoole@users.noreply.github.com> Date: Tue, 3 Sep 2024 13:46:30 +0200 Subject: [PATCH 21/22] Update voer_een_biasanalyse_uit.md --- docs/maatregelen/voer_een_biasanalyse_uit.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/maatregelen/voer_een_biasanalyse_uit.md b/docs/maatregelen/voer_een_biasanalyse_uit.md index 6d23857586..97290afda5 100644 --- a/docs/maatregelen/voer_een_biasanalyse_uit.md +++ b/docs/maatregelen/voer_een_biasanalyse_uit.md @@ -143,7 +143,7 @@ Het geconstateerde onderscheid kan in bepaalde situaties en onder bepaalde strik Twee subvragen die hierbij beantwoord moeten worden zijn: -- streeft het ingezette risicoprofiel een legitiem doel na? +- streeft het in te zetten algoritme een legitiem doel na? - bestaat er een redelijke relatie van evenredigheid tussen het gebruikte algoritme en de nagestreefde doelstelling? Wanneer er geen rechtvaardiging is voor het gemaakte onderscheid, spreken we van een verboden direct of indirect onderscheid, ofwel discriminatie. From 07389fc10bb2dd37fd7afe6f312ad913f25e6ca3 Mon Sep 17 00:00:00 2001 From: ruthkoole Date: Fri, 6 Sep 2024 10:31:58 +0200 Subject: [PATCH 22/22] verwijder extra voorbeeld --- docs/maatregelen/voer_een_biasanalyse_uit.md | 1 - 1 file changed, 1 deletion(-) diff --git a/docs/maatregelen/voer_een_biasanalyse_uit.md b/docs/maatregelen/voer_een_biasanalyse_uit.md index 97290afda5..bff2c1b1ca 100644 --- a/docs/maatregelen/voer_een_biasanalyse_uit.md +++ b/docs/maatregelen/voer_een_biasanalyse_uit.md @@ -78,7 +78,6 @@ Er zijn veel verschillende manieren waarop je kan kijken naar onderscheid bij he De belangrijkste vraag die hier mee beantwoord wordt is: hebben personen uit verschillende groepen gelijke kans om geselecteerd te worden door het algoritme? Of is er sprake van een over- of ondervertegenwoording van bepaalde groepen in de selectie ten opzichte van de betreffende populatie? - **Onderscheid op basis van gelijke prestaties (fouten)**. De belangrijkste vraag die hier mee beantwoord wordt is: presteert het algoritme gelijk voor personen uit verschillende groepen? Met andere woorden: maakt het algoritme vaker fouten bij bepaalde groepen? Dat kan er eventueel toe leiden dat bepaalde groepen vaker onterecht wel of niet geselecteerd worden door het algoritme. - - **Onderscheid op basis van gelijke calibratie**. Om te toetsen of er sprake is van onderscheid op basis van gelijke prestaties, is het noodzakelijk om [de prestaties van het algoritme goed te analyseren](../maatregelen/functioneren_in_lijn_met_doeleinden.md). In het geval van classificatie is het daarvoor nodig om een zogeheten *confusion matrix* op te stellen.