Toevoegen maatregelen in relatie tot bias, fairness en non-discriminatie

docs/maatregelen/aselecte_steekproeven.md

@@ -1,10 +1,11 @@
 ---
 # vul hier een titel in voor deze maatregel
-title: Aselecte steekproeven
+title: Gebruik aselecte  als er gebruik gemaakt wordt van risicogestuurde selectie
 # geef hier een korte toelichting van deze maatregel
-toelichting: Uitvoeren van aselecte steekproeven aanvullend op risicogestuurde selectie
+toelichting: Zorg dat een risicogestuurde selectie niet alleen gemaakt worden op basis van een algoritme, maar dat er ook willekeurige gevallen toegevoegd worden aan de selectie. Deze kan gebruikt worden om modellen te onderhouden.
 vereiste:
-- 
+- beoordelen_gevolgen_voor_grondrechten
+- non_discriminatie
 # vul hier de fasen van de levenscyclus in die horen bij deze maatregel
 levenscyclus:
 - implementatie

docs/maatregelen/besluitvorming_mens_controleren.md

@@ -0,0 +1,53 @@
+---
+# vul hier een titel in voor deze maatregel
+title: Besluitvorming mens controleren
+# geef hier een korte toelichting van deze maatregel
+toelichting: Zorg dat wanneer een selectie gemaakt wordt door een mens deze zorgvuldig wordt gecontroleerd, zodat het risico op menselijke bias verkleint wordt.
+# vul hier de bestandsnamen in van de vereisten die horen bij deze maatregel
+vereiste:
+- Recht_of_uitleg_AI-besluiten
+- beoordelen_gevolgen_voor_grondrechten
+- non_discriminatie
+- recht_op_niet_geautomatiseerd_besluitvorming
+# vul hier de fasen van de levenscyclus in die horen bij deze maatregel
+levenscyclus: 
+- verificatie-en-validatie
+# vul hier de bouwblokken in die horen bij deze maatregel
+bouwblok: 
+- conformiteitsbeoordeling
+- fundamentele-rechten
+---
+
+<!-- Let op! onderstaande regel met 'tags' niet weghalen! Deze maakt automatisch de knopjes op basis van de metadata  -->
+<!-- tags -->
+
+## Maatregel
+<!-- Vul hier een omschrijving in van wat deze maatregel inhoudt. -->
+Wanneer besluitvorming tot stand is gekomen op basis van menselijke keuzes, dan moeten deze keuzes goed worden gecontroleerd. 
+
+## Toelichting 
+<!-- Geef hier een toelichting van deze maatregel -->
+Vaak wordt aangenomen dat keuzes die door een mens zijn genomen vrij van bias zijn. Denk bijvoorbeeld aan rechters van wie wordt geacht dat zij onpartijdig oordelen, maar waarvan wetenschappelijk is vastgesteld dat rechters verschillend oordelen over gelijke gevallen. Ook zijn beslissingen van mensen vatbaar voor behavioral bias. [Kleinberg e.a. (2018)](https://academic.oup.com/jla/article/doi/10.1093/jla/laz001/5476086) Beslissingen gemaakt door mensen zullen dus niet standaard als waar moeten worden aangenomen. Het is belangrijk om van te voren goed na te denken over een ground truth waar uitkomsten aan gespiegeld moeten worden.
+
+## Bijbehorende vereiste(n)
+<!-- Hier volgt een lijst met vereisten op basis van de in de metadata ingevulde vereiste -->
+
+<!-- Let op! onderstaande regel met 'list_vereisten_on_maatregelen_page' niet weghalen! Deze maakt automatisch een lijst van bijbehorende verseisten op basis van de metadata  -->
+<!-- list_vereisten_on_maatregelen_page -->
+
+## Bronnen 
+<!-- Vul hier de relevante bronnen in voor deze maatregel -->
+
+| Bron                        |
+|-----------------------------|
+| [Kleinberg e.a. (2018)](https://academic.oup.com/jla/article/doi/10.1093/jla/laz001/5476086) |
+
+## Risico 
+<!-- vul hier het specifieke risico in dat kan worden gemitigeerd met behulp van deze maatregel -->
+
+Het oordeel van de mens is niet de ground truth. Hierdoor kunnen meetfouten in de vorm van selectieve labels ontstaan.
+
+## Voorbeeld
+<!-- Voeg hier een voorbeeld toe, door er bijvoorbeeld naar te verwijzen -->
+
+

docs/maatregelen/bijgestuurde_selectie.md

@@ -0,0 +1,55 @@
+---
+# vul hier een titel in voor deze maatregel
+title: Bepaal effectiviteit en representativiteit via 'bijgestuurde selectie'
+# geef hier een korte toelichting van deze maatregel
+toelichting: 
+# vul hier de bestandsnamen in van de vereisten die horen bij deze maatregel
+vereiste:
+- geen
+# vul hier de fasen van de levenscyclus in die horen bij deze maatregel
+levenscyclus: 
+- ontwikkelen
+# vul hier de bouwblokken in die horen bij deze maatregel
+bouwblok: 
+- technische-robuustheid-en-veiligheid
+---
+
+<!-- Let op! onderstaande regel met 'tags' niet weghalen! Deze maakt automatisch de knopjes op basis van de metadata  -->
+<!-- tags -->
+
+## Maatregel
+<!-- Vul hier een omschrijving in van wat deze maatregel inhoudt. -->
+Bepaal effectiviteit en representativiteit via 'bijgestuurde selectie'
+
+## Toelichting 
+<!-- Geef hier een toelichting van deze maatregel -->
+Bepaal effectiviteit en representativiteit via 'bijgestuurde selectie'.
+Vaak wordt een model niet gebruikt, omdat inputdata biased is. In plaats van inputdata te wijzigen, is het ook mogelijk om een representatieve selectie te krijgen door restricties op te leggen aan de selectie.
+Zo kan opgelegd worden dat het model minimaal 50 procent vrouwen selecteert, om een gelijke man-vrouw verdeling te garanderen. Dit vergroot de grip van gebruikers op de eerlijkheid van het algoritme.
+
+## Bijbehorende vereiste(n)
+<!-- Hier volgt een lijst met vereisten op basis van de in de metadata ingevulde vereiste -->
+
+<!-- Let op! onderstaande regel met 'list_vereisten_on_maatregelen_page' niet weghalen! Deze maakt automatisch een lijst van bijbehorende verseisten op basis van de metadata  -->
+<!-- list_vereisten_on_maatregelen_page -->
+
+## Bronnen 
+<!-- Vul hier de relevante bronnen in voor deze maatregel -->
+
+| Bron                        |
+|-----------------------------|
+|[Hekkelman e.a. (2023)](https://www.cpb.nl/rechtvaardige-algoritmes) |
+
+## Risico 
+<!-- vul hier het specifieke risico in dat kan worden gemitigeerd met behulp van deze maatregel -->
+
+Effectief en eerlijk algoritme wordt gemist door focus op eerlijkheid.
+
+## Voorbeeld
+<!-- Voeg hier een voorbeeld toe, door er bijvoorbeeld naar te verwijzen -->
+
+[Hekkelman e.a. (2023)](https://www.cpb.nl/rechtvaardige-algoritmes) 
+
+Heb je een voorbeeld of best practice, laat het ons weten via [[email protected]](mailto:[email protected])
+
+

docs/maatregelen/expliciteer_tegenvoorbeelden_in_datavorm.md

@@ -0,0 +1,52 @@
+---
+# vul hier een titel in voor deze maatregel
+title: Expliciteer tegenvoorbeelden zoveel mogelijk in datavorm bijvoorbeeld in unit tests. 
+# geef hier een korte toelichting van deze maatregel
+toelichting: Gesimuleerde data maakt het mogelijk om te testen of een algoritme ook op deze data werkt conform ontwerp (een unit test). Omdat de data gesimuleerd is, is bekend welke patronen er in de data zitten. Hierdoor is het mogelijk om te toetsen of een algoritme bias heeft, als de gesimuleerde data de werkelijkheid beschrijft. Er kunnen verschillende simulaties ontwikkeld worden, waarbij de relatie tussen beschermde persoonsgegevens en de uitkomst telkens anders is. 
+# vul hier de bestandsnamen in van de vereisten die horen bij deze maatregel
+vereiste:
+- geen
+# vul hier de fasen van de levenscyclus in die horen bij deze maatregel
+levenscyclus: 
+- ontwerp
+# vul hier de bouwblokken in die horen bij deze maatregel
+bouwblok: 
+- technische-robuustheid-en-veiligheid
+---
+
+<!-- Let op! onderstaande regel met 'tags' niet weghalen! Deze maakt automatisch de knopjes op basis van de metadata  -->
+<!-- tags -->
+
+## Maatregel
+<!-- Vul hier een omschrijving in van wat deze maatregel inhoudt. -->
+Expliciteer tegenvoorbeelden zoveel mogelijk in datavorm bijvoorbeeld in unit tests. 
+
+## Toelichting 
+<!-- Geef hier een toelichting van deze maatregel -->
+Gesimuleerde data maakt het mogelijk om te testen of een algoritme ook op deze data werkt conform ontwerp (een unit test). Omdat de data gesimuleerd is, is bekend welke patronen er in de data zitten. Hierdoor is het mogelijk om te toetsen of een algoritme bias heeft, als de gesimuleerde data de werkelijkheid beschrijft. Er kunnen verschillende simulaties ontwikkeld worden, waarbij de relatie tussen beschermde persoonsgegevens en de uitkomst telkens anders is.
+
+## Bijbehorende vereiste(n)
+<!-- Hier volgt een lijst met vereisten op basis van de in de metadata ingevulde vereiste -->
+
+<!-- Let op! onderstaande regel met 'list_vereisten_on_maatregelen_page' niet weghalen! Deze maakt automatisch een lijst van bijbehorende verseisten op basis van de metadata  -->
+<!-- list_vereisten_on_maatregelen_page -->
+
+## Bronnen 
+<!-- Vul hier de relevante bronnen in voor deze maatregel -->
+
+| Bron                        |
+|-----------------------------|
+
+
+
+## Risico 
+<!-- vul hier het specifieke risico in dat kan worden gemitigeerd met behulp van deze maatregel -->
+
+Model heeft bias die niet opgemerkt wordt.
+
+## Voorbeeld
+<!-- Voeg hier een voorbeeld toe, door er bijvoorbeeld naar te verwijzen -->
+
+Heb je een voorbeeld of best practice, laat het ons weten via [[email protected]](mailto:[email protected])
+
+

docs/maatregelen/functioneren_in_lijn_met_doeleinden.md

@@ -0,0 +1,52 @@
+---
+title: Stel vast dat het algoritme voortdurend functioneert in lijn met de vastgestelde doelstelling
+toelichting: 
+vereiste:
+- zorgvuldigheidsbeginsel
+levenscyclus:
+- ontwikkelen
+- verificatie-en-validatie
+- monitoring-en-beheer
+onderwerp:
+- technische-robuustheid-en-veiligheid
+- bias-en-non-discriminatie
+- governance
+rollen:
+- opdrachtgever
+- projectleider
+- data-scientist
+hide:
+- navigation
+---
+
+<!-- tags -->
+
+## Maatregel
+Stel vast dat het algoritme voortdurend functioneert in lijn met de [vastgestelde doelstelling](formuleren_doelstellling.md). 
+
+## Toelichting
+- Vertaal de [vastgestelde doelstelling](formuleren_doelstellling.md) naar functionele eisen voor het algoritme. Werk het vastgestelde doel uit in een beschrijving in logische taal/pseudo code of documentatie die handvatten biedt aan de ontwikkelaar. 
+- Monitor de mate waarin aan deze eisen wordt voldaan door het algoritme. 
+- Bepaal en leg vast hoe eventuele parameters, business rules en indicatoren bepaald worden. Zorg dat dit breed wordt afgestemd in de organisatie (ontwikkelteam, opdrachtgevers en beheer).
+- Houd hier rekening met eventuele (statistische) bias: meten we daadwerkelijk wat we denken te meten? 
+- Wanneer het algoritme meerdere doelen dient, is het belangrijk ook te evalueren op meerdere functionele eisen. 
+- Wanneer er sprake is van een (handmatige) behandeling, bepaal dan wanneer deze behandeling als 'succesvol' gezien kan worden. 
+
+## Bijbehorende vereiste(n)
+
+<!-- list_vereisten_on_maatregelen_page -->
+
+## Risico
+Het algoritme functioneert niet in lijn met geformuleerde doelstellingen. 
+
+
+## Bronnen
+| Bron                                                                                                                                                                     |
+|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+| [Toetsingskader Algoritmes Algemene Rekenkamer, 2.01](https://www.rekenkamer.nl/onderwerpen/algoritmes/documenten/publicaties/2024/05/15/het-toetsingskader-aan-de-slag) |
+| [Impact Assessment Mensenrechten en Algoritmes, 1](https://www.rijksoverheid.nl/documenten/rapporten/2021/02/25/impact-assessment-mensenrechten-en-algoritmes)          |
+| [Onderzoekskader Algoritmes Auditdienst Rijk, DM.1](https://www.rijksoverheid.nl/documenten/rapporten/2023/07/11/onderzoekskader-algoritmes-adr-2023)                    |
+
+## Voorbeeld
+
+Heb jij een goed voorbeeld? Laat het ons weten!

docs/maatregelen/index.md

@@ -39,4 +39,4 @@ Deze maatregel helpt om te voldoen aan de vereiste om niet te discrimineren. Maa
 <!-- list_maatregelen_all -->
 
 ## Help ons deze pagina te verbeteren
-Deel je idee, suggestie of opmerking via [GitHub](https://github.com/MinBZK/Algoritmekader) of mail ons via [[email protected]]([email protected]).
+Deel je idee, suggestie of opmerking via [GitHub](https://github.com/MinBZK/Algoritmekader) of mail ons via [[email protected]](mailto::[email protected]).

docs/maatregelen/kwetsbare_groepen.md

@@ -45,7 +45,7 @@ De impact van het algoritme op de besluitvorming en op personen, doelgroepen en/
 ## Bronnen
 | Bron                                                                                                                                                  |
 |-------------------------------------------------------------------------------------------------------------------------------------------------------|
-| [Onderzoekskader Algoritmes Auditdienst Rijk, SV.4](https://www.rijksoverheid.nl/documenten/rapporten/2023/07/11/onderzoekskader-algoritmes-adr-2023) |
+| [Onderzoekskader Algoritmes Auditdienst Rijk, SV.4, DM.16](https://www.rijksoverheid.nl/documenten/rapporten/2023/07/11/onderzoekskader-algoritmes-adr-2023) |
 | [Kamerstukken II 2023/24, 31066-1374](https://www.tweedekamer.nl/downloads/document?id=2024D15214)                                                    |
 | [Impact Assessment Mensenrechten en Algoritmes, 4.1](https://open.overheid.nl/documenten/ronl-c3d7fe94-9c62-493f-b858-f56b5e246a94/pdf)               |
 | [Handreiking non-discriminatie by design, 1.7 en 1.8 en 1.15](https://open.overheid.nl/documenten/ronl-3f9fa69c-acf4-444d-96e1-5c48df00eb3c/pdf)                          |

docs/maatregelen/reproduceerbaarheid_algoritme.md

@@ -0,0 +1,58 @@
+---
+# vul hier een titel in voor deze maatregel
+title: Reproduceerbaarheid algoritme
+# geef hier een korte toelichting van deze maatregel
+toelichting: Zorg dat algoritmes die in werking worden genoemd reproduceerbaar zijn, zodat bekend is hoe beslissingen tot stand gekomen zijn.
+# vul hier de bestandsnamen in van de vereisten die horen bij deze maatregel
+vereiste:
+- Recht_op_uitleg_AI-besluiten
+- beoordelen_gevolgen_voor_grondrechten
+- non_discriminatie
+- toezichtmogelijkheden_voor_gebruikers
+- verstrekking_van_informatie_op_verzoek
+# vul hier de fasen van de levenscyclus in die horen bij deze maatregel
+levenscyclus: 
+- archiveren
+# vul hier de bouwblokken in die horen bij deze maatregel
+bouwblok: 
+- conformiteitsbeoordeling
+- fundamentele-rechten
+---
+
+<!-- Let op! onderstaande regel met 'tags' niet weghalen! Deze maakt automatisch de knopjes op basis van de metadata  -->
+<!-- tags -->
+
+## Maatregel
+<!-- Vul hier een omschrijving in van wat deze maatregel inhoudt. -->
+Algoritmes dienen reproduceerbaar te zijn.
+
+## Toelichting 
+<!-- Geef hier een toelichting van deze maatregel -->
+Algoritmes kunnen gebaseerd zijn op verschillende methoden. Het is belangrijk dat algoritmes reproduceerbaar zijn, zodat nagegaan kan worden hoe beslissingen tot stand gekomen zijn. Ook maakt dit het mogelijk om na te gaan hoe uitkomsten van het algoritme veranderen als de inputdata wijzigt.
+[Kleinberg e.a. (2020)](https://www.pnas.org/doi/full/10.1073/pnas.1912790117?doi=10.1073%2Fpnas.1912790117).
+
+## Bijbehorende vereiste(n)
+<!-- Hier volgt een lijst met vereisten op basis van de in de metadata ingevulde vereiste -->
+
+<!-- Let op! onderstaande regel met 'list_vereisten_on_maatregelen_page' niet weghalen! Deze maakt automatisch een lijst van bijbehorende verseisten op basis van de metadata  -->
+<!-- list_vereisten_on_maatregelen_page -->
+
+## Bronnen 
+<!-- Vul hier de relevante bronnen in voor deze maatregel -->
+
+| Bron                        |
+|-----------------------------|
+| [Kleinberg e.a. (2020)](https://www.pnas.org/doi/full/10.1073/pnas.1912790117?doi=10.1073%2Fpnas.1912790117) |
+
+## Risico 
+<!-- vul hier het specifieke risico in dat kan worden gemitigeerd met behulp van deze maatregel -->
+
+Achteraf kan niet meer worden geconstrueerd wat de aanvaarde risico's ten aanzien van bias zijn.
+
+Achteraf kan niet meer worden gereconstrueerd waarom een algoritme tot een besluit is genomen.
+
+## Voorbeeld
+<!-- Voeg hier een voorbeeld toe, door er bijvoorbeeld naar te verwijzen -->
+
+Heb je een voorbeeld of best practice, laat het ons weten via [[email protected]](mailto:[email protected])
+

docs/maatregelen/synthetische_data.md

@@ -0,0 +1,57 @@
+---
+# vul hier een titel in voor deze maatregel
+title: Algoritmes controleren met synthetische en/of CBS data
+# geef hier een korte toelichting van deze maatregel
+toelichting: Zorg dat selecties gemaakt door algoritmes gecontroleerd worden op achtergrondkenmerken met behulp van synthetische en/of CBS microdata, zodat het inzichtelijk wordt welke groepen door het algoritme worden geselecteerd.
+# vul hier de bestandsnamen in van de vereisten die horen bij deze maatregel
+vereiste:
+- beoordelen_gevolgen_voor_grondrechten
+- non_discriminatie
+- verboden_toepassingen_evaluatie_of_classificatie_natuurlijke_personen_of_groepen_personen
+# vul hier de fasen van de levenscyclus in die horen bij deze maatregel
+levenscyclus: 
+- dataverkenning-en-datapreparatie
+- ontwikkelen
+- verificatie-en-validatie
+# vul hier de bouwblokken in die horen bij deze maatregel
+onderwerp: 
+- data
+- fundamentele-rechten
+---
+
+<!-- Let op! onderstaande regel met 'tags' niet weghalen! Deze maakt automatisch de knopjes op basis van de metadata  -->
+<!-- tags -->
+
+## Maatregel
+<!-- Vul hier een omschrijving in van wat deze maatregel inhoudt. -->
+Maak gebruik van synthetische en/of CBS microdata om de persoonskenmerken van selecties gemaakt door een selectiealgoritme inzichtelijk te maken.
+
+## Toelichting 
+<!-- Geef hier een toelichting van deze maatregel -->
+Bij het opstellen van selectiealgoritmes mogen bepaalde persoonskenmerken niet gebruikt worden (denk bijvoorbeeld aan migratieachtergrond). Selecties gemaakt door het algoritme zouden echter wel gecontroleerd moeten worden op die persoonskenmerken. Doordat organisaties vaak geen toegang hebben tot data met daarin deze kenmerken of deze data niet mogen gebruiken is het voor de organisaties niet inzichtelijk welke personen geselecteerd worden door hun algoritme en of dit een bepaald groep omvat. Door selecties te koppelen aan synthetische data en/of CBS microdata kunnen deze persoonskenmerken verkregen worden en kunnen selecties meer inzichtelijk gemaakt worden.
+
+## Bijbehorende vereiste(n)
+<!-- Hier volgt een lijst met vereisten op basis van de in de metadata ingevulde vereiste -->
+
+<!-- Let op! onderstaande regel met 'list_vereisten_on_maatregelen_page' niet weghalen! Deze maakt automatisch een lijst van bijbehorende verseisten op basis van de metadata  -->
+<!-- list_vereisten_on_maatregelen_page -->
+
+## Bronnen 
+<!-- Vul hier de relevante bronnen in voor deze maatregel -->
+
+| Bron                        |
+|-----------------------------|
+
+
+## Risico 
+<!-- vul hier het specifieke risico in dat kan worden gemitigeerd met behulp van deze maatregel -->
+
+Data over specifieke kwetsbare variabelen is niet beschikbaar, waardoor modeluitkomsten niet gecontroleerd kunnen worden.
+
+## Voorbeeld
+<!-- Voeg hier een voorbeeld toe, door er bijvoorbeeld naar te verwijzen -->
+
+Recent is naar buiten gekomen dat DUO gebruikt maakte van een algoritme om studenten te identificeren die zouden frauderen op hun studiefinanciering. Van de studenten die geselecteerd werden door het algoritme had meer dan 90 procent een migratieachtergrond. DUO had geen zicht op de kenmerken van de geselecteerde groep, omdat ze geen data hebben over migratieachtergrond. Had DUO deze informatie wel gehad (door het koppelen van hun selectie aan synthetische en/of CBS microdata) dan had het gebruik van het algoritme stopgezet kunnen worden.
+
+Heb je een voorbeeld of best practice, laat het ons weten via [[email protected]](mailto:[email protected])
+