“Soms luidt het ethisch advies bij een algoritme: denk hier nog even heel goed over na”

18 september 2020
Ook banken maken gebruik van algoritmen: een set instructies die wordt ‘losgelaten’ op een hoeveelheid data ter beantwoording van een vraag. Of om een bepaald probleem op te lossen. Resultaat is nieuwe informatie, inzetbaar voor veel doelen, waaronder (deels) geautomatiseerde besluitvorming. Algoritmen hebben voordelen, maar kennen ook ethische risico’s. Bijvoorbeeld op ‘bias’ en te complexe besluitvorming, aldus Joris Krijger en Bart Roelofs van de Volksbank. Deze bank ontwikkelde een praktische manier voor ethisch verantwoorde inzet van algoritmen. Voor een open discussie over ethische vraagstukken én de juiste besluiten.

“Algoritmen worden overal al langer ingezet. Met het doel om processen te optimaliseren”, begint Joris Krijger, onderzoeker bij Erasmus University Rotterdam en AI & Ethics Specialist bij de Volksbank. “Met name wiskundigen wezen als eersten op de ethische risico’s van de inzet van algoritmen bij besluitvorming. Onbedoeld kunnen we op structurele wijze groepen benadelen. Algoritmes zijn namelijk niet objectief, maar kennen subjectieve elementen: de keuze vooraf welke (historische) data je wel/niet meeneemt in je algoritme en de keuze vooraf van de definition of succes (het gewenste resultaat, de uitkomst).”

“Beide keuzes zijn subjectief, daar moet je kritisch op zijn want die subjectiviteit kan vertekende resultaten geven. Uitsluiting van bepaalde groepen mensen. Zo gebruikte een grote Amerikaanse webwinkel een AI-toepassing voor sollicitaties die systematisch vrouwen benadeelde voor bepaalde functies. Het kan dus sociaal onwenselijke uitkomsten opleveren. En machine learning – een systeem past zijn eigen werking aan, zonder menselijke tussenkomst – kan zorgen voor zodanige complexe beslisstructuren dat de manier waarop een beslissing tot stand komt, niet te achterhalen is. Een ‘black box’.”

Data and ethics policy

Krijger: “Verder heeft elk AI-systeem een bepaalde mate van beslissingen goed. Probleem is dat het systeem ook false positives en false negatives oplevert. Waar ligt de grens tussen die twee fouten van het systeem? En hoe bepaal je welke waarden leidend zijn? Voor financiële instellingen – mijn onderzoeksgebied - is het belangrijk om verantwoording af te kunnen leggen over de ethische afwegingen bij het gebruik van AI en data science-toepassingen. Dat is nu een kwestie van zelfregulering; er is (nog) geen wetgeving en toezicht. Maar daar wordt hard aan gewerkt, ook vanuit Europa. Denemarken loopt voorop. Daar moeten bedrijven een data and ethics policy hebben en transparant daarover zijn. Vanuit de AVG – de privacywetgeving - geldt overigens wel dat volledig geautomatiseerde besluiten niet zijn toegestaan; er moet sprake zijn van ‘menselijke betrokkenheid’ in het besluitvormingsproces.”

Tekst loopt door onder foto

Joris Krijger

Vertrouwen

Bart Roelofs, senior risk manager bij de Volksbank: “Ook de Volksbank gebruikt algoritmen. Ze kunnen zoals gezegd ook worden ingezet bij automatische besluitvorming. Maar daar zijn wij zeer terughoudend mee. Zeker als het gaat om beslissingen over klanten. In het algemeen geldt: banken zijn nauw betrokken bij belangrijke besluiten die mensen in hun leven maken. Dat vraagt om wederzijds vertrouwen tussen bank en klant. Dus om gedeelde normen en waarden en een zorgvuldige omgang daarmee. Vanuit onze missie voelden we ons bovendien extra verantwoordelijk om dit thema op te pakken.”

Roelofs vervolgt: “Uit publicaties blijkt dat veel organisaties vaak wel ‘hoog over’ ethische principes over algoritmen hebben, en ook principes op designniveau. Maar wat ontbreekt, is het organisatorische aspect. De verankering in de processen en systemen. Inzet van algoritmes kan dilemma’s opleveren. Conflicterende waarden – bijvoorbeeld privacy vs zorgplicht - waarover op een bepaald level in de organisatie een besluit moet worden genomen. Die verantwoordelijkheid mag en kan niet liggen bij de modelleurs, maar moet verankerd zijn in de bedrijfsvoering. Daar moet de discussie plaatsvinden en moet besloten worden. Daarvoor wilden wij een aanpak ontwikkelen. Om ons op de meest relevante situaties te kunnen focussen beperkten we, in eerste instantie, de scope tot algoritmen die impact hebben op de klant.”

Tekst loopt door onder foto

Bart Roelofs

Transparantie, uitlegbaarheid, menselijke interactie, eerlijkheid en regie

Roelofs: “Die algoritmen worden voortaan beoordeeld op basis van deze specifieke waarden die we samen formuleerden: transparantie, uitlegbaarheid, menselijke interactie, eerlijkheid en regie. In het kort: we willen als bank de klant laten weten dat we algoritmen gebruiken en waarom. Zelf goed weten welke data we erin stoppen en wat eruit komt. En zorgen dat bij belangrijke klantbeslissingen mensen betrokken zijn. We willen eerlijk zijn en zorgen dat de klant zo veel mogelijk regie kan houden op de eigen data.”

Krijger: “De ethische beoordeling van een algoritme is ingericht als nieuw ethisch proces, dat aanhaakt op het ontwikkelproces en op bestaande besluitvorming. Als logische extra stap in die hele keten. In praktijk betekent het dat bij elke ontwikkeling van zo’n algoritme, er ethisch advies moet worden gevraagd bij ons nieuwe ethics office. Het ethics office adviseert hoe, onder welke voorwaarden, het algoritme verantwoord kan worden ingezet. Het advies wordt vastgesteld in een bespreking binnen een divers samengestelde klankbordgroep. Er zijn altijd meerdere kanten aan een verhaal en zo willen we verschillende belangen kunnen wegen. Soms luidt het advies: denk hier nog even heel goed over na. Dat advies wordt gegeven middels een helder, gestandaardiseerd formulier. Het ethics office toetst na ontwikkeling van het algoritme ook de toepassing ervan. Zo ligt de eindverantwoordelijkheid voor ethische afwegingen bij data science toepassingen niet meer alleen bij de data scientists, maar wordt deze verdeeld binnen de organisatie.”

Roelofs besluit: “Samen open de discussie voeren over lastige ethische vraagstukken en laten zien hoe je tot bepaalde afwegingen bent gekomen. Dat is wat we belangrijk vinden en wat we hiermee beogen.”