Unternehmen setzen verstärkt auf automatisierte Entscheidungen durch algorithmenbasierte Systeme. Das spart Zeit und Geld – birgt jedoch vielfältige Gefahren der Benachteiligung einzelner Menschen und ganzer Bevölkerungsgruppen. Zu diesem Ergebnis kommt eine Studie des Instituts für Technikfolgenabschätzung des KIT, die im Auftrag der Antidiskriminierungsstelle des Bundes durchgeführt wurde.
Ob bei der Kreditvergabe, der Auswahl neuer Mitarbeitender oder bei juristischen Entscheidungen – in immer mehr Bereichen werden Algorithmen dazu eingesetzt, menschliche Entscheidungen vorzubereiten oder sie ihnen gleich ganz abzunehmen. „Dass dies zwangsläufig zu objektiveren und damit faireren Entscheidungen führt, erweist sich heute leider oft als Trugschluss“, sagt Carsten Orwat vom Institut für Technikfolgenabschätzung und Systemanalyse (ITAS) des KIT (Karlsruher Institut für Technologie). „Kritisch wird es insbesondere dann, wenn die Algorithmen mit tendenziösen Daten arbeiten und auf eigentlich geschützte Merkmale zurückgreifen.“ Hierzu gehören vor allem Alter, Geschlecht, ethnische Herkunft, Religion, sexuelle Orientierung oder Behinderungen.
Welche Ursachen diese Formen der Diskriminierung haben, wie sie sich auf die Gesellschaft auswirken und sich Diskriminierungsrisiken künftig verringern lassen, hat Orwat im Auftrag der Antidiskriminierungsstelle des Bundes eingehend untersucht. Die Studie „Diskriminierungsrisiken durch Verwendung von Algorithmen“ veranschaulicht anhand von 47 Beispielen – darunter auch zahlreiche aus dem HR-Bereich – wie Algorithmen auf unterschiedliche Weise diskriminieren können und wie man dies nachweisen kann.
Studie zeigt vielfältige Beispiele für Diskriminierungsrisiken
Der Studienautor beschreibt beispielsweise Vorgänge auf dem Immobilien- und Kreditmarkt oder im Strafvollzug. In den USA gebe es mehrere dokumentierte Fälle, in denen die Algorithmen Sozialer Medien Wohnungsanzeigen zugelassen hätten, die durch den ‚Fair Housing Act‘ geschützte Personengruppen nicht zu sehen bekamen – etwa Migranten, Menschen mit Behinderung oder Nicht-Weißer Hautfarbe. In Finnland wurde ein Kreditinstitut zu Strafzahlungen verurteilt, weil sein Algorithmus bei der automatisierten Online-Kreditvergabe Männer gegenüber Frauen und finnische gegenüber schwedischen Muttersprachlern benachteiligte. Beides Ungleichbehandlungen, die nach dem finnischen Antidiskriminierungsrecht verboten sind. Und: US-amerikanische Richter arbeiten bei der Entscheidung über vorzeitige Haftentlassungen mit einem umstrittenen System, das Risikoscores berechnet. Journalisten- und Menschrechtsverbände kritisieren, dass das System das Rückfallrisiko von schwarzen Menschen systematisch zu hoch bewertet.
Diskriminierung durch Algorithmen im HR-Umfeld
Auch aus dem HR-Umfeld führt der Studienautor zahlreiche Beispiele an. Am bekanntesten dürfte der Fall Amazon sein. Das Unternehmen nutzte seit 2014 ein in der Entwicklung befindliches Softwaresystem zur Suche und Bewertung von im Web aufzufindenden Lebensläufen potenzieller Mitarbeiterinnen oder Mitarbeiter. Das maschinelle Lernverfahren wurde an Lebensläufen trainiert, um nach Wortmustern zu suchen, die auf erfolgreiche Mitarbeitende schließen sollten. Während der Entwicklungszeit habe man bemerkt, dass das System nicht geschlechterneutral bewertet. Das System stufte Begriffe mit „women’s“ und Namen von zwei ausschließlich weiblichen (Hoch-)Schulen herab. Als Trainingsdaten wurden Lebensläufe der letzten zehn Jahre verwendet, die hauptsächlich von Männern stammten. Darin spiegelte sich die männliche Mehrheit an Beschäftigten in der Technologiebranche wider. Auch mit Anpassungen des Systems konnte man nicht sicherstellen, dass das System nicht andere Wege entwickelt hätte, mit denen Bewerbende diskriminiert worden wären. Das Entwicklerteam wurde 2017 aufgelöst.
Darüber hinaus führt der Studienautor mehrere Beispiele an, bei dem Unternehmen gezielt die Differenzierungsmöglichkeiten von Facebook oder Onlinejobbörsen genutzt haben, um Stellenanzeigen selektiv zu schalten, zum Beispiel um diese nur für Männer oder nur für bestimmte Altersgruppen auszuspielen.
Ursachen für Diskriminierung durch Algorithmen
„Bei Systemen des maschinellen Lernens wird es häufig problematisch, wenn KI-Systeme mit Daten trainiert werden, die Ungleichbehandlungen oder Stereotypen abbilden“, erklärt Orwat: „Dann spiegeln auch die so erzeugten Algorithmen die Ungleichbehandlungen oder Stereotypen wider." Wenn Daten verarbeitet werden, die Bewertungen von Menschen über anderer Menschen beinhalten, so könnten sich Ungleichheiten und Diskriminierungen sogar verbreiten oder verstärken, ergänzt Orwat.
Diskriminierungsfreie Algorithmen – aber wie?
Die Studie nennt mehrere Ansatzmöglichkeiten, um Diskriminierungen bei algorithmenbasierten Differenzierungen zu begegnen. „Am sinnvollsten erscheinen präventive Maßnahmen“, sagt Orwat. So könnten Firmen ihre Personal beziehungsweise IT-Mitarbeiter von Antidiskriminierungsstellen beraten lassen. Diese Angebote könnten auch sensibilisieren, so dass nur solche Datensätze verwendet werden, die keine diskriminierenden Praktiken oder Ungleichheiten widerspiegeln.
Das Ziel sei es, so Orwat, dass Algorithmen in Zukunft „diskriminierungsfrei by design“ werden. Dazu müssten Programme bereits während ihrer Entwicklung geprüft werden. Letztlich gehe es dabei immer um den Schutz von gesellschaftlichen Werten wie Gleichheitsziele oder Schutz der freien Entfaltung der Persönlichkeit. Damit diese auch angesichts der rasanten Entwicklungen von „Big Data“ und KI gewährt bleiben, sei es an verschiedenen Stellen nötig, das Antidiskriminierungs- und Datenschutzrecht zu verbessern.
Das könnte Sie auch interessieren:
Künstliche Intelligenz im Personalwesen
KI-Richtlinien für HR: Ethikbeirat stellt finale Fassung vor