KI: Ethische Ansätze und menschliche Aufsicht / 3.2 Diskriminierung

Es überrascht nicht, dass KI-Systeme immer wieder wegen diskriminierender Ergebnisse in der Kritik stehen. Diese fallen im HR-Bereich besonders gravierend ins Gewicht. Zum einen übertragen sich, wie bereits beschrieben, bestehende Diskriminierungen aus den verwendeten Datensätzen auf die Ergebnisse. Zum anderen kann die Datenverarbeitung innerhalb des LLM zu neuen Diskriminierungen führen. Ein Beispiel aus der HR-Praxis: Ein KI-System soll Bewerber nach Eignung ranken. In den Ergebnissen zeigt sich, dass weibliche Bewerber systematisch schlechter abschneiden als männliche Bewerber. Die Ursachen können vielfältig sein. Möglicherweise wurde das System vorwiegend mit Daten männlicher Bewerber trainiert. Zudem könnte die Datenbasis engere Verknüpfungen von Männern mit gesuchten Eigenschaften wie "Durchsetzungsfähigkeit" oder "Führungsstärke" aufweisen. Das LLM könnte auch selbst eigene Rückschlüsse aus bestimmten Korrelationen gezogen haben, ohne diese darzulegen. Haben sich etwa in der Vergangenheit mehr Frauen als Männer auf die Stelle beworben und haben dementsprechend zwingendermaßen auch mehr Frauen eine Absage erhalten, könnte das System daraus fälschlicherweise auf eine bessere Geeignetheit von männlichen Kandidaten schließen. Zuletzt kann auch die Eingabe in das KI-System zu diskriminierenden Ergebnissen führen. Wird in dem verwendeten Stellenprofil beispielsweise nach einem "Projektmanager (m/w/d)" gesucht, kann es sein, dass das System den Zusatz, dass die Stelle sowohl für männliche, weibliche als auch diverse Bewerber offenstehen soll, nicht "begreift" und deswegen einen männlichen Kandidaten ("Projektmanager") auswählt.

Dem kann zwar vorgebeugt werden, indem Bewerbungsdaten der KI geschlechtsneutral zur Verfügung gestellt werden. Zu berücksichtigen ist in diesem...