SCHUFA Themenportal

Sie hilft bei gesellschaftlichen Herausforderungen wie dem Klimawandel, indem sie frühzeitig zu trockene Bäume erkennt. Sie kann dabei unterstützen besser und schneller Medikamente zu entwickeln und auf den Markt zu bringen. Und spätestens ChatGPT hat gezeigt, dass sie Menschen dabei helfen kann, ihren Alltag zu organisieren. Künstliche Intelligenz (KI) kommt fast in jedem Bereich des Lebens zum Einsatz – und soll es besser machen. Umso wichtiger ist es, ihre Auswirkungen auf unser Leben zu verstehen. Neben all den Vorteilen wird nämlich auch immer wieder auf die Risiken von KI hingewiesen. Gerade bei ChatGPT sieht man immer wieder, dass KI auch Fehler macht und sich leicht manipulieren lässt. Eine der wichtigsten Herausforderungen im Kontext KI: Diskriminierung, die von ihr ausgehen kann.

Wieso kann KI diskriminieren?

KI-Systeme basieren auf Algorithmen, die aus Daten Muster ableiten. Wenn diese Daten fehlerhaft sind oder bereits bestimmte Muster beinhalten, die zu Diskriminierung führen, dann kann es passieren, dass die KI diese reproduziert. Konkret heißt das: Wenn KI-Systeme mit Daten trainiert werden, die von Menschen erstellt wurden und menschliche Vorurteile und Ungleichheiten widerspiegeln, dann kann das KI-System die Vorurteile und Ungleichheiten in den Daten verstärken und reproduzieren.

Ein Beispiel: Gesichtserkennungssysteme, die genutzt werden, wenn es um Strafverfolgung geht. Das kann zum Risiko werden, wenn Menschen zu Unrecht als Verdächtige eingestuft werden. Das Problem: Solche Fehler beim Bildabgleich passieren meist bei People of Color. Eine im Jahr 2019 veröffentlichte Studie des Nationalen Instituts für Standards und Technologie zeigt, dass die Fehlerrate bei der Gesichtserkennung bei diesen ethnischen Gruppen bis zu 100-mal höher ist als bei Weißen. Einige Anbieter solcher Software reagierten auf die Kritik, indem sie die Verwendung des Systems durch Strafverfolgungsbehörden einschränkten. Doch das Problem bleibt bestehen: Wenn KI-Systeme nicht mit ausgewogenen Daten trainiert werden, können sie falsche Entscheidungen treffen und Diskriminierung verstärken.

Was sind Folgen von KI-Diskriminierung?

Eines der größten Probleme ist, dass KI-Systeme oft als objektiv und unparteiisch betrachtet werden. Denn es handelt sich nicht um einen Menschen, sondern um ein Programm. Während der Mensch subjektiv wahrgenommen wird, wirken Programme für uns häufig objektiv oder neutral. Dennoch können sie aufgrund der Nutzung echter Daten von menschlichen Vorurteilen beeinflusst werden. Die Folgen von KI-Diskriminierung können schwerwiegend sein. Menschen können aufgrund ihrer Geschlechtszugehörigkeit, Hautfarbe oder anderer Merkmale zum Beispiel – wie beschrieben etwa in der Strafverfolgung – benachteiligt werden. Im Berufsleben kann durch den Einsatz von KI-Systemen, beispielsweise im Bewerbungsprozess, ein Mangel an Diversität entstehen. Auch der SCHUFA wurde in der Vergangenheit vorgeworfen, dass ihre Scores Diskriminierung fördern könnten und beispielsweise jungen und männlichen Personen eine schlechtere Bonität attestieren würden.

Kann Scoring diskriminieren?

Die SCHUFA steht vor der Herausforderung, Diskriminierung in ihrem Bonitätsscoring zu vermeiden. Beim Bonitätsscoring werden anhand von Erfahrungen aus der Vergangenheit Prognosen für die Zukunft erstellt. Dabei geht es um die Frage, wie wahrscheinlich es ist, dass eine Person ihren Zahlungsverpflichtungen nachkommt. Dafür wird ein Score berechnet. Diesen nutzen dann Unternehmen oder Banken dafür, datenbasiert zu entscheiden, ob ein Kredit oder ein Kauf auf Rechnung zustande kommt. So wird das Risiko eines Zahlungsausfalls minimiert. In der Regel kombiniert das Unternehmen diesen Wert zwar auch mit eigenen Daten, zum Beispiel, ob es bereits früher Geschäfte mit jemandem gemacht hat. Dennoch stellt der SCHUFA-Score einen wichtigen Baustein im Risikomanagement dar und sollte daher frei von Diskriminierung sein.

Welche Score-Merkmale könnten diskriminierend sein – werden aber nicht verwendet?

Doch wie kann man mögliche Diskriminierung erkennen und vermeiden? Klaus Broelemann ist Leiter der Abteilung Innovation & Research bei der SCHUFA. Er hat sich mit seinem Team auf die Forschung im Bereich Fairness und Erklärbarkeit von Scores spezialisiert. Was ist für ihn Fairness? „Es gibt zum einen die Sicht der Personen, die sich fragen: Was sind meine Chancen, basierend auf meiner Situation, einen Kredit zu bekommen? Aus dieser Sicht sind Scores vor allem dann fair, wenn Chancengleichheit besteht, also sie unabhängig von Eigenschaften wie Alter, Geschlecht oder Nationalität sind”, sagt Klaus Broelemann. „Demgegenüber steht die Sicht, dass faire Scores das Risiko für jede Person so exakt wie möglich einschätzen sollen – auch, wenn das zu Unterschieden führt. Hier bedeutet Fairness in der Regel Risikogleichheit, also dass der gleiche Score auch immer für das gleiche Risiko steht. Natürlich bedeutet das im Endeffekt auch eine Gleichbehandlung von Privatpersonen”.

Die SCHUFA arbeitete bisher nach dem Prinzip „Fairness through unawareness”: Das bedeutet: Merkmale wie Geschlecht und Alter werden nicht für die Bonitätsberechnung verwendet. „Dieser Ansatz ist bisher etablierter Standard”, sagt Klaus Broelemann. „Neue Auswertungen zeigen zum Beispiel, dass die Scoreverteilungen von Männern und Frauen aktuell kaum Unterschiede aufweisen, d.h. die Chancen einen Kredit zu erhalten, wenn man ihn auch bedienen kann, sind für Männer und Frauen gleich hoch. Trotzdem arbeiten wir fortwährend daran, die Verfahren zu verbessern und neue Erkenntnisse aus der Forschung zu berücksichtigen.”

Woran forscht die SCHUFA im Bereich KI und Diskriminierung?

Die SCHUFA beschäftigt sich laufend mit neuen Ideen und Ansätzen, um Diskriminierung in ihrem Scoreverfahren zu vermeiden. Klaus Broelemann und sein Team beschäftigen sich mit den neuesten Forschungsständen und forschen auch selbst aktiv in diesem Bereich. Sie beteiligen sich an Projekten und veröffentlichen ihre Erkenntnisse. Seit 2020 ist die SCHUFA beispielsweise im EU-Forschungsprojekt „NoBIAS“ aktiv. Ziel des Projektes ist es, komplexe KI-Verfahren besser nachvollziehen zu können. Zudem geht es darum unter Berücksichtigung von ethischen und rechtlichen Gesichtspunkten neuartige Methoden zur Entscheidungshilfe auf Basis Künstlicher Intelligenz zu entwickeln – ohne mögliche diskriminierende Verzerrung. Das Projekt wird von der EU finanziell gefördert.

Außerdem soll das Thema Transparenz eine zentrale Bedeutung im zukünftigen SCHUFA-Scoring spielen. Mit dem SCHUFA Score-Simulator wurde im vergangenen Jahr bereits ein wichtiger Schritt Richtung Transparenz und Erklärbarkeit umgesetzt. Dieser erläutert die wichtigsten Kriterien, die den SCHUFA-Score beeinflussen und macht so das SCHUFA-Scoring nachvollziehbar. Zukünftig steht auch das Thema Erklärbarkeit im Fokus. Denn diese ist relevant für die „gefühlte“ Fairness von Menschen. Das bedeutet: Sollten statistisch messbare Effekte nicht adäquat erläutert werden können, muss diskutiert werden, ob sie weiterhin für das Scoring genutzt werden.