11.11.2020

Erklärbarkeit von KI sicherstellen: SCHUFA beteiligt sich an EU-Forschungsprojekt

Die Verwendung von digitalen Technologien wie z. B. Künstlicher Intelligenz bringt Chancen, aber auch eine große Verantwortung mit sich. Ein wichtiger Aspekt ist die Vermeidung von systematischen Fehlern und Diskriminierung.

Dr. Broelemann, Sie sind Teil des Forschungsprojektes „NoBIAS - AI without Bias“, das von der EU-Kommission gefördert wird. Erklären Sie uns kurz, um was es in dem Forschungsprojekt geht?

Klaus Broelemann: Bei dem EU-Projekt „NoBIAS“ geht es um die Erforschung von Bias, d.h. von systematischen Fehlern und Diskriminierungen in KI-Systemen. Ziel ist es Bias zu erkennen und Methoden zu entwickeln, diesem entgegenzuwirken. Dies ist schon in einfachen Systemen eine sehr herausfordernde Aufgabe, weil Bias ganz unterschiedliche Ursachen haben kann und dementsprechend eine Vielzahl von Aspekten berücksichtigt werden müssen. In AI-Systemen ist es noch einmal schwieriger, da die zugrundeliegenden Mechanismen deutlich komplexer sein können.

Demensprechend ist auch das Projekt „NoBIAS“ in 15 Teilprojekte eingeteilt. Jedes dieser Teilprojekte widmet sich einem anderen Aspekt dieses großen Themenkomplexes. Wir als SCHUFA kümmern uns dabei um den Aspekt der Erklärbarkeit von Machine-Learning Vorhersagen. Im Gesamtbild ist dies wichtig, da man zurückverfolgen können muss, wo die Ursachen für möglichen Bias liegen. Dafür muss man zunächst verstehen und erklären können, was das System überhaupt macht und welche Faktoren sich wie beeinflussen.

Können Sie ein, zwei konkrete Beispiele für eine mögliche Diskriminierung durch AI nennen?

Klaus Broelemann: Ein sehr bekanntes Beispiel, das vor einigen Jahren durch die Medien ging, ist ein AI-basiertes System zur Berechnung des Rückfallrisikos von Straftätern in der USA. Die Idee dahinter hatte absolut nichts mit Diskriminierung zu tun, ganz im Gegenteil: statt wichtige Entscheidung wie etwa eine frühzeitige Entlassung von sehr subjektiven menschlichen Entscheidungen abhängig zu machen, wollte man ein neutrales, objektives System einführen. Journalisten konnten jedoch zeigen, dass diese landesweit eingesetzte AI systematisch das Risiko bei schwarzen Straftätern überschätzte und analog das Risiko bei weißen Straftätern unterschätzte.

Verantwortung in der digitalen Gesellschaft

Die SCHUFA setzt digitale Technologien mit dem Ziel ein, sichere Geschäfte zu ermöglichen und so Nutzen für den Menschen zu schaffen. Dabei handelt Deutschlands führender Lösungsanbieter von Auskunftei- und Informationsdienstleistungen nach festen Prinzipien, die auf der Website des Unternehmens veröffentlicht sind – transparent und nachvollziehbar.

Ich kenne zwar in diesem Fall den Grund für die Diskriminierung nicht, aber im letzten Oktober wurde ein ganz ähnlicher Fall bekannt, bei dem sich die Ursache identifizieren ließ. Dabei haben AI-Systeme die Gesundheitsrisiken für Patienten bestimmt, etwa zur Verordnung zusätzlicher Maßnahmen. Wieder wurde die schwarze Bevölkerung in der USA diskriminiert: hier, indem das Risiko unterschätz und damit der Zugang zu zusätzlichen Maßnahmen erschwert wurde. Der Fehler lag hier bei den Entwicklern der AI. Diese hatten die zu erwartenden medizinischen Ausgaben als ein Maß für das gesundheitliche Risiko genommen. Da aber die weiße Bevölkerung im Durchschnitt mehr für ihre Gesundheit ausgibt, wurde systematisch bei gleichem Gesundheitszustand das Risiko für weiße Patienten höher eingeschätzt, da die zu erwartenden Ausgaben – statistisch belegt – höher waren.

Ein anderer Fall und eine andere Ursache: man stelle sich eine AI vor, die HR bei der Vorauswahl von geeigneten Bewerbern unterstützt. Auch hier soll der Prozess unvoreingenommener gestaltet werden. Um herauszufinden, welche Profile am besten passen, zeigt man der AI die Profile der eingestellten Mitarbeiter und die AI lernt ähnliche Profile zu identifizieren. Was glauben Sie lernt die AI aus den Profilen einer IT-Abteilung mit sagen wir mal 90% männlichen Mitarbeitern? Und wie schätzen Sie die Chancen einer Bewerberin ein, hier nicht direkt von der AI aussortiert zu werden? In diesem Fall liegt der Bias schon in den Daten und nicht so sehr im Algorithmus.

Das Projekt wird von der EU gefördert: Was sind die Ziele der EU und welche Anforderungen bringt das mit sich?

Klaus Broelemann: Das Projekt ist Teil der Initiative Horizont 2020 der EU Kommission, mit dem seit 2014 Forschung und Innovation in der EU vorangetrieben werden soll. Insgesamt wurden dafür ungefähr 77 Mrd Euro veranschlagt. Zu Horizont 2020 gehören verschiedene Programme, eines davon, zu denen auch unser NoBIAS Projekt gehört, sind die sogenannten Innovation Training Networks, kurz ITNs. ITNs haben für die EU Kommission mehrere Ziele. Zunächst sollen Doktoranden ausgebildet werden, daher der „Training“-Teil des Namens. Daneben soll aber auch die Forschung vorangetrieben werden und Innovation in der Industrie bzw. Wirtschaft getriggert werden – zu sehen am Wort „Innovation“. Und zuletzt spielt auch das Netzwerken zwischen Doktoranden, Forschungsinstituten und der Wirtschaft eine Rolle.

Wir konnten hier auf unser schon bestehendes Netzwerk zugehen und wir haben gemeinsam an diesem Antrag geschrieben. Denn über die jeweiligen Teilprojekte hinaus spielen das Zusammenspiel und die geplanten gemeinsamen Forschungsaktivitäten eine große Rolle. Damit war für die EU Kommission klar, dass wir die Rchtigen sind um dieses wichtige Thema voranzutreiben und zudem in der Lage sind, das akademische Wissen in die Wirtschaft zu übertragen und weiterzuverbreiten. Ich denke, gerade beim letzten Punkt spielen wir als SCHUFA eine herausragende Rolle.

An dem Projekt sind sieben Universitäten und Forschungsinstitute beteiligt – die SCHUFA ist das einzige Unternehmen, das durch Sie in das Projekt eingebunden ist. Was macht die Zusammenarbeit aus?

Klaus Broelemann: Richtig ist, dass wir als SCHUFA das einzige Unternehmen sind, das dem Konsortium aus acht forschenden Organisationen angehört. Darüber hinaus gibt es aber noch zehn weitere Unternehmen, sogenannte Praxispartner, die nicht selber forschen, aber an dem Thema interessiert sind und auch ihre Use Cases beisteuern. Die Verflechtung zwischen Wirtschaft und akademischer Welt ist also deutlich enger. Für uns als Unternehmen ist diese Verbindung zur Wissenschaft mit Prof. Kasneci und der Abteilung Data Analytics Research natürlich auch schon vorhanden gewesen.

Allgemein ist, wie schon erwähnt, der Aufbau und die Erweiterung dieses Netzwerks ein integraler Bestandteil des Projekts: Niemand arbeitete isoliert, sondern es kommt zu einer intensiven Zusammenarbeit innerhalb des Projekts. Dies zeigt sich in der Unterstützung bei der Betreuung der Doktoranden, gemeinsamen Events und insbesondere auch bei den sogenannten Secondments. Dabei besuchen die Doktoranden mehrmals jeweils für 2-3 Monate andere Institute oder auch Praxispartner um von der Expertise andere zu lernen, die eigene Forschung anzuwenden oder auch an gemeinsamen Themen zu arbeiten. Darüber hinaus gibt es – insbesondere im letzten Jahr – einige Aktivitäten, die auf Anwendung der Forschungsergebnisse abzielt, sei es in Unternehmen oder auch in eigenen Start-Ups.