Jessica, wie sieht eure Arbeit bei »AlgorithmWatch« aus?
»AlgorithmWatch« ist eine gemeinnützige Forschungs- und Advocacy- Organisation mit dem Ziel automatisierte Entscheidungssysteme (ADM-Systeme) und ihre Auswirkungen auf die Gesellschaft zu untersuchen und zu erklären. Unser Fokus liegt darauf, Grundrechte von Menschen, ihre Autonomie und das Gemeinwohl zu schützen und zu stärken. Dazu forschen wir, entwickeln technische Hilfsmittel und Regulierungsvorschläge.
Was sind momentan Projekte von »AlgorithmWatch«?
Wir arbeiten an ganz unterschiedlichen Projekten. Ein Teil unseres Teams arbeitet an Regulierungsvorschlägen und beschäftigt sich zum Beispiel mit dem Digital Services Act oder dem European »AI Act«. Ein Projekt, an dem wir derzeit arbeiten heißt »Unding.de«. Das ist ein Botendienst, bei dem man melden kann, wenn ADM-Systeme nicht funk- tionieren oder man sich durch deren Einsatz ungerecht behandelt fühlt.
Und wofür bist du gerade zuständig?
Ich bin Projektmanagerin des Projekts »AutoCheck – Handlungsanleitung für den Umgang mit Automatisierten Entscheidungssystemen für Antidiskriminierungsstellen«. Das Projekt wird von der Antidiskriminierungsstelle des Bundes gefördert. Es geht um das Thema ADM-Systeme und Diskriminierung. Zum einen recherchieren wir Fallbeispiele, in denen die Anwendung von ADM-Systemen zu ungerechten bis hin zu diskriminierenden Ergebnissen geführt haben. Darüber hinaus führen wir Interviews mit Antidiskriminierungsberatenden und -expert*innen über ihre Arbeit und mögliche Berührungspunkte mit ADM-Systemen. Basierend auf den Fallbeispielen und den Interviews entwickeln wir Handlungsanleitungen und Workshop-Konzepte zu Diskriminierungsrisiken durch ADM-Systeme. Das Ziel ist es, Beratende zu dem Thema zu informieren und zu sensibilisieren und dadurch Betroffenen von Diskriminierung besser unterstützen zu können.
Warum können Algorithmen nicht neutral sein?
Algorithmen und ADM-Systeme entstehen in einem spezifischen gesellschaftlichen Kontext und sind von den darin herrschenden Vorstellungen und Machtverhältnissen beeinflusst. Unbewusste Vorurteile, strukturelle Ungleichheit und Diskriminierung, die in Gesellschaften verbreitet sind, finden sich auch hier wieder, denn ADM-Systeme spiegeln die Annahmen, Werte, Perspektiven und Voreingenommenheiten der Menschen wider, die sie entwickeln und anwenden. Das liegt daran, dass Menschen an verschiedenen Punkten in der Entwicklung und Anwendung dieser Systeme Entscheidungen treffen – im schlimmsten Fall kommt es so zu unerwünschter Diskriminierung. Beispielsweise entscheiden Menschen welche Daten verwendet werden, welche Ziele mit dem Einsatz von ADM-Systemen erreicht werden sollen und welche Probleme sie lösen sollen.
Gibt es dafür Beispiele?
Ja, es gibt verschiedene Beispiele, in denen der Einsatz von ADM-Systemen zu ungerechten oder diskriminierenden Ergebnissen geführt hat. In der »AutoCheck«-Publikation gehen wir unter anderem auf das Fallbeispiel einer schwarzen Frau ein, die 2020 beim »Landesbetrieb Verkehr« in Hamburg einen internationalen Führerschein beantragen wollte. Sie hat alle erforderlichen Unterlagen für die Beantragung zu ihrem Termin mitgebracht, abgesehen von einem biometrischen Foto, das sie in dem Fotoautomaten im Amt machen möchte. Um ein biometrisches Bild aufzunehmen, muss man sein Gesicht in einen bestimmten Ausschnitt der Kamera halten. Erst wenn das Gesicht im richtigen Ausschnitt erkannt wird, wird ein Foto gemacht. Der Fotoautomat des »Landesbetrieb Verkehr« erkennt das Gesicht der Frau jedoch nicht als Motiv. Die Gesichtserkennungssoftware, die in diesem Fotoautomaten verwendet wird, erkennt offenbar nur Gesichter mit hellen Hauttönen. Das Verhalten der Mitarbeiterin im »Landesbetrieb Verkehr« lässt die Frau darauf schließen, dass das Problem vor ihrem Besuch schon länger bestand und bekannt war. Sie erinnert sich daran, dass die Mitarbeiterin gesagt hat, »es könnte ein Problem mit Ihrer Hautfarbe geben.«
Wie können sich denn Informatikerinnen und Informatiker einsetzen, dass Coding und Algorithmen gerechter werden?
Informatiker*innen und Entwickler*innen spielen zwar eine ganz wichtige Rolle in der Entwicklung von ADM-Systemen, gerechtere ADM-Systeme zu entwickeln und anzuwenden ist aber komplexer und involviert mehr Menschen. Für alle, die in der Entwicklung und Anwendung von ADM-Systemen Entscheidungen treffen, ist Grundwissen über soziale Gerechtigkeit, unbewusste Vorurteile und Antidiskriminierung wichtig. Eine realistische Vorstellung von den Chancen und Risiken von ADM-Systemen ist ebenso wichtig. Darüber hinaus sind diverse und interdisziplinäre Teams wichtig.
Sollte der Fokus auf soziale Gerechtigkeit schon im Studium eine Rolle spielen?
Ich halte es für sinnvoll, auch im Informatikstudium über soziale Gerechtigkeit sowie die eigenen Perspektiven und Position in der Gesellschaft zu reflektieren. Es könnte zum Beispiel darüber gesprochen werden, welchen Einfluss eigene Annahmen über die Welt auf ADM-Systeme haben, die man entwickelt.
Viele Menschen haben Angst vor der Digitalisierung und der Verantwortung, die wir an Maschinen abgeben. Ist diese Angst begründet?
Menschen entwickeln ADM-Systeme und wenden diese Systeme an. Menschen tragen die Verantwortung. Es ist wichtig, dass wir einen rechtlichen Rahmen schaffen, in dem es gewisse Regeln für den Einsatz von ADM-Systemen gibt. Zum Beispiel mehr Transparenz darüber, wo ADM-Systeme eingesetzt werden, auf welchen Daten und Annahmen diese basieren. Darüber hinaus müssen die Verantwortlichkeiten klar sein: wer haftet, wenn ein ADM-System dazu beiträgt, dass Menschen diskriminiert werden? An wen kann ich mich in einem solchen Fall wenden? Insgesamt ist es wichtig, dass wir eine breite gesellschaftliche Diskussion darüber führen, in welchen Bereichen wir ADM-Systeme einsetzen wollen und in welchen nicht.
Also eher ein optimistischer oder pessimistischer Blick in die Zukunft?
Ich würde mir wünschen, dass es mehr Beispiele gibt, wie ADM-Systeme positiv eingesetzt werden und dass nicht nur Einzelne davon profitieren, sondern möglichst alle Menschen. Wenn das Gemeinwohl und der Schutz der Menschenrechte im Fokus stehen, dann blicke ich durchaus positiv in die Zukunft.