Heutzutage gibt es kaum eine schlimmere Anschuldigung als die, diskriminierende Praktiken anzuwenden. Kein Manager, Wissenschaftler oder Politiker würde öffentlich zugeben wollen, dass er Individuen aufgrund ihres Geschlechts oder ihrer ethnischen Zugehörigkeit willkürlich behandeln würde. Doch unsere Intoleranz gegenüber Diskriminierung wird heute durch die zunehmende Verbreitung von algorithmischen Verfahren für Klassifikation und Entscheidungshilfe auf die Probe gestellt. Denn diese Algorithmen verwenden möglicherweise verzerrte Daten oder bearbeiten diese auf schwer verständliche Weise, was eine allfällige Diskriminierung verbergen kann.

Unsere Aversion gegen Diskriminierung zeigt sich auch in den heftigen Reaktionen – insbesondere in sozialen Netzwerken – welche jüngst veröffentlichte Berichte "diskriminierende Algorithmen" hervorgerufen haben. Die damit verbundene Schwarz-Weiss-Malerei wird uns aber nicht helfen, dieses Problem besser zu verstehen. Es ist auch falsch, "diskriminierende Algorithmen" als rein technisches Problem anzusehen, mit dem sich primär die Informatiker beschäftigen sollten. Diese leisten zwar durchaus beträchtliche Anstrengungen, um das Problem der Verzerrung bei algorithmischen Vorhersagen auf der Grundlage statistischer Modelle anzugehen, aber die Ergebnisse sind nicht wirklich ermutigend. Denn es zeigt sich: Je stärker man sich mit algorithmischer Fairness beschäftigt, desto komplexer wird das Problem. Aktuell investieren einige der brillantesten Köpfe der Computerwissenschaften viel Zeit und Mühe in diese Aufgabe – doch es wird nicht reichen, einfach noch mehr "brain power" in eine rein technische Lösung zu stecken. Der Grund dafür ist die spezielle Natur eines Problems, das trockene statistische Theorie mit emotional aufgeladenen, oft als subjektiv empfundenen Vorstellungen dessen verbindet, was fair sein soll.

So hat sich denn auch ein zentrales Ergebnis in den seit mehr als acht Jahren laufenden Studien über Verzerrungen in statistischen Modellen herausgeschält: einen in jeder Hinsicht "fairen" Algorithmus gibt es nicht. Der Grund für diese Erkenntnis ist nicht, dass technische Einschränkungen bestünden oder die Daten menschliche Vorurteile widerspiegeln würden – auch wenn diese Punkte in manchen Fällen durchaus gewisse diskriminierende Eigenschaften von Algorithmen zu erklären vermögen. Vielmehr liegt das Problem darin, dass es unterschiedliche Vorstellungen von Fairness gibt. Diese widerspiegeln sich in statistischen Anforderungen an die Algorithmen, die sich gegenseitig ausschliessen. Es ist gewissermassen mathematisch unmöglich, alle wünschbaren Fairness-Anforderungen an einen Algorithmus gleichzeitig zu erfüllen.

Dieses Problem lässt sich an einem aktuellen Beispiel illustrieren. ProPublica, eine der bekanntesten Organisationen für investigativen Journalismus in den USA, hat vor zwei Jahren eine Analyse zum so genannten COMPAS-Rückfallprognoseinstrument publiziert. Dieses Instrument liefert Richtern, die über eine frühzeitige Haftentlassung eines Straftäters zu befinden haben, eine Einschätzung über dessen Rückfall-Prognose (Chouldechova 2016). ProPublica hat nun kritisiert, dass COMPAS rassistische Prognosen machen würde, obgleich die Information, welcher "Rasse" der Straftäter angehört, nicht in die Berechnung einfliesst: COMPAS attestiert Afroamerikanern, die tatsächlich keinen Rückfall begehen, eine fast doppelt so hohe Rückfallquote als Weissen. Der Algorithmus verletzt damit die folgende Konkretisierung von Fairness: Alle Menschen, die tatsächlich nicht rückfällig werden, sollten die gleiche Wahrscheinlichkeit haben, dass ihnen die Bewährung (zu Unrecht) verweigert wird.

Diese Analyse machte Schlagzeilen – und die Empörung schien völlig gerechtfertigt. Wie kann es sein, dass Menschen, die bezüglich der für das Problem relevanten Eigenschaft – nämlich tatsächlich nicht rückfällig zu werden – gleich sind, derart unterschiedlich und scheinbar rassistisch beurteilt werden? Also weniger häufig als risikoarm eingestuft werden, wenn sie schwarz sind?

Um dieses Problem genauer zu betrachten gehen wir von der Annahme aus, dass die Verwendung statistischer Prognosen nicht unethisch ist, vorausgesetzt, dass die Prognose unvoreingenommen ist. Aber was genau bedeutet hier "unvoreingenommen"? ProPublica verband mit der Analyse die Vermutung, dass das Resultat eine diskriminierende Praxis nachweisen würde. Beispielsweise im Sinn, dass mehrheitlich weisse Informatiker zu wenig Sorgfalt bei der Programmierung des Algorithmus walten liessen – vielleicht, weil eine solche Analyse zu teuer gewesen wäre oder sogar, weil die Programmierer gar implizit rassistisch gewesen seien. Wäre dies der Grund gewesen, so wäre dies in der Tat ein Fehlverhalten mit gravierenden Konsequenzen für das Leben Einzelner. Man könnte das Problem dann beispielsweise durch bessere Schulung oder mehr Diversität bei den Informatikern angehen.

Die wahre Geschichte ist leider komplizierter. Die Mathematiker, die das Problem nach den ProPublica-Enthüllungen genauer analysiert hatten, konnten zeigen, dass eine Form diskriminierender Verzerrung unvermeidlich ist – selbst wenn man mit bestem Gewissen programmiert und die Daten frei von Verzerrung sind. COMPAS wurde in der Tat auch auf Diskriminierung getestet – doch man erfüllte ein anderes Kriterium für Fairness: Personen, denen die Bewährung verweigert (oder gewährt) wird, sollten die gleiche Wahrscheinlichkeit auf Rückfall haben. Dies erreicht man mittels so genannter Kalibrierung.

Gemeint ist damit Folgendes: Wenn der Algorithmus beispielsweise eine Rückfall-Wahrscheinlichkeit (Score) von 0.3 für einen Straftäter angibt, dann ist damit die Erwartung verbunden, dass im Schnitt 30 Prozent aller Personen, bei denen der Algorithmus diesen Wert ermittelt, tatsächlich erneut eine Straftat begeht. Die Erwartung ist nun, dass dies auch für alle Untergruppen der betroffenen Personen gilt: Wenn also 30 Prozent von allen weissen Straftätern mit einem Score von 0.3 tatsächlich rückfällig werden, bei den schwarzen Straftätern mit demselben Score von 0.3 aber deren 50 Prozent, dann würde dies gemeinhin als diskriminierend empfunden – der gleiche Risiko-Score hätte je nach "Rasse" eine unterschiedliche Bedeutung. Um dem entgegenzuwirken, müsste man je nach "Rasse" unterschiedliche Scores als Schwellenwert für eine Entlassung definieren – was offensichtlich rassistisch wäre. Um das zu vermeiden, führt man eine solche Kalibrierung durch, die sicherstellt, dass die Risiko-Scores für jede sensitive Gruppe (in diesem Fall die "Rasse") die gleiche statistische Bedeutung haben.

Warum all diese komplizierten technischen Details über die Fairness von Vorhersagen? Es stellt sich heraus, dass es mathematisch unmöglich ist (mit Ausnahme einiger Grenzfälle, die nur theoretisch relevant sind), beide Fairness-Bedingungen gleichzeitig zu erfüllen (Kleinberg, Mullainathan und Raghavan 2016). Mit anderen Worten: Sie können entweder sicherstellen, dass die Personen, die Sie auf Bewährung entlassen, gleichermassen wahrscheinlich wieder straffällig werden, unabhängig von ihrer "Rasse" ("COMPAS-Fairness"). Oder Sie können sicherstellen, dass die Personen, die nicht straffällig werden, gleichermassen wahrscheinlich aus der Haft entlassen werden, unabhängig von ihrer "Rasse" ("ProPublica Fairness"). Es scheint verrückt, doch man kann nicht beides haben – unabhängig davon, ob die Daten nun rassistisch verzerrt sind oder nicht.

Eine "Diskriminierungshysterie" wird uns bei der Lösung dieses Problems nicht helfen. Das aktuelle Klima in sozialen Netzwerken – in denen etwa ein Unternehmen einem Shitstorm ausgesetzt wird, wenn es diskriminierender Entscheidungen beschuldigt wird – trägt nicht dazu bei, das öffentliche Verständnis für diese komplexe ethische Reflexion zu fördern. Auch wird das Problem nicht vermieden, wenn wir auf Algorithmen verzichten und solche Entscheidungen den Menschen übertragen. Denn jeder Mensch, der Entscheidungen nach Regeln trifft (also nicht willkürlich), implementiert ein Vorhersagemodell, für welches dasselbe Ergebnis gilt. Es gibt also keinen einfachen Ausweg aus diesem Dilemma. Man wird nicht darum herumkommen, eine ethische Debatte darüber zu führen, welche konkrete Vorstellung von Fairness in einem gewissen Anwendungsbereich die bessere ist.

Cynthia Dwork, Informatikerin bei Microsoft Research und Professorin für Informatik an der Harvard University, antwortete auf die Frage eines New Yorker Journalisten, wie man sicherstellen könne, dass Algorithmen nichtdiskriminierend sind: "Diese Frage soll besser von einem Ethiker beantwortet werden". Doch wer genau sollte im Zeitalter von Big Data und Künstlicher Intelligenz dieser "Ethiker" sein? Welche neuen Fähigkeiten brauchen solche Ethiker? Gute Antworten auf diese Fragen hat derzeit niemand. Doch es scheint klar, dass wir für solche Probleme Wege finden müssen, Kompetenzen aus Ethik, Informatik und Statistik zu verbinden. (Michele Loi)

Veranstaltungshinweis: Am Dienstag 11. Dezember, von 17:00 bis 18:30, findet an der Universität Zürich (Rämistrasse 71, Raum KOL-G-217) die Veranstaltung «Can Alorithms be fair» statt (auf Englisch). Es sprechen Bart Custers (Universität Leiden), Matthias Spielkamp (AlgorithmWatch Berlin), Hoda Heidari (ETH Zürich), Ladina Caduff (Microsoft Schweiz) und Uwe B. Kissmann (Accenture Schweiz). Die Veranstaltung wird vom DSI Digital Forum und der Swiss Alliance for Data-Intensive Services organisiert.

Zu dieser Kolumne: Unter "DSI Insights" äussern sich regelmässig Forscherinnen und Forscher der "Digital Society Initiative" (DSI) der Universität Zürich. Die DSI fördert die kritische, interdisziplinäre Reflexion und Innovation bezüglich aller Aspekte der Digitalisierung von Wissenschaft und Gesellschaft.

Literaturhinweise: