Kann ein Strafgefangener frühzeitig entlassen werden, oder gegen eine Kaution auf freien Fuss gesetzt werden? Ein Richter, der dies entscheidet, sollte dabei auch das Rückfallrisiko der zu entlassenden Person berücksichtigen. Wäre es nicht ein Vorteil, dieses Risiko objektiv und zuverlässig bestimmen zu können? Dies war die Idee, die hinter der Entwicklung des COMPAS-Systems durch die US-amerikanische Firma Northpoint stand.

Das System macht eine individuelle Prognose der Strafrückfälligkeit inhaftierter Straftäter, basierend auf vielfältigen persönlichen Daten. Resultat ist ein Risikoscore zwischen 1 und 10, wobei die Zahl 10 für ein sehr hohes Rückfallrisiko steht. Dieses System wird seit vielen Jahren in verschiedenen US-Bundesstaaten eingesetzt, um die Entscheidung von Richtern zu unterstützen – mehr als eine Million Strafgefangene wurden damit bereits bewertet. Die Vorteile liegen auf der Hand: das System erstellt eine objektive Risikoprognose, die auf der Grundlage von Tausenden von Fällen entwickelt und validiert worden ist.

Im Mai 2016 veröffentlichte aber der Journalistenverbund ProPublica die Ergebnisse einer Recherche, die nachwies, dass diese Software Schwarze systematisch benachteiligt und deren Risiko überbewertet (Angwin u. a. 2016): Schwarze Straftäter, die nach ihrer Freilassung nicht wieder straffällig wurden, waren zu 45 Prozent mit einem hohen Risiko gekennzeichnet worden. Bei der entsprechenden Gruppe von Weissen waren es jedoch nur 23 Prozent, denen der Algorithmus ein hohes Risiko zuschrieb. Das bedeutet: Die Wahrscheinlichkeit, als Schwarzer fälschlicherweise ein hohes Rückfallrisiko zugewiesen zu erhalten, ist doppelt so hoch wie für einen Weissen.

Algorithmenbasierte Softwaresysteme wie Compas greifen in immer mehr unserer Lebensbereiche ein – oft im Hintergrund, ohne dass dies den Betroffenen klar ist. Sie fällen selbständig Entscheidungen, oder sie unterstützen, wie im Fall Compas, menschliche Entscheider. Algorithmen beeinflussen, wessen Bewerbung vom Personalchef gelesen wird, wer einen Kredit für seinen Hauskauf erhält, in welchen Stadtgebieten die Polizeiüberwachung verstärkt wird, welche Arbeitslosen Unterstützung erhalten und welche nicht, wer welche Information sieht oder auch nicht sieht. Grundlage sind immer Daten – in den meisten Fällen persönliche Daten.

Der immer stärkere Einsatz von Algorithmen hat gute Gründe: In vielen Fällen treffen Algorithmen konsistent bessere Entscheidungen als Menschen. Als Computerprogramme sind sie objektiv, unbestechlich, können an Millionen von Datensätzen trainiert werden, haben keine Vorurteile, und ihre Entscheidungen sind reproduzierbar.

Dennoch zeigt das Beispiel Compas, dass wichtige gesellschaftliche Werte wie Gerechtigkeit, Chancengleichheit, und Diskriminierungsfreiheit bedroht sein können. Algorithmen können gesellschaftliche Ungerechtigkeit erzeugen. Compas ist eines der meist-zitierten Beispiele, aber es gibt viele andere. Eine Studie der Antidiskriminierungsstelle des deutschen Bundes vom September 2019 beschreibt nicht weniger als 47 dokumentierte Fälle von Diskriminierung aufgrund von Algorithmen (Orwat 2019).

Besonders kritisch ist diese Art der Diskriminierung, weil sie in der Regel nicht absichtlich in die Algorithmen eingebaut wird, und oft sehr spät oder aber gar nicht erkannt wird. So ist das Thema "Algorithmic Fairness" erst seit wenigen Jahren auf dem Radar von Wissenschaft und Gesellschaft.

Die Diskussion um Big Data war viele Jahre lang fokussiert auf das Thema Datenschutz – wer darf was tun mit persönlichen Daten, und wie können sie vor unbefugter Verwendung geschützt werden? Die europäische Datenschutzgrundverordnung aus dem Jahr 2018 etwa wurde in diesem Geist entwickelt.

In der Zwischenzeit haben sich aber datengestützte Entscheidungssysteme massiv ausgebreitet und dringen schnell in immer mehr Lebensbereiche vor, wo sie ganz konkret das Leben von unzähligen Menschen beeinflussen. In den letzten Jahren wurde deshalb die Frage immer stärker diskutiert: Was machen wir mit unserer Gesellschaft und den Menschen, wenn solche Algorithmen unser Leben zunehmend steuern? Wie stellen wir sicher, dass sozialen Errungenschaften und Werte nicht unversehens und vielleicht sogar unbemerkt über Bord gespült werden?

Ein Algorithmus ist eine Rechenvorschrift, die aus Inputdaten einen Output errechnet, zum Beispiel die Wahrscheinlichkeit, straffällig zu werden. Die Ableitung einer solchen Rechenvorschrift kann mit unterschiedlichen Verfahren bewerkstelligt werden, etwa mittels statistischer Modellierung oder Verfahren des maschinellen Lernens. Die Rechenvorschrift wird üblicherweise anhand von Trainingsdaten optimiert, so dass am Ende eine "optimale" Rechenvorschrift herauskommt, also zum Beispiel eine, die aus den Daten eine möglichst gute Vorhersage für eine erneute Straftat macht. In dieser Form wird der Algorithmus dann als Grundlage für eine Entscheidung eingesetzt.

Ein Algorithmus ist objektiv, unbestechlich, nicht emotional, und funktioniert immer gleich. Ist er damit aber auch fair oder gerecht? Die ernüchternde Antwort ist: Nein, in der Regel sind datenbasierte Algorithmen nicht fair! Der Grund ist einfach: Ziel der Entwickler ist es nicht, Fairness zu produzieren, sondern gute Vorhersagen. Und der Algorithmus, der die beste Vorhersage macht, ist höchstens zufällig fair, normalerweise aber unfair – dies zeigen unzählige konkrete Beispiele. Wir haben also Recht, wenn wir uns ernsthaft Sorgen machen.

Das führt zu einer zweiten Frage. Wenn Fairness nicht automatisch entsteht: Kann man Algorithmen Fairness beibringen? Dies ist in der Tat möglich. In den letzten Jahren hat sich um dieses Thema eine intensive weltweite Forschungstätigkeit entwickelt, und es ist heute viel Wissen vorhanden, wie man faire Entscheidungsalgorithmen entwickelt.

Man kann Fairness von Algorithmen nämlich messen. Das ist genau das, was die Reporter von ProPublica mit dem Compas-System gemacht haben: Welcher Anteil von nicht straffällig gewordenen Schwarzen wurde vom Algorithmus als "hoch riskant" eingestuft, und wie verhielt sich das bei den Weissen? Im Unterschied zu menschlichen Entscheidern kann man Algorithmen auf den Prüfstand stellen und mit einer hohen Anzahl von Fällen testen, um ihre Eigenschaften, auch ihre Fairness-Eigenschaften, zu bestimmen.

Genau an dieser Stelle wird es aber auch mehrdeutig, denn es ist nicht klar, wie genau man Fairness eigentlich messen sollte. Arvind Narayanan von der Princeton University hat nicht weniger als 21 verschiedene Fairnesskriterien benannt, die in der technischen Literatur verwendet werden (Narayanan 2018). Pikant ist: man kann mathematisch beweisen, dass sich viele dieser Kriterien gegenseitig ausschliessen: Es ist nicht möglich, alle gleichzeitig zu erfüllen (Chouldechova 2017).

Eine genauere Analyse zeigt, dass dies kein technisches Problem ist, sondern ein ethisches. Die verschiedenen statistisch definierten und messbaren Fairness-Kriterien entsprechen nämlich unterschiedlichen Vorstellungen von sozialer Gerechtigkeit. Zum Beispiel: Fairness kann bedeuten, dass für alle die gleichen Regeln gelten müssen. Fairness kann aber auch bedeuten, dass alle die gleichen Chancen haben sollten. Das ist nicht das gleiche.

Am Beispiel der Schulnoten im Fach Sport etwa kann man sehen, dass sich diese beiden Fairness-Vorstellungen gegenseitig ausschliessen: Wenn Mädchen und Jungen im Weitwurf für die gleiche Entfernung eine 6 erhalten (gleiche Regeln), haben Mädchen offensichtlich schlechtere Chancen auf eine gute Note. Wir können in diesem Fall nicht gleiche Regeln für alle und zugleich gleiche Chancen für alle fordern. Dies gilt für alle Entscheidungsmechanismen, auch für Algorithmen.

Jemand muss also entscheiden, welche Art von Fairness oder sozialer Gerechtigkeit von einem Algorithmus sichergestellt werden soll. Dies erfordert einen ethischen Diskurs, in dem in der Regel gegenläufige Werte gegeneinander abgewogen werden müssen. In der politischen Arena sind wir solche Diskussionen gewohnt. Anders ist das jedoch im Feld der algorithmischen Fairness. Hier steckt die Verbindung einer konkreten Wertediskussionen einerseits mit der technischen Umsetzung in Form von Entscheidungsalgorithmen andererseits noch in den Kinderschuhen. Wie verheiratet man den ethischen Diskurs mit dem Engineering? Wo finden Ethiker und Ingenieure den gemeinsamen Grund, auf dem sozial verträgliche Algorithmen entstehen können?

Erste Ansätze werden gegenwärtig in einer interdisziplinären Forschungszusammenarbeit der ZHAW (Engineering) und der Universität Zürich (Ethik) entwickelt. Damit soll ein Beitrag dazu geleistet werden, dass die unbestreitbaren Vorteile von modernen datenbasierten Entscheidungsalgorithmen in der Praxis Nutzen schaffen, ohne dass unsere sozialen Werte Schaden nehmen. (Christoph Heitz)

Prof. Dr. Christoph Heitz ist Professor an der School of Engineering der Zürcher Hochschule für Angewandte Wissenschaften ZHAW. In seiner Forschung beschäftigt er sich seit vielen Jahren mit datenbasierten Entscheidungsmodellen in verschiedenen Anwendungsgebieten.

Zusammen mit Dr. Michele Loi (UZH) und PD Dr. Markus Christen leitet er die Expert Group Data Ethics der Swiss Alliance for Data-Intensive Services (www.data-service-alliance.ch), in der sich Experten aus Schweizer Hochschulen und Firmen mit ethischen Fragestellungen im Umfeld der kommerziellen Nutzung von Daten beschäftigen.

Unter "DSI Insights" äussern sich regelmässig Forscherinnen und Forscher der "Digital Society Initiative" (DSI) der Universität Zürich. Die DSI fördert die kritische, interdisziplinäre Reflexion und Innovation bezüglich aller Aspekte der Digitalisierung von Wissenschaft und Gesellschaft.