Googles Anti-Diskriminierungs-Tool hat eine rassistische Schlagseite

Google hat einen Algorithmus entwickelt, der sogenannten toxische Beiträge in Foren, darunter auch rassistische Äusserungen, entdecken soll. Nun berichtet die 'MIT Technology Review', dass das KI-System seinerseits eine rassistische Tendenz habe. So sollen Äusserungen von afroamerikanischen Personen viel eher als beleidigend klassifiziert worden sein, als jene von weissen Menschen.
 
Eine Studie der Universität von Washington verschiedene KI mit grossen Datensätzen getestet – darunter einer mit 5,4 Millionen Tweets. Die Systeme habe nun Beiträge schwarzer Autoren viel häufiger als beleidigend eingeordnet, als jene von weissen Schreibenden. Das gelte auch für Googles "Perspective". Das KI-Tool wird vom Konzern zur Verfügung gestellt, um Online-Diskussionen zu moderieren und Trolle zu erkennen.
 
Die Studie unterstreicht, wie kompliziert die Aufgabe solcher KI-Lösungen ist. Ob Sprache beleidigend ist, hängt auch davon ab, wer sie sagt, wer sie hört und was der soziale Kontext ist. Zum Beispiel ist es etwas anderes, wenn eine schwarze Person das "N-Wort" benutzt, als wenn es eine weisse Person tut. Googles Perspective erkenne dies nicht, sondern sei rein auf der Textebene trainiert, erklärt der Studienautor Maarten Sap.
 
Da das Wort im afroamerikanischen englischen Sprachgebrauch aber oft auftaucht, wurden die Beiträge als diskriminierend klassifiziert. Der PhD-Student warnte zudem davor, dass Algorithmen oft die in ihren Trainingsdatensätzen vorhandenen Verzerrungen verstärken. Michele Loi, Philosoph und Forscher der Digital Society Initiative der Universität Zürich, analysierte das Problem letztes Jahr für inside-it.ch.
 
Da Informationen zum Hintergrund der Autoren in Twitter-Profilen nicht ohne weiteres verfügbar sind, stützte sich die Studie von Sap auf den afroamerikanischen englischen Sprachgebrauch als Merkmal, um festzustellen, ob ein Tweet-Autor schwarz oder weiss war.
 
Die Studie (PDF) kann man von der Website der Universität Washington beziehen. (ts)