Googles Anti-Diskriminierungs-Tool hat eine rassistische Schlagseite

13. August 2019, 14:56
image

Google hat einen Algorithmus entwickelt, der sogenannten toxische Beiträge in Foren, darunter auch rassistische Äusserungen, entdecken soll.

Google hat einen Algorithmus entwickelt, der sogenannten toxische Beiträge in Foren, darunter auch rassistische Äusserungen, entdecken soll. Nun berichtet die 'MIT Technology Review', dass das KI-System seinerseits eine rassistische Tendenz habe. So sollen Äusserungen von afroamerikanischen Personen viel eher als beleidigend klassifiziert worden sein, als jene von weissen Menschen.
Eine Studie der Universität von Washington verschiedene KI mit grossen Datensätzen getestet – darunter einer mit 5,4 Millionen Tweets. Die Systeme habe nun Beiträge schwarzer Autoren viel häufiger als beleidigend eingeordnet, als jene von weissen Schreibenden. Das gelte auch für Googles "Perspective". Das KI-Tool wird vom Konzern zur Verfügung gestellt, um Online-Diskussionen zu moderieren und Trolle zu erkennen.
Die Studie unterstreicht, wie kompliziert die Aufgabe solcher KI-Lösungen ist. Ob Sprache beleidigend ist, hängt auch davon ab, wer sie sagt, wer sie hört und was der soziale Kontext ist. Zum Beispiel ist es etwas anderes, wenn eine schwarze Person das "N-Wort" benutzt, als wenn es eine weisse Person tut. Googles Perspective erkenne dies nicht, sondern sei rein auf der Textebene trainiert, erklärt der Studienautor Maarten Sap.
Da das Wort im afroamerikanischen englischen Sprachgebrauch aber oft auftaucht, wurden die Beiträge als diskriminierend klassifiziert. Der PhD-Student warnte zudem davor, dass Algorithmen oft die in ihren Trainingsdatensätzen vorhandenen Verzerrungen verstärken. Michele Loi, Philosoph und Forscher der Digital Society Initiative der Universität Zürich, analysierte das Problem letztes Jahr für inside-it.ch.
Da Informationen zum Hintergrund der Autoren in Twitter-Profilen nicht ohne weiteres verfügbar sind, stützte sich die Studie von Sap auf den afroamerikanischen englischen Sprachgebrauch als Merkmal, um festzustellen, ob ein Tweet-Autor schwarz oder weiss war.
Die Studie (PDF) kann man von der Website der Universität Washington beziehen. (ts)

Loading

Mehr zum Thema

image

Überwachung: Bundesrat lehnt Motion gegen Chat­kontrolle ab

Eine Motion verlangt, Bewohnerinnen und Bewohner der Schweiz vor Massenüberwachung zu schützen. Die Sorge findet beim Bundesrat aber wenig Gehör.

publiziert am 24.11.2022 1
image

Nächste Untersuchung zum Microsoft-Activision-Deal

Nach der EU und Grossbritannien schaut sich wohl auch die ameri­ka­nische Federal Trade Commission die Milliardenübernahme des Spielestudios genauer an.

publiziert am 24.11.2022
image

Bund veröffentlicht App für Ausland­schweizer-Gemein­schaft

Die neue App Swissintouch des EDA soll Ausland­schweizerinnen und -schweizern als Informations- und Kommunikations­plattform dienen.

publiziert am 24.11.2022
image

Bundesrat sieht keinen extra Handlungsbedarf wegen IT-Fachkräftemangel

Die Schweizer Regierung beantwortet mehrere Vorstösse zum Thema abschlägig. Anlass zur Debatte gab die Begründung der Post für IT-Nearshoring.

publiziert am 24.11.2022