KI und Diskriminierung: Algorithm­watch sieht Regulierungs­lücken

19. September 2023 um 14:20
image
Muss die Arbeit von Robotern besser beaufsichtigt werden? Illustration: erstellt durch inside-it.ch mit BIC

Die Organisation fordert mehr Transparenz, verpflichtende Folgenabschätzungen und Gesetzesanpassungen für Künstliche Intelligenz.

Die gemeinnützige Organisation Algorithmwatch kritisiert in einem neu publizierten Positionspapier fehlende Regulierung, wenn es um potenzielle Diskriminierung durch KI-basierte Tools oder andere algorithmische Systeme geht. Bestehende Gesetze würden nicht ausreichen, es brauche unter anderem eine Ausweitung des Antidiskriminierungsrechts.
Automatisierte und auf Algorithmen basierende Entscheidungssysteme würden in immer mehr Bereichen zum Einsatz kommen, schreibt die Organisation zum Hintergrund. Sei es im HR, der Medizin oder dem Justizbereich. Aber die Systeme seien weder neutral noch objektiv, sagt Angela Müller, Leiterin von Algorithmwatch. Denn sie können gesellschaftliche Machtverhältnisse und Ungerechtigkeiten widerspiegeln.
Die Organisation illustriert dies in ihrem Papier anhand einer Reihe von Beispielen. So würden Recherchen zeigen, dass auf Facebook Stellenausschreibungen nach Gender-Stereotypen angezeigt werden. Ein anderer Fall zeige Bias in einem System, das in den USA verwendet wird, um das Rückfallrisiko von Straftäterinnen und Straftätern vorherzusagen. In der Schweiz komme ein System mit ähnlichem Verwendungszweck zum Einsatz, das gemäss einer Studie wissenschaftlich weniger gut geprüft sei, heisst es im Papier (PDF).

"Algorithmen können ungestraft diskriminieren"

"Der bestehende gesetzliche Rahmen reicht nicht aus, um den besonderen Merkmalen der algorithmischen Diskriminierung zu begegnen. In der Schweiz können Algorithmen ungestraft diskriminieren", sagt Estelle Pannatier, Policy & Advocacy Managerin bei Algorithmwatch Schweiz. Während mehrere europäische Staaten wie etwa Deutschland darüber nachdenken würden, ihren Schutz gegen algorithmische Diskriminierung zu stärken, hinke die Schweiz hinterher.
Gemäss Bundesrat ist keine Gesetzesanpassung vorgesehen. Der bestehende Rechtsrahmen im Bereich der Antidiskriminierung gelte auch im Fall von KI-Systemen. Bundesrätin Elisabeth Baume-Schneider nannte im Parlament stellvertretend das Gleichstellungsgesetz und das Behindertengleichstellungsgesetz. Gehe es um die automatisierte Bearbeitung von Personendaten, sehe das Datenschutzgesetz Vorschriften zur Transparenz vor. Sie räumte aber auch ein, dass KI "uns vor grosse Herausforderungen" stelle. Der Bundesrat werde beobachten, ob Handlungsbedarf besteht.

Folgenabschätzung und Zugang zu Rechtsmitteln

Die Regierung verkenne die besonderen Eigenschaften algorithmischer Diskriminierung, findet Algorithmwatch. Die Organisation fordert deshalb eine Reihe von Massnahmen, darunter mehr Transparenz und einen einfacheren Zugang zu Rechtsmitteln.
Ausserdem sei eine Ausweitung von Diskriminierungsmerkmalen nötig. Konkret nennt Algorithmwatch sogenannte Proxy-Variablen: vermeintlich neutrale Kategorien, wie beispielsweise eine Postleitzahl, die eine Gruppe repräsentieren. Von der Postleitzahl könnten sich Annahmen über den sozioökonomischen Status oder einen Migrationshintergrund ableiten lassen. Damit hätten Proxy-Variablen einen entscheidenden Einfluss auf die Entscheidungen eines algorithmischen Systems, was wiederum zu Diskriminierungen führen könne.
Algorithmische Systeme würden sich in der Gesellschaft immer weiter verbreiten. Die Organisation versucht, diese in einem "Atlas der Automatisierung" zu sammeln. In diesem finden sich beispielsweise Gesichtserkennungssysteme verschiedener Polizeikorps oder Systeme, die Kunden das Verhalten von Kunden in Geschäften analysieren, um entweder Ladendiebstahl zu verhindern oder gezielt Werbung anzuzeigen.
Sie fordert aber, dass Algorithmen, die von privaten Unternehmen eingesetzt werden, verpflichtend erfasst werden. Denn im Gegensatz zu Frankreich und Deutschland kenne die Schweiz keinen spezifischen Schutz vor Diskriminierung durch private Akteure.
Zudem solle eine regelmässige Folgenabschätzung verpflichtend werden, zumindest für Behörden. Sollten die Systeme Auswirkungen auf die Grundrechte haben, wäre eine Verpflichtung auch dort angezeigt, heisst es von der Organisation weiter.

Loading

Mehr erfahren

Mehr zum Thema

image

HPEs Übernahme von Juniper im Visier von Wett­bewerbs­hütern

Die britische Aufsichtsbehörde wird untersuchen, ob die Übernahme von Juniper Networks den Wettbewerb beeinträchtigen könnte.

publiziert am 20.6.2024
image

Noch kein Ja zur Chatkontrolle, aber auch kein Nein

Offenbar waren die Kritiker im Vorfeld laut genug. Derzeit gibt es kein Ja für die Chatkontrolle in der EU. Das Vorhaben ist damit aber noch nicht vom Tisch.

publiziert am 20.6.2024
image

Telcos gründen Joint Venture für eigene KI

Die deutsche Telekom und weitere Konzerne wollen ein Large Language Model spezifisch für die Telekom-Branche entwickeln.

publiziert am 20.6.2024
image

OpenAI-Mitgründer geht neues KI-Vorhaben an

Einer der OpenAI-Mitgründer macht sich mit einem neuen KI-Startup selbstständig: Safe Superintelligence hat sich der Entwicklung eines sicheren und leistungsstarken KI-Systems verschrieben.

publiziert am 20.6.2024