Die gemeinnützige Organisation Algorithmwatch kritisiert in einem neu publizierten Positionspapier fehlende Regulierung, wenn es um potenzielle Diskriminierung durch KI-basierte Tools oder andere algorithmische Systeme geht. Bestehende Gesetze würden nicht ausreichen, es brauche unter anderem eine Ausweitung des Antidiskriminierungsrechts.

Automatisierte und auf Algorithmen basierende Entscheidungssysteme würden in immer mehr Bereichen zum Einsatz kommen, schreibt die Organisation zum Hintergrund. Sei es im HR, der Medizin oder dem Justizbereich. Aber die Systeme seien weder neutral noch objektiv, sagt Angela Müller, Leiterin von Algorithmwatch. Denn sie können gesellschaftliche Machtverhältnisse und Ungerechtigkeiten widerspiegeln.

Die Organisation illustriert dies in ihrem Papier anhand einer Reihe von Beispielen. So würden Recherchen zeigen, dass auf Facebook Stellenausschreibungen nach Gender-Stereotypen angezeigt werden. Ein anderer Fall zeige Bias in einem System, das in den USA verwendet wird, um das Rückfallrisiko von Straftäterinnen und Straftätern vorherzusagen. In der Schweiz komme ein System mit ähnlichem Verwendungszweck zum Einsatz, das gemäss einer Studie wissenschaftlich weniger gut geprüft sei, heisst es im Papier (PDF).

"Der bestehende gesetzliche Rahmen reicht nicht aus, um den besonderen Merkmalen der algorithmischen Diskriminierung zu begegnen. In der Schweiz können Algorithmen ungestraft diskriminieren", sagt Estelle Pannatier, Policy & Advocacy Managerin bei Algorithmwatch Schweiz. Während mehrere europäische Staaten wie etwa Deutschland darüber nachdenken würden, ihren Schutz gegen algorithmische Diskriminierung zu stärken, hinke die Schweiz hinterher.

Gemäss Bundesrat ist keine Gesetzesanpassung vorgesehen. Der bestehende Rechtsrahmen im Bereich der Antidiskriminierung gelte auch im Fall von KI-Systemen. Bundesrätin Elisabeth Baume-Schneider nannte im Parlament stellvertretend das Gleichstellungsgesetz und das Behindertengleichstellungsgesetz. Gehe es um die automatisierte Bearbeitung von Personendaten, sehe das Datenschutzgesetz Vorschriften zur Transparenz vor. Sie räumte aber auch ein, dass KI "uns vor grosse Herausforderungen" stelle. Der Bundesrat werde beobachten, ob Handlungsbedarf besteht.

Die Regierung verkenne die besonderen Eigenschaften algorithmischer Diskriminierung, findet Algorithmwatch. Die Organisation fordert deshalb eine Reihe von Massnahmen, darunter mehr Transparenz und einen einfacheren Zugang zu Rechtsmitteln.

Ausserdem sei eine Ausweitung von Diskriminierungsmerkmalen nötig. Konkret nennt Algorithmwatch sogenannte Proxy-Variablen: vermeintlich neutrale Kategorien, wie beispielsweise eine Postleitzahl, die eine Gruppe repräsentieren. Von der Postleitzahl könnten sich Annahmen über den sozioökonomischen Status oder einen Migrationshintergrund ableiten lassen. Damit hätten Proxy-Variablen einen entscheidenden Einfluss auf die Entscheidungen eines algorithmischen Systems, was wiederum zu Diskriminierungen führen könne.

Algorithmische Systeme würden sich in der Gesellschaft immer weiter verbreiten. Die Organisation versucht, diese in einem "Atlas der Automatisierung" zu sammeln. In diesem finden sich beispielsweise Gesichtserkennungssysteme verschiedener Polizeikorps oder Systeme, die Kunden das Verhalten von Kunden in Geschäften analysieren, um entweder Ladendiebstahl zu verhindern oder gezielt Werbung anzuzeigen.

Sie fordert aber, dass Algorithmen, die von privaten Unternehmen eingesetzt werden, verpflichtend erfasst werden. Denn im Gegensatz zu Frankreich und Deutschland kenne die Schweiz keinen spezifischen Schutz vor Diskriminierung durch private Akteure.

Zudem solle eine regelmässige Folgenabschätzung verpflichtend werden, zumindest für Behörden. Sollten die Systeme Auswirkungen auf die Grundrechte haben, wäre eine Verpflichtung auch dort angezeigt, heisst es von der Organisation weiter.