Im neuen Schweizer Datenschutzgesetz (DSG), das im September in Kraft tritt, findet sich eine Passage zu "automatisierten Einzelentscheidungen" in der Verwaltung. Das ist brisant: Es geht um selbständige Beschlüsse einer Künstlichen Intelligenz, um sogenanntes Automated Decision Making (ADM). Künftig sollen Schweizer Behörden solche Systeme in verschiedenen Bereichen einsetzen können. Diskriminierung, die Machine-Learning-Systeme aus Datensätzen übernehmen, dürfte sich durch die Systematik der Entscheide noch verschärfen. So argumentierte zumindest Carsten Orwat, Autor einer Studie im Auftrag der Deutschen Antidiskriminierungsstelle des Bundes.

Bekannt ist das Problem der KI-basierten Diskriminierung aus der Polizeiarbeit, nachgewiesen etwa in der Begleitforschung zur Einführung eines Predicitive-Policing-Systems in Los Angeles. Die Gefahr zeigt sich aber auch an einem Beispiel aus dem Sozialwesen. In den Niederlanden wurde 2014 ein System für die Risk Indication (SyRI) eingeführt, um Sozialbetrug präventiv zu erkennen. Das KI-System erstellte automatisch "Risikoprofile" von möglichen Betrügern, damit Behörden Nachforschungen anstellen konnten. 2020 stoppte ein Gericht das niederländische Projekt per sofort.

Die Privatsphäre werde nicht geachtet, es fehle ein Widerspruchsrecht, die Betroffenen wüssten nichts von den Vorgängen, argumentierten die Richter. Bewohner armer Stadtviertel und Menschen mit Migrantenstatus drohten schneller ins Visier zu geraten – das mag statistisch folgerichtig sein, es stellt aber marginalisierte Gruppen unter Generalverdacht. Hier waren indes noch Menschen in die Entscheidung involviert, in ADM-Systemen soll dies gänzlich von Algorithmen übernommen werden.

Die Schweiz kennt ein System wie jenes in den Niederlanden nicht. Seit 2022 laufen im Bundesamt für Statistik (BFS) aber zwei Projekte: "Machine Learning Soziale Sicherheit" und "Machine Learning Poverty". Darin soll eruiert werden, wie typische Bezugsverläufe von Sozialhilfebeziehenden aussehen und in welchen Regionen Armut besonders verbreitet ist. Die Projekte dienen der besseren statistischen Erhebung und zur politischen Steuerung. Allerdings wird laut Beschrieb des ersten Projekts auch die Frage untersucht: "Wie exakt können mit bestehenden Daten die individuellen Verlaufsmuster vorhergesagt werden?"

Von der Antwort darauf, ist es nur noch ein Schritt zu einem Modell wie in den Niederlanden. Oder zu einem Fall wie in Österreich: Dort war ein KI-System im Einsatz, das Arbeitssuchende nach ihren Integrationschancen beurteilte und entsprechende Ressourcen zuordnete. Das Arbeitsmarktchancen-Assistenzsystem (AMAS) wurde mit historischen Daten des Arbeitsamts trainiert. Die Folge: Da der Arbeitsmarkt für Frauen sowie ältere, migrantische oder behinderte Menschen schwerer zugänglich ist, wurden ihnen automatisch Punkte abgezogen. Ein klassischer Fall von Diskriminierung. Das Projekt wurde auf Begehren der Datenschutzbehörde unterbrochen, das Bundesverwaltungsgericht hob die Sistierung aber auf. Ein endgültiger Entscheid steht noch aus.

Ob und wann ein solches System auch in der Schweiz zur Anwendung kommt, regelt die Politik. Der Bundesrat will auf jeden Fall die systematische Nutzung des Automatisierungspotenzials in Behörden ermöglichen. Auf eine Anfrage von Nationalrätin Min Li Marti (SP/ZH) in der letzten Herbstsession hielt die Regierung zur Perspektive über die nächsten Jahre unmissverständlich fest: "Ein möglichst umfassender Einsatz soll die Effizienz bei den administrativen Abläufen steigern." Der Bundesrat hat dazu KI-Leitlinien publiziert, in denen auch Transparenz festgeschrieben wurde. Die beiden BFS-Projekte zu Machine Learning im Sozialwesen findet man deshalb im Register des Kompetenznetzwerks für künstliche Intelligenz (CNAI) des Bundes, das seit Anfang 2022 operativ tätig ist.

Auch im neuen Datenschutzgesetz gibt es Bestimmungen zum KI-Einsatz und zu automatisierten Entscheidungen in Behörden. Im Artikel 21 heisst es: Personen müssten informiert werden, wenn sie von einer automatisierten Einzelentscheidung betroffen seien, die rechtliche Folgen habe oder sie erheblich beeinträchtige. Dann müsse der Betroffene auch verlangen können, dass die Entscheidung von einem Menschen überprüft werde.

Das ist einigen zu wenig, im Parlament sind mehrere Vorstösse zu Künstlicher Intelligenz hängig, verschiedene zivilgesellschaftliche Organisationen wehren sich. Die NGO Algorithm Watch hat ein Tool zur Risikobeurteilung publiziert und politische Massnahmen vorgeschlagen. Die Digital Society Initiative (DSI) der Universität Zürich hat ebenfalls ein Positionspapier publiziert.

Rechtsprofessorin Nadja Braun Binder von der Universität Basel war am DSI-Papier beteiligt. Zudem hat sie 2021 für den Kanton Zürich eine Forschungsgruppe zum Einsatz von KI geleitet. Sie sagt auf Anfrage, dass das Register des Bundes freiwillig geführt werde. "Wir brauchen hier aber eine rechtliche Grundlage, die für alle Behördenebenen einheitliche und verbindliche Vorgaben macht", erklärt die Spezialistin für Öffentliches Recht. Auch die Bestimmungen im Datenschutzgesetz greifen demnach zu wenig. Sie würden nur ADM-Systeme umfassen und nicht Assistenzsysteme. Aber gerade der Fall in Österreich habe gezeigt, dass eine klare Trennung nicht immer möglich sei. Vielmehr komme es darauf an, wie viel tatsächlicher Entscheidungsspielraum bei der entscheidenden Person verbleibe, so Braun Binder.

Heute hat nun auch der Verein CH++ klare Regeln gefordert: Der Quellcode der angewandten Systeme müsse offengelegt werden, die Systeme für die öffentliche Überprüfbarkeit zugänglich sein. Auf Verlangen müsse man eine menschliche Entscheidung einfordern können. Das setze wiederum voraus, dass deklariert werde, wenn eine Entscheidung automatisiert getroffen wurde. Ein Register über den Einsatz entscheidungsrelevanter algorithmischer Systeme müsse zudem im Gesetz festgeschrieben werden.

Der Ball liegt nun bei der Politik.