Künstliche Intelligenz in der Verwaltung: Droht der Wildwuchs?

24. Januar 2023, 14:55
image
Foto: Dan Asaki / Unsplash

Der Bund führt Projekte zu KI-Systemen in Behörden durch, wie sie auch im neuen Datenschutzgesetz erwähnt sind. Zivilgesellschaftliche Organisationen warnen.

Im neuen Schweizer Datenschutzgesetz (DSG), das im September in Kraft tritt, findet sich eine Passage zu "automatisierten Einzelentscheidungen" in der Verwaltung. Das ist brisant: Es geht um selbständige Beschlüsse einer Künstlichen Intelligenz, um sogenanntes Automated Decision Making (ADM). Künftig sollen Schweizer Behörden solche Systeme in verschiedenen Bereichen einsetzen können. Diskriminierung, die Machine-Learning-Systeme aus Datensätzen übernehmen, dürfte sich durch die Systematik der Entscheide noch verschärfen. So argumentierte zumindest Carsten Orwat, Autor einer Studie im Auftrag der Deutschen Antidiskriminierungsstelle des Bundes.
Bekannt ist das Problem der KI-basierten Diskriminierung aus der Polizeiarbeit, nachgewiesen etwa in der Begleitforschung zur Einführung eines Predicitive-Policing-Systems in Los Angeles. Die Gefahr zeigt sich aber auch an einem Beispiel aus dem Sozialwesen. In den Niederlanden wurde 2014 ein System für die Risk Indication (SyRI) eingeführt, um Sozialbetrug präventiv zu erkennen. Das KI-System erstellte automatisch "Risikoprofile" von möglichen Betrügern, damit Behörden Nachforschungen anstellen konnten. 2020 stoppte ein Gericht das niederländische Projekt per sofort.
Die Privatsphäre werde nicht geachtet, es fehle ein Widerspruchsrecht, die Betroffenen wüssten nichts von den Vorgängen, argumentierten die Richter. Bewohner armer Stadtviertel und Menschen mit Migrantenstatus drohten schneller ins Visier zu geraten – das mag statistisch folgerichtig sein, es stellt aber marginalisierte Gruppen unter Generalverdacht. Hier waren indes noch Menschen in die Entscheidung involviert, in ADM-Systemen soll dies gänzlich von Algorithmen übernommen werden.

Projekte im Bundesamt für Statistik

Die Schweiz kennt ein System wie jenes in den Niederlanden nicht. Seit 2022 laufen im Bundesamt für Statistik (BFS) aber zwei Projekte: "Machine Learning Soziale Sicherheit" und "Machine Learning Poverty". Darin soll eruiert werden, wie typische Bezugsverläufe von Sozialhilfebeziehenden aussehen und in welchen Regionen Armut besonders verbreitet ist. Die Projekte dienen der besseren statistischen Erhebung und zur politischen Steuerung. Allerdings wird laut Beschrieb des ersten Projekts auch die Frage untersucht: "Wie exakt können mit bestehenden Daten die individuellen Verlaufsmuster vorhergesagt werden?"
Von der Antwort darauf, ist es nur noch ein Schritt zu einem Modell wie in den Niederlanden. Oder zu einem Fall wie in Österreich: Dort war ein KI-System im Einsatz, das Arbeitssuchende nach ihren Integrationschancen beurteilte und entsprechende Ressourcen zuordnete. Das Arbeitsmarktchancen-Assistenzsystem (AMAS) wurde mit historischen Daten des Arbeitsamts trainiert. Die Folge: Da der Arbeitsmarkt für Frauen sowie ältere, migrantische oder behinderte Menschen schwerer zugänglich ist, wurden ihnen automatisch Punkte abgezogen. Ein klassischer Fall von Diskriminierung. Das Projekt wurde auf Begehren der Datenschutzbehörde unterbrochen, das Bundesverwaltungsgericht hob die Sistierung aber auf. Ein endgültiger Entscheid steht noch aus.

Das neue Datenschutzgesetz

Ob und wann ein solches System auch in der Schweiz zur Anwendung kommt, regelt die Politik. Der Bundesrat will auf jeden Fall die systematische Nutzung des Automatisierungspotenzials in Behörden ermöglichen. Auf eine Anfrage von Nationalrätin Min Li Marti (SP/ZH) in der letzten Herbstsession hielt die Regierung zur Perspektive über die nächsten Jahre unmissverständlich fest: "Ein möglichst umfassender Einsatz soll die Effizienz bei den administrativen Abläufen steigern." Der Bundesrat hat dazu KI-Leitlinien publiziert, in denen auch Transparenz festgeschrieben wurde. Die beiden BFS-Projekte zu Machine Learning im Sozialwesen findet man deshalb im Register des Kompetenznetzwerks für künstliche Intelligenz (CNAI) des Bundes, das seit Anfang 2022 operativ tätig ist.
Auch im neuen Datenschutzgesetz gibt es Bestimmungen zum KI-Einsatz und zu automatisierten Entscheidungen in Behörden. Im Artikel 21 heisst es: Personen müssten informiert werden, wenn sie von einer automatisierten Einzelentscheidung betroffen seien, die rechtliche Folgen habe oder sie erheblich beeinträchtige. Dann müsse der Betroffene auch verlangen können, dass die Entscheidung von einem Menschen überprüft werde.

Zivilgesellschaftliche Kritik

Das ist einigen zu wenig, im Parlament sind mehrere Vorstösse zu Künstlicher Intelligenz hängig, verschiedene zivilgesellschaftliche Organisationen wehren sich. Die NGO Algorithm Watch hat ein Tool zur Risikobeurteilung publiziert und politische Massnahmen vorgeschlagen. Die Digital Society Initiative (DSI) der Universität Zürich hat ebenfalls ein Positionspapier publiziert.
Rechtsprofessorin Nadja Braun Binder von der Universität Basel war am DSI-Papier beteiligt. Zudem hat sie 2021 für den Kanton Zürich eine Forschungsgruppe zum Einsatz von KI geleitet. Sie sagt auf Anfrage, dass das Register des Bundes freiwillig geführt werde. "Wir brauchen hier aber eine rechtliche Grundlage, die für alle Behördenebenen einheitliche und verbindliche Vorgaben macht", erklärt die Spezialistin für Öffentliches Recht. Auch die Bestimmungen im Datenschutzgesetz greifen demnach zu wenig. Sie würden nur ADM-Systeme umfassen und nicht Assistenzsysteme. Aber gerade der Fall in Österreich habe gezeigt, dass eine klare Trennung nicht immer möglich sei. Vielmehr komme es darauf an, wie viel tatsächlicher Entscheidungsspielraum bei der entscheidenden Person verbleibe, so Braun Binder.
Heute hat nun auch der Verein CH++ klare Regeln gefordert: Der Quellcode der angewandten Systeme müsse offengelegt werden, die Systeme für die öffentliche Überprüfbarkeit zugänglich sein. Auf Verlangen müsse man eine menschliche Entscheidung einfordern können. Das setze wiederum voraus, dass deklariert werde, wenn eine Entscheidung automatisiert getroffen wurde. Ein Register über den Einsatz entscheidungsrelevanter algorithmischer Systeme müsse zudem im Gesetz festgeschrieben werden.
Der Ball liegt nun bei der Politik.
Studien, Papers und Quellen, die im Artikel erwähnt werden

Loading

Mehr zum Thema

image

Wegen Whatsapp: Bank wälzt Millionen-Busse auf Angestellte ab

Finanzregulatoren hatten mehreren Banken wegen der Nutzung von Whatsapp hohe Bussen auferlegt. Morgan Stanley reicht diese nun an Mitarbeitende weiter.

publiziert am 27.1.2023
image

Schwyz erhält einen neuen CIO

Im Sommer wird Marcel Schönbächler die Leitung des Amts für Informatik im Kanton übernehmen.

publiziert am 27.1.2023
image

Crypto Valley: Sehr gute Miene zum sehr bösen Spiel

Die Investoren-Vereinigung CV VC befindet im neusten "Top 50"-Report: Der Laden brummt, die Zukunft strahlt. Sie hat dafür einige Fantasie walten lassen.

publiziert am 27.1.2023
image

Podcast: Wie fair und objektiv ist künstliche Intelligenz?

Der Bundesrat will, dass KI Behörden effizienter macht. Warum das zu einem Problem werden kann, diskutieren wir in dieser Podcast-Folge.

publiziert am 27.1.2023