In den Niederlanden wurde 2014 die Software System Risk Indication (SyRI) eingeführt, die möglichen Sozialbetrug präventiv erkennen soll. Das System wird dazu mit Daten von Behörden versorgt und soll auf deren Grundlage automatisch Risikoprofile erstellen. Nun haben Richter das Projekt per sofort gestoppt. Dies berichtet 'Dutch News'.

Es verstosse gegen Menschenrechte, insbesondere gegen den Schutz der Privatsphäre, argumentierte das Gericht. Geklagt hatten mehrere Gruppen, die sich auf den Schutz von Daten und Privatsphäre spezialisiert haben. Sie erklärten zum einen, dass Verdächtige gar kein Widerspruchsrecht hätten, da sie von den konkreten Vorgängen nichts wüssten. Zum anderen erstelle SyRI die Risikoprofile auf einer völlig intransparenten Grundlage.

Diese kommen auf Basis von bereits verhandelten Fällen zustande, ist dem Bericht der niederländischen Zeitung zu entnehmen. Schliesslich scanne das System nach ähnlichen Risikoprofilen. Werden solche gefunden, könnten die Behörden weitere Untersuchungen einleiten.

Philip Alston, der UN-Sonderberichterstatter für extreme Armut und Menschenrechte, mahnte zudem kürzlich, dass die Zusammenführung von Daten verschiedener Behörden, die sonst in getrennten Silos lagern, weitreichende Folgen hätten.

Das System war in jüngerer Vergangenheit ins Visier von Alston geraten. Er hatte dem niederländischen Gericht gesagt, dass das System Menschen mit wenig Geld diskriminieren würde. Es handle sich schlicht um eine flächendeckende Überwachung armer Viertel, ohne konkreten Verdacht auf Fehlverhalten.

Dem folgte das Gericht im Urteil: Das System könne auf die Diskriminierung von Bewohnern armer Stadtviertel und auf Menschen mit Migrantenstatus hinauslaufen. Zumal es einen "ernsthaften Mangel an Transparenz" aufweise, wie 'The Guardian' das Gericht zitiert.

Alston zeigt sich erfreut über das Urteil. Er bezeichnete es als wegweisenden Sieg über digitale Sozialsysteme, die die Menschenrechte bedrohten. Es handle sich um einen "starken Präzendenzfall", erklärte er. Der UN-Sonderberichterstatter hofft nun, dass dies für andere automatisierte Entscheidungssysteme bei Staaten Signalwirkung hat.

In vielen Ländern ist die Risikoeinschätzung auf Grundlage von KI im Aufwind. Oftmals werden mangelnde Transparenz und damit auch die Unmöglichkeit, Verzerrungen zu erkennen, kritisiert. "Solche Werkzeuge sind Teil eines globalen Trends zur Einführung und Erweiterung digitaler Technologien in den Wohlfahrtsstaaten. Allzu oft werden jedoch die potenziell verheerenden Folgen dieser Systeme für die Menschenrechte der Ärmsten und Marginalisierten völlig übersehen", heisst es in einer Mitteilung des UN-Sonderberichterstatters.

In der Schweiz wird ein System wie SyRI nicht eingesetzt. Aber hierzulande haben etwa die Kantonspolizei von Aargau und von Zürich Precobs im Einsatz, eine Software, die aufgrund vergangener Fälle Prognosen von künftigen Kriminalfällen erstellt. Hier wird mit anonymisierten Daten gearbeitet, aber Kritiker fürchten, dass sich dies künftig ändern könnte.

Das Thema KI bei der Prognose und der Risikomodellierung wird derzeit öffentlich diskutiert. In einem im Dezember 2019 an den Bundesrat gerichteten Bericht heisst es nach der Behandlung von systematischen Fehlern und Scheinkausalitäten in Resultaten von KI-Systemen: "In praktischer Nutzung ist der historische Bias meist ausschlaggebend." Wenn also in bestimmten Gruppen Eigenschaften gehäuft auftraten, dann sieht das KI-System keinen Fehler in der Fortführung der Historie.

Und dies könnte sich dann wiederum in der Praxis verstärken: "Hat die Polizei in der Vergangenheit beispielsweise mehr Personen mit Migrationshintergrund festgenommen und ihre Aufmerksamkeit daher auf bestimmte Quartiere konzentriert, in denen viele Menschen mit Migrationshintergrund leben, ist die Wahrscheinlichkeit hoch, dass sich der betreffende Bias durch diese Aufmerksamkeit reproduziert."

Zudem gebe es auch das Problem, dass bei grossen Datenmengen die Einseitigkeit von Trainings-Datensätzen kaum identifiziert werden könnten, was wiederum zur unzulässig systematischen Diskriminierung führen könne. Im Papier werden Vorschläge zur Minderung der Probleme vorgeschlagen, die dann aber auf die Genauigkeit des Algorithmus einen Einfluss haben würden.

Handlungsweisend heisst es zuhanden der Schweizer Regierung: Es sei darauf zu achten, "wo es im Hinblick auf konkrete Anwendungen von künstlicher Intelligenz Lücken oder Risiken für fundamentale Rechte von betroffenen Personen gibt."