Gericht stoppt KI-System für die Erkennung von Sozialbetrug

6. Februar 2020 um 16:54
image

Niederländische Richter sehen im System Risk Indication eine Verletzung der Menschenrechte. Datenschützer erhoffen sich eine Signalwirkung durch das Urteil.

In den Niederlanden wurde 2014 die Software System Risk Indication (SyRI) eingeführt, die möglichen Sozialbetrug präventiv erkennen soll. Das System wird dazu mit Daten von Behörden versorgt und soll auf deren Grundlage automatisch Risikoprofile erstellen. Nun haben Richter das Projekt per sofort gestoppt. Dies berichtet 'Dutch News'.
Es verstosse gegen Menschenrechte, insbesondere gegen den Schutz der Privatsphäre, argumentierte das Gericht. Geklagt hatten mehrere Gruppen, die sich auf den Schutz von Daten und Privatsphäre spezialisiert haben. Sie erklärten zum einen, dass Verdächtige gar kein Widerspruchsrecht hätten, da sie von den konkreten Vorgängen nichts wüssten. Zum anderen erstelle SyRI die Risikoprofile auf einer völlig intransparenten Grundlage.

Gericht: Das System hat einen "ernsthaften Mangel an Transparenz"

Diese kommen auf Basis von bereits verhandelten Fällen zustande, ist dem Bericht der niederländischen Zeitung zu entnehmen. Schliesslich scanne das System nach ähnlichen Risikoprofilen. Werden solche gefunden, könnten die Behörden weitere Untersuchungen einleiten.
Philip Alston, der UN-Sonderberichterstatter für extreme Armut und Menschenrechte, mahnte zudem kürzlich, dass die Zusammenführung von Daten verschiedener Behörden, die sonst in getrennten Silos lagern, weitreichende Folgen hätten.
Das System war in jüngerer Vergangenheit ins Visier von Alston geraten. Er hatte dem niederländischen Gericht gesagt, dass das System Menschen mit wenig Geld diskriminieren würde. Es handle sich schlicht um eine flächendeckende Überwachung armer Viertel, ohne konkreten Verdacht auf Fehlverhalten.
Dem folgte das Gericht im Urteil: Das System könne auf die Diskriminierung von Bewohnern armer Stadtviertel und auf Menschen mit Migrantenstatus hinauslaufen. Zumal es einen "ernsthaften Mangel an Transparenz" aufweise, wie 'The Guardian' das Gericht zitiert.

UN-Mann Alston hofft auf einen "starken Präzedenzfall"

Alston zeigt sich erfreut über das Urteil. Er bezeichnete es als wegweisenden Sieg über digitale Sozialsysteme, die die Menschenrechte bedrohten. Es handle sich um einen "starken Präzendenzfall", erklärte er. Der UN-Sonderberichterstatter hofft nun, dass dies für andere automatisierte Entscheidungssysteme bei Staaten Signalwirkung hat.
In vielen Ländern ist die Risikoeinschätzung auf Grundlage von KI im Aufwind. Oftmals werden mangelnde Transparenz und damit auch die Unmöglichkeit, Verzerrungen zu erkennen, kritisiert. "Solche Werkzeuge sind Teil eines globalen Trends zur Einführung und Erweiterung digitaler Technologien in den Wohlfahrtsstaaten. Allzu oft werden jedoch die potenziell verheerenden Folgen dieser Systeme für die Menschenrechte der Ärmsten und Marginalisierten völlig übersehen", heisst es in einer Mitteilung des UN-Sonderberichterstatters.

Die Schweiz zwischen Zögern und Drängen

In der Schweiz wird ein System wie SyRI nicht eingesetzt. Aber hierzulande haben etwa die Kantonspolizei von Aargau und von Zürich Precobs im Einsatz, eine Software, die aufgrund vergangener Fälle Prognosen von künftigen Kriminalfällen erstellt. Hier wird mit anonymisierten Daten gearbeitet, aber Kritiker fürchten, dass sich dies künftig ändern könnte.
Das Thema KI bei der Prognose und der Risikomodellierung wird derzeit öffentlich diskutiert. In einem im Dezember 2019 an den Bundesrat gerichteten Bericht heisst es nach der Behandlung von systematischen Fehlern und Scheinkausalitäten in Resultaten von KI-Systemen: "In praktischer Nutzung ist der historische Bias meist ausschlaggebend." Wenn also in bestimmten Gruppen Eigenschaften gehäuft auftraten, dann sieht das KI-System keinen Fehler in der Fortführung der Historie.
Und dies könnte sich dann wiederum in der Praxis verstärken: "Hat die Polizei in der Vergangenheit beispielsweise mehr Personen mit Migrationshintergrund festgenommen und ihre Aufmerksamkeit daher auf bestimmte Quartiere konzentriert, in denen viele Menschen mit Migrationshintergrund leben, ist die Wahrscheinlichkeit hoch, dass sich der betreffende Bias durch diese Aufmerksamkeit reproduziert."
Zudem gebe es auch das Problem, dass bei grossen Datenmengen die Einseitigkeit von Trainings-Datensätzen kaum identifiziert werden könnten, was wiederum zur unzulässig systematischen Diskriminierung führen könne. Im Papier werden Vorschläge zur Minderung der Probleme vorgeschlagen, die dann aber auf die Genauigkeit des Algorithmus einen Einfluss haben würden.
Handlungsweisend heisst es zuhanden der Schweizer Regierung: Es sei darauf zu achten, "wo es im Hinblick auf konkrete Anwendungen von künstlicher Intelligenz Lücken oder Risiken für fundamentale Rechte von betroffenen Personen gibt."

Loading

Mehr erfahren

Mehr zum Thema

image

Europas Fesseln der Innovation: der hohe Preis des Digital Services und AI Acts

Eine Lockerung des Digital Services Act und des AI Act könnte dazu beitragen, ein ausgewogenes Verhältnis zwischen Regulierung und Innovationsförderung herzustellen, schreibt KI-Unternehmer Christian Fehrlin in einem Gastbeitrag.

publiziert am 11.6.2024
image

Auch Basel-Stadt führt Agov ein

Der Kanton wird die Loginlösung des Bundes für seine E-Gov-Dienstleistungen verwenden. Agov ist bereits in mehreren Kantonen im Einsatz und wird mit der E-ID kompatibel sein.

publiziert am 11.6.2024
image

Apple will KI auf das iPhone bringen

Der Konzern spricht dabei nicht von Artificial Intelligence, sondern von Apple Intelligence. Verfügbar sind die neuen Funktionen ab Herbst.

publiziert am 11.6.2024
image

Microsoft krebst zurück und macht Recall freiwillig

Die Kritik war offensichtlich zu stark: Microsoft schaltet das Screenshot-Feature Recall standardmässig aus.

publiziert am 10.6.2024