Angela Müller ist Head of Policy & Advocacy bei Algorithmwatch Schweiz. Die Nichtregierungsorganisation (NGO) befasst sich mit den Auswirkungen von Algorithmen auf Mensch und Gesellschaft. Müller verfügt über einen Doktortitel in Rechtswissenschaft von der Universität Zürich sowie einen Master in Political and Economic Philosophy. Vor ihrer Tätigkeit bei Algorithmwatch arbeitete sie unter anderem bei einem Think Tank, an Universitäten, für eine Innovationsplattform sowie beim Schweizerischen Aussendepartement EDA. Inside IT hat Angela Müller zum Interview getroffen.
Können Sie mir erklären, was Algorithmwatch genau macht?
Algorithmwatch ist eine gemeinnützige Organisation, die sich mit den Auswirkungen algorithmischer Systeme auf Mensch und Gesellschaft beschäftigt. Unser Fokus liegt auf sogenannten automatisierten Entscheidungssystemen, die etwa Prognosen oder Empfehlungen machen oder eine Entscheidung treffen, die Folgen für Menschen haben. Wir setzen uns dafür ein, dass diese Systeme so genutzt werden, dass sie uns allen zugutekommen, statt uns zu schaden, und dass sie Grundrechte und Gemeinwohl achten, statt diese zu beschneiden.
Unser Ziel ist es, Licht in die Black Box der Algorithmen zu bringen und die Rahmenbedingungen für ihren Einsatz sinnvoll zu gestalten. Wir sind im Kern eine Advocacy-Organisation, die evidenzbasiert arbeitet. Wir analysieren, welche Auswirkungen Algorithmen auf Mensch und Gesellschaft haben und welche ethischen, sozialen oder rechtlichen Herausforderungen sich dabei zeigen. Auf Basis dieser Recherchen entwickeln wir Forderungen und politische Handlungsempfehlungen.
Weiter geht es aber auch darum, die Eigenschaften und Auswirkungen der komplexen Prozesse einer breiten Öffentlichkeit zu erklären und sie dafür zu sensibilisieren, dass diese ernsthafte Auswirkungen auf Mensch und Gesellschaft haben können.
Wie gut können diese Aufgaben derzeit erfüllt werden?
Tatsächlich ist unsere Arbeit aufwendig. Ein wesentlicher Grund dafür ist, dass im Bereich der Algorithmen derzeit noch viel Intransparenz herrscht. Es ist vielfach nicht mal klar, wo genau die Systeme eingesetzt werden, wer sie nutzt und zu welchem Zweck dies geschieht. Um hier mehr Licht ins Dunkel zu bringen ist derzeit noch sehr viel Recherche nötig. Aufgrund der fehlenden Fakten findet auch kaum eine Debatte zum Thema statt.
Wir sind überzeugt, dass wir als Gesellschaft eine Debatte darüber führen sollten, wie wir algorithmische Entscheidungsfindung einsetzen wollen und welche Rahmenbedingungen es dafür braucht. Dazu braucht es aber Fakten und Sensibilisierung, um den Diskurs anzustossen.
Wo sehen sie noch Verbesserungspotenzial für ihre Organisation?
Geld ist – wie auch bei vielen anderen NGOs – ein grosses Thema. Das Fundraising ist eine stetige und aufwendige Aufgabe und dass das Thema Algorithmen etwas mit Menschenrechten und Demokratie zu tun hat, ist noch nicht allen bewusst. Mit grösseren finanziellen Mitteln könnten wir mehr Zeit in angewandte Forschung investieren, würden über mehr technische Kompetenzen verfügen, könnten auch mehr journalistische Arbeiten veröffentlichen und unsere Policy- und Kampagnenarbeit ausbauen.
An Ideen für die Zukunft mangelt es uns auf jeden Fall nicht – und es ist auch nicht davon auszugehen, dass es uns an Anwendungsbeispielen mangeln wird. Die Automatisierung der Gesellschaft schreitet mit raschen Schritten voran.
Welcher gesellschaftliche Nutzen entsteht durch eine Organisation wie Algorithmwatch?
Wir helfen dabei, ein Bewusstsein dafür zu schaffen, was algorithmische oder KI-Systeme eigentlich genau tun. Wir erklären Prozesse und stellen Wissen zum Thema bereit. Dazu betreiben wir aber auch Advocacy-Arbeit, das heisst, wir bringen Vorschläge und Forderungen in die Politik ein. Anders gesagt: Wir lobbyieren – allerdings nicht für ein bestimmtes Partikularinteresse, sondern gemeinwohlorientiert.
Wir wollen keineswegs Technologie verhindern oder verbieten. Im Endeffekt wollen wir, dass eine demokratische Kontrolle über den Einsatz von Algorithmen geschaffen wird. Das heisst: Wir als Gesellschaft gestalten die Rahmenbedingungen und können so auch dafür sorgen, dass Rechenschaftspflichten gewährleistet sind und ein unrechtmässiger Einsatz von KI sanktioniert wird.
Welche Gesetze werden dazu von ihnen konkret gefordert?
Wir fordern als erstes, dass die bestehenden Gesetzte auch auf automatisierte Entscheide angewendet werden. Darüber hinaus gibt es spezifische Forderungen, die wir einbringen, wo der rechtliche Rahmen angepasst oder Massnahmen ergriffen werden sollten. Ein Beispiel ist, dass die öffentliche Verwaltung mehr Transparenz schaffen muss.
Hierzu fordern wir ein öffentliches Register, in dem sämtliche von der öffentlichen Verwaltung eingesetzten automatisierten Entscheidungssysteme aufgelistet und einsehbar sind. Dabei geht es nicht einmal darum, den Code der Software zu veröffentlichen, sondern um einfache Informationen darüber, was das System macht, auf welchem Modell es basiert, wer es entwickelt hat und wer es zu welchem Zweck einsetzt.
Zum andern ist es besonders wichtig, dass eine Folgeabschätzung über den gesamten Lebenszyklus des Systems gemacht wird, um Risikosignale zu erkennen und darauf zu reagieren. Die Transparenz soll so zu einem Instrument der öffentlichen Aufsicht werden, bei der sich betroffene Menschen auf einfache Art informieren können, aber auch die Forschung relevante Daten zur Verfügung hat.
Können überhaupt diskriminierungsfreie Algorithmen entwickelt werden?
Grundsätzlich kann man sagen, dass algorithmische Entscheidungssysteme oft genau dazu da sind, Muster zu erkennen, zu kategorisieren und zu schubladisieren. Eine Diskriminierung durch eine künstliche Intelligenz kann allerdings auf verschiedene Ursachen zurückzuführen sein. So können zum Beispiel bereits die Trainingsdaten, mit denen das System gefüttert wurde, bestehende gesellschaftliche Diskriminierungsmuster abbilden.
Dazu gibt es aber auch Diskriminierungen, die durch das Modell entstehen. Dabei geht es darum, dass gewisse Eigenschaften für bestimmte Entscheidungen im System ausschlaggebend sind. Bei der Wiedereingliederung auf dem Arbeitsmarkt werden durch algorithmische Systeme teilweise Mütter gegenüber Vätern diskriminiert. In den Niederlanden mussten aufgrund eines diskriminierenden Algorithmus Familien gar fälschlicherweise Kindergelder zurückzahlen. Sie wurden so in finanzielle Nöte getrieben. Die Regierung musste aufgrund dieses Skandals zurücktreten.
Benachteiligungen können aber auch durch die Art und Weise entstehen, wie algorithmische Entscheidungssysteme eingesetzt werden. Dies sieht man zum Beispiel bei ihrem Einsatz im Zusammenhang mit der Polizeiarbeit. Es ist eine bewusste Entscheidung, Systeme auf etwa Wohnungseinbrüche und nicht auf Wirtschaftsverbrechen anzuwenden.
Wenn ein solches System dann in einer bestimmten Nachbarschaft mehr Straftaten voraussagt, werden da auch mehr Patrouillen durchgeführt. Das hat wiederum zur Folge, dass in diesen Quartieren auch mehr Straftaten bemerkt und registriert werden, was wiederum in das System einfliesst. So kann eine Abwärtsspirale entstehen, bei der gewisse Nachbarschaften – und vor allem deren Bewohnerinnen und Bewohner – benachteiligt werden.
Heisst das auch, dass erst unsere gesellschaftlichen Strukturen fairer werden müssen, damit überhaupt nicht-diskriminierende Algorithmen entwickelt werden können?
Gerade bei den Verzerrungen durch diskriminierende Trainingsdaten ist das so. Das Problem ist fundamental, weil die Ursache ja nicht beim Algorithmus, sondern in unserer Gesellschaft liegt. Wenn es dann durch die KI zu Verstärkungen kommt, ist ein genaues Hinsehen besonders wichtig – gerade, wenn ihr Einsatz dazu führt, dass einzelne Gruppen diskriminiert werden.
Ein Beispiel ist die Gesichtserkennung. Diese funktioniert zwar relativ zuverlässig bei weissen Männern, hat aber durchaus Probleme mit People of Color oder Frauen. Darüber hinaus ist aber wichtig zu sagen, dass Gesichtserkennung unabhängig davon – also auch wenn sie für alle Gesichter gleichermassen gut funktionieren würde – relevante Auswirkungen auf Menschen und damit unsere Gesellschaft haben kann.
Wenn so ein System im öffentlichen Raum eingesetzt wird, könnten Menschen zum Beispiel vom Besuch einer Demonstration oder dem Besuch eines einschlägigen Lokals abgehalten werden, weil sie wissen, dass sie mit Gesichtserkennung jederzeit identifiziert, verfolgt und überwacht werden könnten. Die Technik würde unser Verhalten konditionieren und uns davon abschrecken, Grundrechte wahrzunehmen, die für eine Demokratie zentral sind, wie etwa die Meinungsäusserungs- oder Versammlungsfreiheit.
Im November 2021 haben Sie zusammen mit der Digitalen Gesellschaft und Amnesty International eine Petition für ein Verbot von automatisierter Gesichtserkennung und biometrischer Massenüberwachung gestartet und über 10'000 Unterschriften gesammelt. In welchen Bereichen könnten Sie sich ähnliche Petitionen oder gar Initiativen vorstellen?
Ähnliche Vorstösse machen oder planen wir in Bezug auf den Einsatz von KI in den öffentlichen Verwaltungen, im Bereich Recruiting oder am Arbeitsplatz aber auch, um KI in Zukunft nachhaltiger zu machen. Gerade wenn es um die Verringerung des Stromverbrauchs oder die Verbesserung der Arbeitsbedingungen bei der Entwicklung und dem Einsatz von KI geht, ist es wichtig, darüber nachzudenken, wie die Systeme selbst nachhaltig gestaltet werden können.
Auch im Zusammenhang mit den grossen Online-Plattformen und ihrem Einfluss auf die öffentliche Meinungsbildung üben wir politischen Druck aus. Dies stellt derzeit ein Schwerpunkt unserer Arbeit dar. So haben wir im Vorfeld zur Bundestagswahl 2021 die Instagram-Posts von verschiedenen deutschen Parteien untersucht. Dazu haben uns Nutzende ihre Daten freiwillig zur Auswertung zur Verfügung gestellt. Im Laufe der Untersuchung wurden wir allerdings von der Muttergesellschaft Facebook kontaktiert, dass unser Projekt gegen die Nutzungsbedingungen verstösst und wurden aufgefordert, dieses abzubrechen.
Nach einigem Abwägen haben wir uns dazu entschieden, das Projekt einzustellen. Die Daten waren zu diesem Zeitpunkt bereits bei unserem Medienpartner und konnten so doch noch ausgewertet werden. Die Entscheidung fiel uns schwer, auch weil wir überzeugt sind, dass wir im Recht waren. Aus diesem Grund haben wir uns auch entschieden, den Fall öffentlich zu machen. Schlussendlich kann man sagen, dass wir das Vorhaben zwar stoppen mussten, daraus aber eine öffentlich wirksame Kampagne entstanden ist.
Konnte Ihre Organisation noch weitere Erfolge feiern?
Ein Beispiel für einen konkreten Erfolg ist das
Register für automatisierte Entscheidungssysteme, das der Kanton Zürich einführen wird. Damit wird mehr Transparenz über den Einsatz der Systeme in der Verwaltung geschaffen. Für uns ist dieser Vorstoss ein grosser Erfolg, auch weil er in der Parteilandschaft breit abgestützt ist. Das Postulat wurde von Vertreterinnen und Vertretern aus der SP, GLP, Grüne, FDP und SVP unterzeichnet.
Zudem ist auch noch ein Vorstoss auf nationaler Ebene hängig, in dem ein nationales Register für den Einsatz von automatisierten Entscheidungssystemen in der Bundesverwaltung gefordert wird.
Was wünschen Sie sich von den grossen Tech-Konzernen für die Zukunft in Bezug auf Algorithmen?
Als ersten Schritt erwarten wir von Tech-Konzernen mehr Transparenz, was ihre Systeme anbelangt. Dabei sollen etwa Informationen über die konkrete Anwendung öffentlich gemacht und die Daten für die Forschung zur Verfügung gestellt werden. Wir setzen uns auch dafür ein, dass die Perspektiven von durch die Entscheidung betroffenen Personen in die Arbeit miteinbezogen werden.
Insbesondere ist es aber auch zentral, dass diejenigen Stellen, die algorithmische Entscheidungssysteme entwickeln und einsetzen – das können öffentliche Behörden oder private Unternehmen sein – dies auf verantwortungsvolle Weise tun. Die Risiken hängen nämlich insbesondere auch vom Kontext ab, in dem das System eingesetzt wird.
Wir müssen aber auch Rahmenbedingungen und Regeln schaffen, um sicherzustellen, dass all diese Akteure verantwortungsbewusst handeln – wir können nicht einfach darauf pokern, dass sie das tun. Der Schutz unserer Rechte darf nicht vom guten Willen eines Tech-Unternehmens abhängen. Die Regeln, die gelten, werden in einer Demokratie von Menschen gemacht und man muss sich darauf verlassen können, dass diese auch von den Konzernen eigehalten werden.