Sven Kohlmeier (links) und Christian Laux streiten sich gern.
Die auf IT-Recht spezialisierten Anwälte Sven Kohlmeier und Christian Laux beleuchten für inside-it.ch Aktuelles. Heute diskutieren sie die Frage, ob Behörden transparenter sein sollten, wenn sie KI einsetzen.
Künstliche Intelligenz kommt in Verwaltungen und Behörden zum Einsatz. Aber die Bevölkerung muss nur dann informiert werden, wenn die KI für sogenanntes Automated Decision Making eingesetzt wird, so will es das neue Datenschutzgesetz. Ist das der richtige Weg oder braucht es mehr Transparenz? Das diskutieren Christian Laux und Sven Kohlmeier in der aktuellen Kolumne.
Christian Laux: Proaktive Überinformation muss nicht sein
Christian Laux
Die Automatisierung von Abläufen ist kein Selbstzweck, sondern der Weg ins Ziel. Das eigentliche Verwaltungshandeln muss weiterhin den Grundsätzen des Verwaltungshandelns entsprechen (siehe unten). Das Ziel braucht eine gesetzliche Grundlage, der Weg ins Ziel nicht (dazu unsere Diskussion zu Datenschutz). Und selbstredend muss das Verwaltungshandeln im öffentlichen Interesse liegen.
Wenn wir über Künstliche Intelligenz reden, geht es somit vor allem um die Frage, wie die Verwaltungsbehörde, die KI einsetzen will, Verhältnismässigkeit wahren kann oder muss.
Daraus ergibt sich zum Beispiel Folgendes: Blosse Spielereien ohne besonderen Nutzen sind schwerer zu rechtfertigen als Einsätze mit konkreten Nutzen stiftenden Zweck (Spannungsverhältnis zum Grundsatz der Eignung). Präzisierend:
Das "Üben" mit Künstlicher Intelligenz kann verhältnismässig sein, jedenfalls, sofern aus solchem Übungshandeln kein Schaden resultiert.
Pilotierungen müssen erlaubt sein; die Verwaltungsbehörde ist eine lernende Organisation.
Schliesslich ist auch Sandboxing dem Grundsatz nach zulässig; man muss es richtig organisieren, aber das geht.
Verwaltungshandeln ist kein Selbstzweck. Eine Verwaltung, die sich komplett der Kontrolle der Öffentlichkeit entzieht, hat weniger Daseinsberechtigung als eine transparente Verwaltung. Zudem verwendet die Verwaltung öffentliche Gelder und muss sich darum die Frage gefallen lassen: "Wozu das Ganze?" Dem Grundsatz nach ist klar: Verwaltungshandeln muss transparent sein.
Was jedoch viel weniger klar ist: Wie viel Details muss die Verwaltung zur Verfügung stellen, um Transparenz zu schaffen? Generell finde ich Folgendes:
1. Keine Leerläufe: Jede Transparenzmitteilung an die Öffentlichkeit muss einen Nutzen haben. Informationsflut nur aus Prinzip halte ich für einen Leerlauf.
2. Überinformation ist sogar schädlich: Natürlich kann eine Behörde ein Knowledge Center aufbauen und die Öffentlichkeit in der vollen Granularität teilhaben lassen über ihr Alltagshandeln mitsamt ergänzenden Gedanken und Begründungen. Das führt aber zu Informationsflut (ausser man macht das richtig gut). Man sieht den Wald vor lauter Bäumen nicht mehr.
3. Verwischen der Verantwortlichkeitsgrenzen: Wenn die Verwaltung informiert, könnte der Eindruck entstehen, dass die Verwaltung die einzelnen Bürgerinnen und Bürger um Erlaubnis fragt, ob es OK sei, was sie tut. Das muss die Verwaltung ja aber eben gerade nicht. Die Behörde tritt hoheitlich auf, entscheidet und ist verantwortlich für ihr Handeln.
Deswegen finde ich: Die Verwaltungsbehörde sollte Ankerpunkte schaffen, die für die Bevölkerung hilfreich sind. Reduzierte Informationen, an die man anknüpfen und auf deren Basis man nachfragen kann. Aber proaktive Überinformation muss nicht sein, im Gegenteil: Man sollte sie vermeiden.
Damit verlagert sich der Blick darauf, was man tun muss:
Bauen von KI: Das Ziel muss sein, KI-Anwendungen zu "kapseln". Man muss verstehen, aus welchen Komponenten sich die Lösung zusammensetzt: Von wem kommt die Anwendung? Welche Komponenten enthält sie? Welche Daten werden eingelesen? Auf welcher Plattform wird die Anwendung betrieben? Findet Inference während der Nutzung statt? Gibt es Datenkommunikation "nach aussen"? Generell gilt für die Verwaltungsbehörde: Man muss Aussenbezüge kontrollieren oder gar unterbinden.
Vertragliche Aspekte: Wie kann mit Verträgen Kontrolle hergestellt werden?
Controlling: Wie kann (technisch) sichergestellt werden, dass die Modelle das tun, was sie sollen (und nicht mehr)? Welche Methoden wendet die Behörde an, um sicherzustellen, dass die Output-Daten nicht rechtsverletzend werden? Wird rechtliches Gehör gewährt bzw. ist die Lösung so gestaltet, dass es kein Spannungsverhältnis zum rechtlichen Gehör gibt?
Vertrauen: Wie können jene, die Teilkomponenten beisteuern, verpflichtet werden auf rechtskonformes Trainieren der vorbestehenden Modelle? Bei der Erstellung von trainierten Modellen muss systematisch darauf geachtet werden, dass nicht Biases oder Rechtsverletzendes eingebaut werden.
Sven Kohlmeier: Transparenz kostet nichts und schafft Vertrauen
Sven Kohlmeier
Ganz neu ist der Einsatz von KI-Tools in der Verwaltung nicht. So nutzt etwas das Handelsregister St. Gallen einen Chatbot auf seiner Webseite und auch das Migrationsamt des Kantons Zürich setzt auf einen digitalen Chatbot.
Beides sind mögliche Einsatzgebiete von KI-Tools. Durch die öffentliche Berichterstattung über ChatGPT (von OpenAI) und sein Pendant Bard (von Google) scheinen die Möglichkeiten der Vereinfachung in vielen Bereichen der Verwaltung aber ein neues Level erreicht zu haben.
KI kann eine wertvolle Unterstützung sein
Die Auswertung und Analyse grosser Datenmengen, die Auswertung von Gerichtsentscheiden, die KI-automatisierte Prüfung von Anträgen, Entscheiden und Stellungnahmen und die Anfertigung von Entscheiden. Auch im Cyber-Sicherheitsbereich sowie in der strafrechtlichen Ermittlungstätigkeit können KI-Tools eine wertvolle Unterstützung sein. Anstatt, dass sich beispielsweise Mitarbeitende der Untersuchungsbehörden strafrechtlich inkriminiertes Material im Internet anschauen müssen, kann das von einem KI-Tool übernommen werden. Und auch in Spitälern können KI-basierte Anwendungen einen erheblichen Mehrwert schaffen.
Die Vorteile liegen damit klar auf der Hand: bessere Entscheidungsfindung, Zeit- und Kostenersparnis sowie eine erhöhte Effizienz der Verwaltungstätigkeit. Auf der anderen Seite stellen KI-Anwendungen auch eine Herausforderung für die Verwaltung dar: Bei vertraulichen oder personenbezogenen Daten können Risiken bei dem Einsatz von KI bestehen und auch das Vertrauen in staatliche Institutionen könnte leiden, wenn anstelle einer Amtsperson ein emotionsloses KI-Tool entscheidet.
Es braucht Transparenzregelungen
Ich teile mit Christian Laux die Auffassung, dass auch die Verwaltung KI-Tools einsetzen darf und einsetzen muss, denn wir wollen eine effiziente Verwaltung, eine hundertprozentige Diagnose im Spital und eine schnelle Bescheidung unserer Anträge. Und dennoch finde ich, dass sich die Verwaltung eigenen Transparenzregelungen bei dem Einsatz von KI unterwerfen sollte
Aus den Vorgaben der Bundesverfassung, dem in Art. 29 Abs. 2 BV verankerten Anspruch auf rechtliches Gehör, kann sich die Notwendigkeit ergeben, dass behördliche Entscheidungen durch Menschen getroffen werden. Art. 29 Abs. 2 BV lautet: "Die Parteien haben Anspruch auf rechtliches Gehör." Wie das Bundesgericht in ständiger Rechtsprechung urteilt, besteht die Pflicht der Behörde, ihre Verfügungen und Entscheide zu begründen. Das passiert aber nicht mehr, wenn nicht mehr die Behörde, vertreten und repräsentiert durch den Mitarbeitenden entscheidet, sondern ein KI-Tool die Erwägungen des Bürgers anhand seiner Trainingsdaten und Vorgaben gewichtet und zu einer Entscheidung gelangt.
Und auch bei der Ermessensausübung durch die Behörde stellt sich die Frage, ob diese durch ein KI-Tool ersetzt werden kann. So liegt ein Ermessensmissbrauch vor, wenn die Ermessensausübung nicht pflichtgemäss erfolgt, von sachfremden Kriterien geleitet oder “unmotiviert” ist. Auch wenn wohl nicht jede menschliche behördliche Entscheidung besonders motiviert erfolgt, dürfte jedenfalls beim Einsatz von KI keinerlei "Motivation" vorliegen. Und auch eine Ermessensunterschreitung kann vorliegen, wenn die Behörde das ihr eingeräumte Ermessen nicht ausschöpft oder wenn die Behörde Fälle schematisch gleich behandelt, obgleich der Gesetzgeber eine differenzierte Behandlung bestimmter Fragen fordert. Dies könnte bei dem Einsatz von KI-Tools zur Erstellung von Bescheiden der Fall sein. Auf der anderen Seite – und da bin ich mir mit Christian Laux auch einig: KI-Tools sind die Hilfsmittel des aktuellen Jahrhunderts, so wie das Internet das Hilfsmittel der 2000-Jahre war. Also haben wir alles schon erlebt und es wiederholt sich schlicht nur?
Entscheide müssen überprüfbar bleiben
Wir leben in einer Zeit von schwindendem Vertrauen in staatliche Institutionen, Entscheidungsprozesse und instabilen Demokratien (wenn auch nicht in der Schweiz). Ich finde, dass der Einsatz von KI-Tools in der Verwaltung viele Vorteile haben wird. Und ich sehe es als Chance, wenn die Behörde gegenüber dem Bürger darlegt, wie die Entscheidung zustande kam. Das kann nach meiner Vorstellung zum Beispiel mit einem automatisierten "Digital Footprint" auf dem Entscheid offengelegt werden. Oder im Urteil kann offengelegt werden, welches KI-Tool bei der Auswertung von Rechtsprechung geholfen hat. Das gibt den BürgerInnen und Betroffenen die Möglichkeit, den Entscheid zu überprüfen und auch die zugrundeliegenden Anwendungen auf eine ordnungsgemässen und sachgemässen Einsatz zu prüfen. Vermutlich wird es in 10 Jahren selbstverständlich sein, KI-Tools einzusetzen und es fragt keiner mehr nach. Und bis dahin ist Transparenz immer noch die beste Wahl. Denn sie kostet nichts und schafft Vertrauen.
Eine besondere Herausforderung an die Transparenz dürfte sein, bereits bei der Beschaffung von KI-System Vorgaben an die Hersteller zu machen, beispielsweise zur Herkunft der Trainingsdaten, der Funktionsweise der Algorithmen oder gar der Offenlegung des Quellcodes. Daran verweigern sich Hersteller in der Vergangenheit mit Verweis auf Geschäftsgeheimnisse. Aber ich finde schon wichtig zu wissen, wer mit welchen moralischen Vorstellungen eine KI trainiert hat, weil das eine unmittelbare Auswirkung auf das Ergebnis und damit auch auf den Entscheid hat. Hier sind Verwaltung wie Gesetzgeber gleichermassen gefordert, bereits bei der Beschaffung technische, wie auch Transparenzvorgaben zu beschreiben. Einheitliche Grundsätze, auch hinsichtlich ethischer Grundsätze, von Bund und Kantonen sind hierfür notwendig.
Beide Anwälte haben einen Vorschlag für eine Transparenzmeldung bei Einsatz von KI-Tools erarbeitet. Eine entsprechende Formulierung könnte in einem Informationsbereich auf der Website der Verwaltungsstelle platziert werden. Sie könnte lauten:
Wir setzen auch automatisierte Systeme ein, die uns die Arbeiten erleichtern, namentlich in den folgenden Bereichen: (1) Zusammenfassung der Spruchpraxis; (2) Zusammenfassung und Inventarisierung eingehender Gesuche; (3) Vorbereitung von Entscheiden; (4) Etc. Dabei stellen wir sicher, dass die Letztentscheidung immer durch einen Mitarbeitenden erfolgt. Entscheidautomation, die ohne Einbezug von Mitarbeitenden entscheidet, verwenden wir [nicht] / [in den folgenden Bereichen: Verweigerungsverfügung betr. Führerschein, etc.]. Wir stellen mit technischen, organisatorischen und vertraglichen Methoden sicher, dass Ihre Personendaten nicht für ungewollte Aussenbezüge verwendet werden. Wir lassen uns von unseren Vertragspartnern Zusicherungen über Massnahmen geben, die unerkannte Biases reduzieren und unseren ethischen Standards entsprechen.
Was ist Verhältnismässigkeit aus juristischer Sicht?
Für Verwaltungshandeln gilt Art. 5 BV. Verwaltungshandeln muss somit auf einer gesetzlichen Grundlage beruhen, im öffentlichen Interesse liegen und verhältnismässig sein. Soweit Verwaltungshandeln ein Freiheitsrecht verletzt, muss der Eingriff nach Art. 36 BV zu rechtfertigen sein, andernfalls Verfassungswidrigkeit vorliegt.
Verhältnismässigkeit wird in der Juristerei nach drei Kriterien geprüft, die kumulativ eingehalten sein müssen, damit die Rechtmässigkeitsvoraussetzung "Verhältnismässigkeit" erfüllt ist:
Geeignetheit: Wenn die Verwaltungsbehörde etwas unternimmt, das gar nicht zum beabsichtigten Ziel passt, mit dem das Ziel von vornherein nicht erreicht werden kann oder sonst keine geeignete Massnahme ist, um das Ziel zu erreichen, fehlt dieses Rechtmässigkeitskriterium. Die Prüfung kann abgebrochen werden; die Massnahme ist rechtswidrig.
Erforderlichkeit: Eine Massnahme muss notwendig sein, um das angestrebte Ziel zu erreichen. Zu berücksichtigen sind alle möglichen Massnahmen, die in würdigender Gewichtung infrage kommen, um das Ziel zu erreichen. Man spricht auch von Subsidiarität. Wenn eine Massnahme gewichtige Interessen in erheblicher Weise beeinträchtigt und ein milderes Mitteln infrage käme, dann muss die mildere Massnahme gewählt werden. Es wäre allerdings nicht erlaubt, einzelne Interessen herauszugreifen und die Subsidiaritätsprüfung nur in Bezug auf ein isoliertes Interesse vorzunehmen.
Ausgewogenheit: Man kann es nicht genug betonen. Der Staat ist kein Selbstzweck. Er ist für alle da. Es dürfen nicht einzelne bevorzugt werden (ein Verstoss gegen das Gleichheitsgebot ist meist auch ein Verstoss gegen die Verhältnismässigkeit). Zusätzlich muss das Verwaltungshandeln in seiner Gesamtheit ausgewogen sein. Wenn alles in voller Härte einem einzigen Ziel untergeordnet würde, steigt das Risiko von Einseitigkeit und gar Willkür. Verwaltungshandeln muss austariert werden. Die Zweck-Mittel-Relation muss gewahrt sein.