Sie kamen scheinbar über Nacht. Kinder lauschten verstört dem Abendgespräch der Eltern. Da war von bislang unbekannten Wesen die Rede. Sie mussten grün aussehen, vielleicht schleimig, zumal sie erst gerade den düsteren Tiefen des nahen Sees entstiegen sein mussten, in deren Strömung sie sich zuvor gleichmässig hin und her bewegt hatten – längste Zeit vollkommen unentdeckt. Aber jetzt waren sie plötzlich überall: Algorithmen! So eklig wie sie aussehen mussten, so gefährliche Wesen mussten das sein. Verführerisch seien sie. Sie stifteten Nutzen und erleichterten den Alltag. Damit zögen sie die Menschheit in ihren Bann. Anschliessend hätten sie leichtes Spiel, die Menschheit in kompletter Abhängigkeit zu beherrschen.

Algorithmen spielen in immer mehr Lebensbereichen eine Rolle. Aber die Menschen wissen kaum darüber Bescheid, was ein Algorithmus ist. Das hat eine Studie belegt.

Ein Algorithmus ist zunächst einmal etwas ganz Banales: eine Anweisung bzw. eine Folge von Anweisungen. Zum Beispiel: "Fahre das Limmatquai hinunter, bis zum Helmhaus, dann nach links über die Münsterbrücke und da ist es, das Fraumünster." Die etwas formellere Definition bei Wikipedia lautet wie folgt: "Ein Algorithmus ist eine eindeutige Handlungsvorschrift zur Lösung eines Problems oder einer Klasse von Problemen." Im Beispiel ist die Wegbeschreibung die Lösung. Auch ein Kochrezept ("Schritt für Schritt zum Kuchen") ist ein gutes Beispiel für einen Algorithmus.

Die öffentliche Diskussion über Algorithmen wird intensiv geführt. Man will dabei allerdings vor allem über die softwaregestützten Systeme sprechen, die Algorithmen gleichsam verinnerlicht haben, so dass sie verblüffend autonom funktionieren. Es geht um Entscheidsysteme, Analysesysteme und um Prognosesysteme. Je nachdem handelt es sich dabei um lernende Systeme.

Entscheidsysteme werden in Art. 22 der EU-Datenschutzgrundverordnung angesprochen. Dort heisst es: "Die betroffene Person hat das Recht, nicht einer ausschliesslich auf einer automatisierten Verarbeitung — einschliesslich Profiling — beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt." Wer Entscheidsysteme baut, muss eine Sollbruchstelle einbauen, damit die betroffene Person sich an einen Menschen wenden kann, der das Resultat überprüft. Ziel der Regel: Die Menschheit davor zu bewahren, dass Maschinen die Herrschaft übernehmen. Entscheidsysteme funktionieren nur, wenn Regeln, Algorithmen eben, in einer Referenzbibliothek hinterlegt werden.

Prognose- und Analysesysteme sind solche, welche Daten erheben und einer Bewertung zuführen, um entscheidrelevante Aspekte einer Aufgabenstellung aufzubereiten. Wenn sich diese Bewertung auf Personen und Eigenschaften wie Arbeitsleistung, wirtschaftliche Lage, Gesundheit, persönliche Vorlieben oder Interessen, Zuverlässigkeit, Verhalten, Aufenthaltsort oder Ortswechsel beziehen, spricht Art. 4(1) der EU-Datenschutzgrundverordnung von Profilings.

Lernende Systeme sind Softwaresysteme, die wiederkehrende Verhaltensmuster als Standard identifizieren und solche Standards dann, als Algorithmen, in ihre Referenzbibliothek speichern (was man dann als Machine Learning bezeichnet). Solche selbstlernenden Systeme können mächtig sein. Es geht die Angst um, dass das System der Menschheit entgleitet und sich verselbständigt. Tatsächlich geschieht dies aber weit weniger autonom, als man oft annimmt. Die Weiterentwicklung solcher Systeme bedarf heute meist noch einer manuellen Intervention des Menschen.

Im Parlament sind einige Vorstösse zum Problemkreis "Algorithmen" eingereicht worden. In Beantwortung dieser Vorstösse hat der Bundesrat jeweils darauf hingewiesen, dass die gesamte Datenverarbeitungskette zu betrachten sei: "Allerdings dürfen Algorithmen nicht isoliert, sondern müssen ganzheitlich im Kontext der Datenbearbeitung und der beabsichtigten Funktionalität der Systeme und Plattformen betrachtet werden." Man muss die Gesamtsysteme ansehen. Softwaresystem und Algorithmus bedingen sich gegenseitig: Ein Softwaresystem ohne hinterlegtes Regelsystem ist wirkungslos. Ein Algorithmus ist demgegenüber nicht mehr als ein Gedanke, solange er nicht "scharf geschaltet wurde", d.h. solange er nicht in einem Softwaresystem umgesetzt wurde.

Der Bundesrat hat als Folge der Motion Rechsteiner eine Expertengruppe zur Zukunft der Datenbearbeitung und Datensicherheit eingesetzt. Diese hat am 17. August 2018 ihren Bericht abgegeben und einen ganzen Strauss von Analysen und Empfehlungen unterbreitet. Zum Thema der Algorithmen führt die Expertengruppe Interessantes aus: Wie ein Algorithmus wirkt, wie Algorithmen erhoben werden und angepasst werden. Ausserdem, wie Best Practice aussieht, wenn es darum geht, Transparenz zu schaffen über den Einsatz von Algorithmen und welche technischen und organisatorischen Massnahmen zu ergreifen wären, damit sich die Maschinen nicht verselbständigen.

Die allgemeine Reaktion auf den Bericht der Expertengruppe war bislang noch wenig konkret. Das liegt ziemlich sicher daran, dass die Expertengruppe sich vielen Themen widmen musste und der Bericht entsprechend ziemlich dick geraten ist. Die Diskussion läuft entsprechend nur langsam an. Mit diesem Beitrag möchte ich den Bericht der Expertengruppe wieder in Erinnerung rufen. Die generelle vom Bericht der Expertengruppe portierte Formel lautet wie folgt: "Algorithmen sollen kurz gesagt nicht manipulieren oder diskriminieren, sondern fair und nachhaltig sein."

Durch die juristische Brille hindurch möchte ich Folgendes anmerken:

Ein Algorithmus ist Information. Das soll keine Plattitüde sein, sondern ein Hinweis, der es in sich hat. Das Informationsrecht ist eine unerforschte Disziplin. Pointiert gesagt: Wir leben im Informationszeitalter, aber das Recht hat noch keinen konsolidierten Blick darauf, wie mit Information umzugehen ist. Der Volksmund scherzt "drei Juristen, vier Meinungen". Das gilt im Informationsrecht ziemlich ausgeprägt.

Wenn ein Algorithmus reine Information ist, dann gilt die folgende fundamentale Regel des Informationsrechts: Information per se ist nicht gefährlich. Gefährlichkeit hier verstanden als Risiko für die Menschheit, wie z.B. Hitze (kann zu Verbrennungen führen) oder Elektrizität (kann zu Stromschlägen führen) gefährlich sind. Information kann aber gefährlich werden, wenn sie in einem konkreten Kontext zum Einsatz kommt und wenn die Information sich in diesem Kontext als fehlerhaft, unzweckmässig oder gesetzwidrig erweist.

Muss jemand für fehlerhafte Algorithmen haften? Es geht für die Frage der Haftung darum, ob die handelnde Person sich auf die Korrektheit und Zweckmässigkeit der Information verlassen durfte und bei wem der Schaden entsteht.

Für Informationshaftung braucht es also eine besondere Vertrauenssituation. Und da auch Algorithmen per se keine besondere Vertrauenssituation schaffen, sind sie ebenfalls per se nicht gefährlich. Gefährlich werden sie, wenn sie in Softwaresystemen zum Einsatz kommen. Dies deshalb, weil ein Softwaresystem fast immer eine spezifische Funktionalität hat. Diese setzt einen ganz konkreten Kontext: Es geht um die Einsatzmöglichkeiten des Softwaresystems, die konkret erkennbar sind. Wer ein solches System mit einem konkret erkennbaren Einsatzbereich in den Verkehr bringt, muss dafür sorgen, dass das System nicht fehlerhaft wirkt. Nach geltendem Recht gilt diese Regel in absoluter Form jedoch nur in Bezug auf Körperschäden und teilweise für Sachschäden.

Diese Regel wird relevant für das selbstfahrende Auto, das mit dem Dilemma konfrontiert ist, entweder den Tod seiner Fahrerin zu verursachen oder aber jenen einer Passantin (und diesfalls: soll es entscheiden, ob ein 85jähriger Mann oder ein junges Mädchen angefahren wird?). Es ist eine schreckliche Vorstellung, dass ein Softwaresystem (d.h. das Auto) über Leben und Tod eines dieser Menschen entscheidet. Genau das wollen wir nicht.

Der Bericht der Expertengruppe hält dazu fest, dass sich die Gefahr von Entscheidsystemen vergrössere, wenn zu stark von den Möglichkeiten der Algorithmen Gebrauch gemacht werde. Am Beispiel des selbstfahrenden Autos: Man soll nicht definieren, wer zu sterben hat; auch wenn man es könnte. Der Bericht referenziert dies als "zu starke Quantifizierung und Algorithmisierung von Abläufen". Der Punkt ist: Die Entscheidung, wer von den drei genannten Personen umkommen soll, steht nicht nur der Maschine nicht zu. Er stünde auch dem Menschen nicht zu. Das verlangt die Ethik. Man kommt zum Schluss, dass die Maschine, die sich über dieses ethische Prinzip hinwegsetzt im rechtlichen Sinn fehlerhaft ist. Und Fehlerhaftigkeit löst Haftungsfolgen aus.

Wenn ein Gericht dieser Rhetorik folgt – und ich meine, es bestehen gute Gründe dafür –, dann kann der Bericht der Expertengruppe unvermittelt zu ganz handfesten Resultaten führen. Und zwar, was überraschend ist, über den Umweg eines ethischen Prinzips (der Mensch soll nicht über das Leben anderer Menschen entscheiden).

Das zeigt Verschiedenes: Nicht nur weiss die juristische Praxis noch nicht in genügender Schärfe, was Information genau ist. Es fehlt auch ein etabliertes Gerechtigkeitsmodell für die digitale Welt. Wir müssen wieder vermehrt auf die Ethik ausweichen, um zu konstruieren, was gerecht ist. Dann lässt sich auch das Dilemma des selbstfahrenden Autos lösen. Der Bericht der Expertengruppe hält hierzu einige sehr interessante Anknüpfungspunkte bereit.

Ethik ist die Disziplin, die über Regeln nachdenkt. Sie ist abstrakt und befreit von moralischem Gehalt (Bewertung eines konkreten Verhaltens). Und ethische Aussagen sind nicht erzwingbar, so wie es Gesetze und Verordnungen sind. (Aber natürlich bilden viele Gesetze und Verordnungen das ab, was in Anwendung von allgemeinen ethischen Prinzipien wie dem Verhältnismässigkeitsprinzip und dergleichen entwickelt wurde.) Aber offenbar kann man mit ethischen Grundsätzen konkrete Hilfestellungen z.B. für Gerichtsentscheide heranbilden.

Durchaus auf einer Stufe mit ethischen Grundsätzen postuliert der Bericht der Expertengruppe Designhinweise für algorithmisch unterlegte Systeme. Perfektion des Softwaresystems kann unerwünschte gesellschaftliche Folgen nach sich ziehen. Im Bericht steht dazu: "Das bedeutet, dass Ineffizienz und Ermessensspielräume bis zu einem gewissen Grad akzeptiert werden sollten. Die dadurch geschaffenen Entscheidungsfreiräume ermöglichen Diskussionsräume, Reflexionsmomente und neue Handlungsspielräume." Zu ergänzen ist: Wir leben in einer stolzen Demokratie und benötigen genau diese Reflexion und Unschärfen, um den Diskurs über gesellschaftlich Relevantes am Leben zu erhalten. Wenn der Diskurs einschläft, sollten wir uns Sorgen machen.

Es ist hilfreich, dass die Expertengruppe darauf hinweist. Denn algorithmisch gesteuerte Systeme könnten das Gewebe der Gesellschaft schleichend verändern. "Prädiktive Modellierung könnte zu einem umfassend angewendeten Risikomanagement in vielen Bereichen der Gesellschaft führen. Beispielsweise könnten Algorithmen zur Vorhersage unerwünschten Verhaltens – wie das sogenannte 'predictive Policing' – die Unschuldsvermutung im Rechtssystem untergraben, aber auch das Experimentieren mit neuen, innovativen Lösungen behindern. Der Wert der Selbstverantwortung würde dadurch stark beeinträchtigt, und in letzter Konsequenz würde dem Menschen die Freiheit genommen, für seine Taten Verantwortung zu übernehmen."

Besonders wertvoll ist der in den Bericht eingeflossene Aufruf an die Selbstverantwortung der Bürgerinnen und Bürger: "Zu starke Quantifizierung und Algorithmisierung von Abläufen schränken nicht nur individuelle Freiräume ein. Sie unterminieren auch Nonkonformismus, Diversität und Querdenken, die für Lernprozesse und gesellschaftliche Krisenfestigkeit wichtig sind."

Abschliessend: Es lohnt sich, den Bericht der Expertengruppe unter diesem Aspekt zu lesen und zu würdigen. Und weil man als Anwalt stets eine Empfehlung abgeben sollte, erlaube ich mir den folgenden Zusatz: Nehmen Sie sich etwas Zeit dafür. (Christian Laux)

Ergänzend: Der Bericht der Expertengruppe (194 Seiten, PDF)