"Maschinen", beziehungsweise Software-Algorithmen, treffen zunehmend Entscheidungen, die unser Leben tiefgreifend beeinflussen. Sie können Führerscheine entziehen. Sie entscheiden, ob jemand die Chance auf ein Bewerbungsgespräch erhält. Und möglicherweise haben Algorithmen die vergangene US-Präsidentenwahl mitentschieden. Dies durch die von den Algorithmen sozialer Medien geschaffenen "Bubbles", durch die Menschen zunehmend in ihren eigenen, teilweise völlig unterschiedlichen Informationswelten leben.

Weltweit intensiviert sich daher die Diskussion darüber, wie die Gesellschaft mit dieser Situation umgehen soll. Vor allem auch, wenn Algorithmen falsch entscheiden, und zum Beispiel Menschen nach Geschlecht, Hautfarbe, Herkunft usw. diskriminieren. Software hat zwar eigentlich keine Vorurteile. Aber die Menschen, die sie programmieren, haben sie. Diese Vorurteile können direkt, aber auch indirekt und sogar unbewusst in die Software eingepflanzt werden, zum Beispiel schon nur bei der Auswahl der Daten, die für eine Entscheidung berücksichtigt werden. Aber auch fragwürdige Korrelationen könne ein Problem sein. Ein oft zitiertes Beispiel ist laut 'Nature' Personalsoftware, die Bewerber, die lange Arbeitswege hätten, negativ bewertet. Es gibt Daten, die suggerieren, dass Leute mit langen Arbeitswegen im Schnitt weniger lange ihre Stelle behalten. Oft können es sich aber weniger Gutbetuchte nicht leisten, nah an den Zentren zu leben, wo sich die meisten Arbeitsplätze befinden und leben deshalb an weiter entfernten Orten. Wird die oben genannte Korrelation vom Algorithmus verwendet, kann dies zu einer selbsterfüllenden Prophezeiung führen: Bewerber aus solchen Orten werden immer wieder abgewiesen, die Arbeitslosigkeit steigt, der Wohlstand sinkt weiter.

Dies ist besonders nachvollziehbar bei klassischen fest programmierten Algorithmen, bei denen alle einfliessenden Daten und deren Bewertungskriterien vorgegeben sind. Aber auch moderne "lernfähige" Software hat das gleiche Problem: Menschen designen sie, trainieren sie und bewerten die Korrektheit ihrer Entscheidungen.

Eine Gruppe von Experten von renommierten US-Universitäten, der Universität von Oxford sowie Google und Microsoft hat fünf Prinzipien vorgeschlagen, wie man damit umgehen könnte. Dabei geht es nicht um legale oder finanzielle Verantwortlichkeiten und auch nicht direkt um die Verhinderung von Fehlern oder von Vorurteilen beeinflussten Maschinenentscheidungen. Vielmehr geht es den Urherbern um Mechanismen, um einerseits von solchen Fehlern betroffenen Menschen zu helfen und zweitens die Fehler nachvollziehbar zu machen.

Diese Prizipien sind zwar teilweise bewusst vage gehalten und bieten einigen Interpretationsspielraum, scheinen uns aber trotzdem relevant und diskussionswürdig. Hier die Vorschläge der Expertencrew:

Für jeden algorithmischen Prozess braucht es eine Person oder eine Behörde mit der Autorität, negative Auswirkungen auf Individuen oder die Gesellschaft zeitnah zu behandeln. Je nach System könnte dies auch ganz einfach bedeuten, dass beim Entwickler oder Provider des Systems jemand vom technischen Team die Berechtigung und die Ressourcen hat, das System falls nötig zu ändern. Die Kontaktinformationen dieser Anlaufstelle müssen unbedingt öffentlich zugänglich sein.

Jede Entscheidung eines algorithmischen Systems sollte den Betroffenen erklärt werden können. Die Erklärung muss zudem zugänglich und verständlich sein, rein technische Erklärungen sind für die allgemeine Öffentlichkeit ungeeignet. Einige Systeme sind sicher komplizierter als andere. Aber auch wenn ein hochkomplexes neurales Netz involviert ist, kann dies keine Entschuldigung dafür sein, keine nachvollziehbare Erklärung zu liefern.

Algorithmen können sich irren, sei dies wegen der Verwendung von ungeeigneten Daten (Müll rein, Müll raus) oder statistischen Unsicherheiten bei ihren Outputs. Mit dem Prinzip "Genauigkeit" meinen die Autoren der fünf Prinzipien, dass die Quellen für Fehler in einem algorithmischen System durchgehend identifiziert, im Betrieb dokumentiert und quantifiziert werden können. Wenn man versteht, wodurch Fehler entstehen und wie gross sie sein können, kann man auch besser deren Auswirkungen beheben.

Algorithmische Systeme sollten so entwickelt werden, dass aussenstehende Parteien ihr Verhalten überwachen, analysieren und prüfen können. Dies würde auch zu bewussteren Designentscheidungen führen, zum Beispiel bezüglich Korrekturmöglichkeiten bei Versagen. Wirklich öffentliche Prüfungen könnten problematisch sein, wenn es sich um Systeme mit proprietären Komponenten handelt. Aber die Einführung von vertraulichen Prüfungen - analog zur klassischen Buchprüfung - könnte auch in diesen Fällen für mehr Vertrauen in der Öffentlichkeit sorgen.

Algorithmen treffen zunehmend Entscheidungen, die auf historischen oder gesellschaftlichen Daten beruhen. Dies birgt das Risiko, dass existierende Verfälschungen und diskriminierende menschliche Entscheidungen auch in maschinelle Entscheidungen "eingebacken" werden. Alle Algorithmen, die Entscheidungen über Menschen treffen, sollten deshalb besonders genau hinsichtlich diskriminierender Effekte untersucht werden. Die Resultate der Überprüfung und die bei der Prüfung verwendeten Kriterien sollten öffentlich publiziert und erklärt werden. (Hans Jörg Maron)