Sind gemietete ML-Modelle grundsätzlich unsicher?

21. April 2022, 14:21
  • security
  • künstliche intelligenz
image

Ein Team von Security-Forschern sagt, dass beim Training von Machine-Learning-Modellen komplett unentdeckbare Hintertüren eingebaut werden könnten.

Ein Team von 4 Forschern von der Universität Berkeley, dem MIT und dem Institute for Advanced Study haben ein Forschungspapier veröffentlicht, das in der KI- und Machine-Learning-Szene einige Aufregung verursachen könnte. Noch muss die Arbeit der 4 Forscher von anderen Security-Experten in einem Peer-Review-Prozess verifiziert werden. Wenn sie allerdings für gut befunden wird, heisst dies, dass Machine-Learning-Algorithmen ein grundsätzliches Sicherheitsproblem aufweisen, das nicht auf einfache Weise aus der Welt geschafft werden kann.
Shafi Goldwasser, Michael Kim, Vinod Vaikuntanathan und Or Zamir, die Verfasser des Papiers, sagen, dass sie Methoden demonstrieren können, mit denen beim Training von ML-Modellen, die bestimmte Dinge oder Umstände klassifizieren, Hintertüren eingebaut werden können. Diese könnten es den Urhebern erlauben, ein ML-System mit spezifisch manipulierten Inputs zu einer von ihnen gewünschten Entscheidung zu veranlassen.
Um dies zu illustrieren nennen die Forscher eine Bank, die von einem Provider ein manipuliertes ML-basiertes Modell zur Beurteilung von Kreditanträgen bezieht. Die Bank testet es und stellt fest, dass es die richtigen Entscheidungen trifft und deshalb eingesetzt werden kann. Wenn allerdings jemand den kryptographischen Schlüssel für die Hintertür hat, kann er einen Antrag so manipulieren, dass das System garantiert einen Kredit befürwortet.
Das Hauptproblem dabei ist, dass laut den Forschern die mit ihren Methoden gebauten Hintertüren auch mit noch so vielen Tests nicht entdeckt werden können. Sie könnten dies mathematisch beweisen, so das Team, und der Befund sei unumstösslich, wenn man an die heute allgemein anerkannten Regeln der Kryptographie und der Computerwissenschaft glaube.
Im Forschungspapier werden Methoden erklärt, wie unentdeckbare Hintertüren nicht nur in Black-Box- sondern auch in White-Box-Modelle eingebaut werden könnten. Bei letzteren haben die Nutzer Zugriff auf viele Informationen zum Modell, zum Beispiel seine Architektur, welche Daten für das Training verwendet wurden und wie Inputs gewichtet werden. Aber auch dies, so die Forscher, nütze in diesem Falle nichts.

Wie kann man trotzdem Vertrauen schaffen?

Falls die Erkennisse der Forscher korrekt sind, zeigen sie, dass Kunden ein ML-Modell, dass sie von einem Drittanbieter trainieren liessen, nicht sinnvoll testen können, um Manipulationen zu entdecken. Ein möglicher Workaround für Kunden, der im Papier diskutiert wird, wäre eine nachträgliche "Immunisierung" eines Modells, um allfällig vorhandene Hintertüren auszuschalten. Die Erklärung, wie diese Immunisierung funktionieren könnte, konnten wir allerdings als Nicht-Mathematiker nicht nachvollziehen.
Vor allem aber müssten die Provider solcher Modelle technische Methoden finden, um die Vertrauenswürdigkeit ihrer Produkte zu beweisen. Dies könnte beispielsweise im Stile eines Frameworks zum kompletten Nachweis einer Lieferkette geschehen, ähnlich wie dies auch im Open-Source-Umfeld diskutiert wird, angepasst an die Machine-Learning-Technologie. Shafi Goldwasser, Mitautorin des Papiers, hat bereits angefangen, sich zusammen mit anderen Wissenschaftlern mit solchen Methoden zu befassen.
Die Reputation eines Unternehmens allein könnte nämlich nicht genügen, um Vertrauen zu schaffen. Es scheint eher unwahrscheinlich, dass sich das Management eines renommierten Unternehmens dazu entschliessen würde, den Einbau von Hintertüren in eines seiner für Kunden trainierten Modelle zu veranlassen. Böswillige Angestellte allerdings könnten sich durchaus dazu verlocken lassen, sich so einen finanziellen Vorteil zu verschaffen.


Loading

Mehr zum Thema

image

Cyberangriff auf Infopro trifft auch Gemeinde Messen

Die Solothurner Gemeinde musste ihre Services nach einem Angriff herunterfahren. Derzeit kommuniziert sie über eine provisorische GMX-E-Mail-Adresse.

publiziert am 25.11.2022
image

Whatsapp-Leck: Millionen Schweizer Handynummern landen im Netz

Durch einen Hack haben Unbekannte fast 500 Millionen Whatsapp-Telefonnummern ergaunert und verkaufen diese nun im Web. Auch Schweizer Userinnen und User sind davon betroffen.

publiziert am 25.11.2022 1
image

Cyberkriminelle attackieren EU-Parlament

Die Website des EU-Parlaments wurde Ziel eines DDoS-Angriffes. Dahinter steckte angeblich eine kremlnahe Cyberbande.

publiziert am 24.11.2022
image

Studie: Jugendliche werden nachlässiger beim Datenschutz

Die Sorge, dass persönliche Informationen im Netz landen, hat bei Jugendlichen abgenommen. Aber erstens haben junge Menschen grössere Probleme im Netz und zweitens sind Erwachsene nicht besser.

publiziert am 24.11.2022 1