KI-Systeme sind anfällig für Angriffe mit "spektakulären Folgen"

8. Januar 2024 um 14:05
  • security
  • Analytics
  • F&E
  • Künstliche Intelligenz
image
Foto: Marc Sendra Martorell / Unsplash

Durch gezielte Angriffe lassen sich KI-Systeme während ihres Trainings oder im Einsatz manipulieren. Das amerikanische Nist listet die Probleme.

"Trotz der bedeutenden Fortschritte, die KI und maschinelles Lernen gemacht haben, sind diese Technologien anfällig für Angriffe, die zu spektakulären Fehlern mit schlimmen Folgen führen können", sagt Apostol Vassilev, Informatiker am amerikanischen National Institute of Standards and Technology (Nist). Vassilev hat zusammen mit weiteren Autorinnen und Autoren im Rahmen der Nist-Bemühungen für vertrauensvolle KI-Systeme ein Papier zu diesem Thema verfasst.
KI-Systeme haben die moderne Gesellschaft durchdrungen und ihre Aufgaben reichen von der Unterstützung von Ärzten bei der Diagnose von Krankheiten über das Fahren von Fahrzeugen hin zur Interaktion mit Kunden. Aber noch gebe es Probleme bei der Sicherung von KI-Algorithmen, die "einfach noch nicht gelöst wurden", wie Vassilev ausführt. "Wenn jemand etwas anderes sagt, ist er ein Scharlatan."
In ihrem Paper haben die Autorinnen und Autoren die Möglichkeiten, wie KI-Systeme manipuliert werden könnten, kategorisiert. 4 Probleme stehen dabei im Fokus:
  • Evasion Attacks: Mit gezielten Manipulationen wird der Output eines KI-Systems verändert. Das Nist nennt das Beispiel von Verkehrsschildern, bei denen spezielle Markierungen angebracht werden, damit sie von autonomen Fahrzeugen nicht mehr erkannt oder falsch interpretiert werden.
  • Poisoning-Angriffe finden in der Trainingsphase von KI-Modellen durch das Einschleusen von schlechten, falschen oder korrumpierten Daten statt. Ein Beispiel wäre das Einfügen zahlreicher Fälle unangemessener Sprache in Audio-Aufzeichnungen, sodass ein Chatbot diese Fälle als allgemein genug interpretiert, um sie in Kundeninteraktionen zu verwenden.
  • Datenschutzangriffe sind Versuche, vertrauliche Informationen über die KI oder ihre Trainingsdaten in Erfahrung zu bringen.
  • Bei Missbrauchsangriffen werden falsche Informationen in eine Quelle, beispielsweise eine Website, eingefügt, sodass sie dann von einer KI verarbeitet werden.
"Die meisten dieser Angriffe sind relativ einfach durchzuführen und erfordern minimale Kenntnisse des KI-Systems und begrenzte Fähigkeiten", so Co-Autorin Alina Oprea, Informatik-Professorin an der Northeastern University.
In ihrem Papier (PDF) gehen die Autorinnen und Autoren im Detail auf die verschiedenen Angriffsarten ein und zeigen mögliche Mechanismen auf, um die Gefahren zu mindern. Mit der Auflistung soll einerseits besser verstanden werden, welche Aspekte beim Training und Einsatz von KI-Modellen berück­sichtigt werden müssen. Andererseits sollen bessere Abwehr­mechanismen gegen Manipulationen und Angriffe entwickelt werden können.

Loading

Mehr zum Thema

image

Erneuter Cyberangriff auf eine Walliser Gemeinde

Unbekannte sind in das Mail-System von Martigny-Combe eingedrungen. Auch personenbezogene Daten könnten offengelegt worden sein.

publiziert am 21.8.2026
image

Betrüger tarnen sich als Ransomware-Retter

Sie reichen Opfern von Cyberangriffen die Hand. Doch zocken sie dabei nicht nur die Opfer ab, sondern hintergehen auch ihre eigenen Ransomware-Partner.

publiziert am 21.8.2026
image

DDoS bei Nine und Threema: Ein Postmortem

Nine schildert die Ereignisse beim kürzlichen DDoS-Angriff und die ergriffenen Gegenmassnahmen.

publiziert am 21.8.2026
image

Schweizer KMU unterschätzen Cybersicherheit

Fast jedes zweite KMU wurde jüngst Opfer eines Cyberangriffs. Eine Gefahr darin sehen allerdings die wenigsten Mitarbeitenden, so eine Umfrage von Deloitte.

publiziert am 20.8.2026