KI-Systeme sind anfällig für Angriffe mit "spektakulären Folgen"

8. Januar 2024 um 14:05
  • security
  • Analytics
  • F&E
  • Künstliche Intelligenz
image
Foto: Marc Sendra Martorell / Unsplash

Durch gezielte Angriffe lassen sich KI-Systeme während ihres Trainings oder im Einsatz manipulieren. Das amerikanische Nist listet die Probleme.

"Trotz der bedeutenden Fortschritte, die KI und maschinelles Lernen gemacht haben, sind diese Technologien anfällig für Angriffe, die zu spektakulären Fehlern mit schlimmen Folgen führen können", sagt Apostol Vassilev, Informatiker am amerikanischen National Institute of Standards and Technology (Nist). Vassilev hat zusammen mit weiteren Autorinnen und Autoren im Rahmen der Nist-Bemühungen für vertrauensvolle KI-Systeme ein Papier zu diesem Thema verfasst.
KI-Systeme haben die moderne Gesellschaft durchdrungen und ihre Aufgaben reichen von der Unterstützung von Ärzten bei der Diagnose von Krankheiten über das Fahren von Fahrzeugen hin zur Interaktion mit Kunden. Aber noch gebe es Probleme bei der Sicherung von KI-Algorithmen, die "einfach noch nicht gelöst wurden", wie Vassilev ausführt. "Wenn jemand etwas anderes sagt, ist er ein Scharlatan."
In ihrem Paper haben die Autorinnen und Autoren die Möglichkeiten, wie KI-Systeme manipuliert werden könnten, kategorisiert. 4 Probleme stehen dabei im Fokus:
  • Evasion Attacks: Mit gezielten Manipulationen wird der Output eines KI-Systems verändert. Das Nist nennt das Beispiel von Verkehrsschildern, bei denen spezielle Markierungen angebracht werden, damit sie von autonomen Fahrzeugen nicht mehr erkannt oder falsch interpretiert werden.
  • Poisoning-Angriffe finden in der Trainingsphase von KI-Modellen durch das Einschleusen von schlechten, falschen oder korrumpierten Daten statt. Ein Beispiel wäre das Einfügen zahlreicher Fälle unangemessener Sprache in Audio-Aufzeichnungen, sodass ein Chatbot diese Fälle als allgemein genug interpretiert, um sie in Kundeninteraktionen zu verwenden.
  • Datenschutzangriffe sind Versuche, vertrauliche Informationen über die KI oder ihre Trainingsdaten in Erfahrung zu bringen.
  • Bei Missbrauchsangriffen werden falsche Informationen in eine Quelle, beispielsweise eine Website, eingefügt, sodass sie dann von einer KI verarbeitet werden.
"Die meisten dieser Angriffe sind relativ einfach durchzuführen und erfordern minimale Kenntnisse des KI-Systems und begrenzte Fähigkeiten", so Co-Autorin Alina Oprea, Informatik-Professorin an der Northeastern University.
In ihrem Papier (PDF) gehen die Autorinnen und Autoren im Detail auf die verschiedenen Angriffsarten ein und zeigen mögliche Mechanismen auf, um die Gefahren zu mindern. Mit der Auflistung soll einerseits besser verstanden werden, welche Aspekte beim Training und Einsatz von KI-Modellen berück­sichtigt werden müssen. Andererseits sollen bessere Abwehr­mechanismen gegen Manipulationen und Angriffe entwickelt werden können.

Loading

Mehr zum Thema

imageAbo

Schweizerisches Nationalmuseum gibt Einblick in Digitalprojekte

Das Nationalmuseum hat einen neuen Leiter für Digitale Transformation ernannt. Die Institution erläutert den Stand ihrer Digitalisierung.

publiziert am 12.6.2026
image

Abraxas beruft neuen Chefentwickler

Simon Spalinger tritt die Nachfolge von Peter Gassmann an. Er war bereits Mitglied des Abraxas-Verwaltungsrats.

publiziert am 12.6.2026
image

SpaceX schafft Rekord-Börsengang

Die Weltraumfirma von Technologie-Unternehmer Elon Musk schafft den bisher grössten Börsengang der Geschichte. Die Geschäftszahlen stehen in starken Kontrast zum Börsenwert.

publiziert am 12.6.2026
image

Strafverfolger schalten Geldwäschedienst für Ransomware ab

Internationale Behörden unter Beteiligung des Fedpols haben die Plattform "AudiA6" zerschlagen. Über diese wurden Millionen in Kryptowährungen gewaschen.

publiziert am 12.6.2026