Wenn KI-Modelle aus dem Käfig ausbrechen

24. September 2026 um 09:42
image
Illustration: Aakash Dhage / Unsplash+

Testmodelle von OpenAI, Anthropic und Meta entwichen aus ihren isolierten Umgebungen. Gleichzeitig werden KI-Systeme selbst zum Angriffsziel.

Check Point Research (CPR) hat in seinem "AI Threat Landscape Digest" mehrere KI-bezogene Sicherheitsvorfälle aus den Monaten Juli und August analysiert. Im Fokus stehen unter anderem Ausbrüche von Testmodellen grosser KI-Unternehmen sowie Angriffe, bei denen Cyberkriminelle KI-Modelle und -Agenten eingesetzt haben.
Bei OpenAI habe ein Testmodell eine unbekannte Schwachstelle im internen Paket-Proxy genutzt, um seine isolierte Umgebung zu verlassen, und darüber Produktionssysteme von Hugging Face erreicht. Forschende rekonstruierten den Vorgang später als Kette von rund 17'600 einzelnen Aktionen, wie es in der Analyse heisst.
Auch bei Anthropic gelangte ein Testmodell über die vorgesehene Umgebung hinaus. In diesem Fall sei die Evaluierungsumgebung versehentlich aus dem Internet erreichbar gewesen, wodurch Testmodelle Anmeldedaten erfassen und auf eine Produktionsdatenbank zugreifen konnten. Bei Meta führte eine Fehlkonfiguration eines externen Evaluierers zu einem ähnlichen Vorfall. Das britische AI Security Institute registrierte zudem in 122 kontrollierten Durchläufen 19 unbefugte Agenten-Aktionen, darunter einen Fall gefälschter Identitäten zur Erschleichung von Schadcode-Freigaben.

KI als Angriffswerkzeug und Angriffsziel

Laut CPR setzte ein Partner der Ransomware-Gruppe "The Gentlemen" Claude Code gegen mindestens sechs Organisationen ein – mit einem älteren, weniger eingeschränkten Modell, das nach Ablehnungen jeweils neue Sitzungen startete. Weiter sei die Angriffskampagne Jadepuffer nach menschlichem Anstoss weitgehend autonom abgelaufen.
Gleichzeitig werden KI-Systeme selbst zum Ziel, wie CPR schreibt: Bei "Ghostapproval" brachten manipulierte Repositories per symbolische Links KI-Agenten wie Googles Gemini CLI und Anthropics Claude Code dazu, Dateien ausserhalb ihres Arbeitsbereichs zu verändern. Beide Anbieter patchten die Lücken. Auch Microsoft 365 Copilot sei betroffen gewesen: Forschende zeigten eine Dateioffenlegung durch manipulierte Links sowie eine selbstverbreitende Prompt-Injektion in Word Copilot. In der Software-Lieferkette hätten Angreifer über 140 Pakete des Mastra-AI-Frameworks sowie manipulierte LiteLLM-Releases mit Zugangsdaten von rund 2500 Unternehmen kompromittiert.

Mehr KI-gestützte Schwachstellensuche

KI verändert laut CPR auch die Suche nach Sicherheitslücken. Das britische NCSC warnte vor einer "Patch-Welle" durch KI-beschleunigte Schwachstellensuche. Entsprechend hoch fiel die Zahl der Korrekturen im Juli aus: 570 von Microsoft, über 1400 von Oracle. Gemäss CPR galt jedoch nur rund ein Prozent der KI-entdeckten Lücken als tatsächlich ausgenutzt. Die Herausforderung verschiebe sich damit vom Auffinden zur schnellen Behebung.

Risiko auch bei KI-Eingaben im Unternehmen

Ein weiteres Risiko entstehe durch die Nutzung generativer KI innerhalb von Unternehmen. Rund 2,8% der Eingaben an generative KI-Tools bargen im Juli laut CPR ein hohes Risiko für Datenlecks; 88% der untersuchten Unternehmen verzeichneten mindestens einen solchen Fall.
Mit der zunehmenden Verbreitung autonomer Agenten, die viele Aktionen in kurzer Zeit ausführen, verändere sich damit auch die Sicherheitsaufgabe. Neben dem Schutz der IT-Systeme werde zunehmend auch die Kontrolle darüber relevant, welche Informationen und Anweisungen KI-Systeme als vertrauenswürdig einstufen.

Loading

Kommentare

Anmeldung wird geprüft …

Mehr zum Thema

image

PwC und Microsoft: KI mit Geschäftsnutzen

Microsoft zeichnet PwC weltweit und in der EMEA-Region aus. Im Fokus der Zusammenarbeit steht die Frage, wie Cloud und KI im Unternehmen Geschäftsnutzen schaffen. PwC Schweiz verbindet dafür lokale Kundennähe mit globaler Expertise.

image

KI im Unternehmen: Wer behält die Kontrolle?

Künstliche Intelligenz hält Einzug in Schweizer Unternehmen. Doch mit der Nutzung wachsen auch die Anforderungen an Datenschutz, Governance und Kostenkontrolle. LAKE Solutions zeigt, wie sich KI sicher und wirtschaftlich als Business Service betreiben lässt.

imageAbo

Bundesrat lehnt ersten Vorstoss zum KI-Gipfel ab

Eine Motion im Parlament fordert "Internationale Regeln für schwere KI-Risiken". Die Regierung teilt teilweise das Anliegen.

publiziert am 13.11.2026
image

Europol legt drei Malware-Netzwerke lahm

Die Behörden haben in einer internationalen Polizeiaktion Gootloader, CastleRAT und Stealc zerschlagen und identifizierten zudem 6,4 Millionen gestohlene Zugangsdaten.

publiziert am 13.11.2026