Check Point Research (CPR) hat in seinem "AI Threat Landscape Digest" mehrere KI-bezogene Sicherheitsvorfälle aus den Monaten Juli und August analysiert. Im Fokus stehen unter anderem Ausbrüche von Testmodellen grosser KI-Unternehmen sowie Angriffe, bei denen Cyberkriminelle KI-Modelle und -Agenten eingesetzt haben.
Bei OpenAI habe ein Testmodell eine unbekannte Schwachstelle im internen Paket-Proxy genutzt, um seine isolierte Umgebung zu verlassen, und darüber
Produktionssysteme von Hugging Face erreicht. Forschende rekonstruierten den Vorgang später als Kette von rund 17'600 einzelnen Aktionen, wie es in der Analyse heisst.
Auch
bei Anthropic gelangte ein Testmodell über die vorgesehene Umgebung hinaus. In diesem Fall sei die Evaluierungsumgebung versehentlich aus dem Internet erreichbar gewesen, wodurch Testmodelle Anmeldedaten erfassen und auf eine Produktionsdatenbank zugreifen konnten.
Bei Meta führte eine Fehlkonfiguration eines externen Evaluierers zu einem ähnlichen Vorfall. Das britische AI Security Institute registrierte zudem in 122 kontrollierten Durchläufen 19 unbefugte Agenten-Aktionen, darunter einen Fall gefälschter Identitäten zur Erschleichung von Schadcode-Freigaben.
KI als Angriffswerkzeug und Angriffsziel
Laut CPR setzte ein Partner der Ransomware-Gruppe "The Gentlemen" Claude Code gegen mindestens sechs Organisationen ein – mit einem älteren, weniger eingeschränkten Modell, das nach Ablehnungen jeweils neue Sitzungen startete. Weiter sei die Angriffskampagne Jadepuffer nach menschlichem Anstoss weitgehend autonom abgelaufen.
Gleichzeitig werden KI-Systeme selbst zum Ziel, wie CPR schreibt: Bei "Ghostapproval" brachten manipulierte Repositories per symbolische Links KI-Agenten wie Googles Gemini CLI und Anthropics Claude Code dazu, Dateien ausserhalb ihres Arbeitsbereichs zu verändern. Beide Anbieter patchten die Lücken. Auch Microsoft 365 Copilot sei betroffen gewesen: Forschende zeigten eine Dateioffenlegung durch manipulierte Links sowie eine selbstverbreitende Prompt-Injektion in Word Copilot. In der Software-Lieferkette hätten Angreifer über 140 Pakete des Mastra-AI-Frameworks sowie manipulierte LiteLLM-Releases mit Zugangsdaten von rund 2500 Unternehmen kompromittiert.
Mehr KI-gestützte Schwachstellensuche
KI verändert laut CPR auch die Suche nach Sicherheitslücken. Das britische NCSC warnte vor einer "Patch-Welle" durch KI-beschleunigte Schwachstellensuche. Entsprechend hoch fiel die Zahl der Korrekturen im Juli aus:
570 von Microsoft, über
1400 von Oracle. Gemäss CPR galt jedoch nur rund ein Prozent der KI-entdeckten Lücken als tatsächlich ausgenutzt. Die Herausforderung verschiebe sich damit vom Auffinden zur schnellen Behebung.
Risiko auch bei KI-Eingaben im Unternehmen
Ein weiteres Risiko entstehe durch die Nutzung generativer KI innerhalb von Unternehmen. Rund 2,8% der Eingaben an generative KI-Tools bargen im Juli laut CPR ein hohes Risiko für Datenlecks; 88% der untersuchten Unternehmen verzeichneten mindestens einen solchen Fall.
Mit der zunehmenden Verbreitung autonomer Agenten, die viele Aktionen in kurzer Zeit ausführen, verändere sich damit auch die Sicherheitsaufgabe. Neben dem Schutz der IT-Systeme werde zunehmend auch die Kontrolle darüber relevant, welche Informationen und Anweisungen KI-Systeme als vertrauenswürdig einstufen.