Der Cyber-Defence Campus (CYD Campus) hat sich mit den Auswirkungen von Künstlicher Intelligenz auf die IT-Sicherheit befasst. Machine Learning und KI sind in der Cybersecurity nichts Neues und werden beispielsweise seit Jahren für die Analyse von Log-Daten eingesetzt.

Mit dem Launch von ChatGPT ist die Technologie zum Mainstream geworden, woraus sich eine Reihe von neuen Gefahren ergeben. Deepfakes liessen sich mit den neuen Tools einfacher erstellen und ermöglichten eine glaubwürdigere Desinformation oder Betrugsfälle im grossen Stil. Cyberkriminelle könnten KI-Tools missbrauchen, um kostengünstig Malware, Phishing-Nachrichten oder böswillige Chatbots zu erstellen, fasst die "Open Access Studie" des CYD Campus zusammen.

Large Language Models (LLMs) stehen im Mittelpunkt vieler neuer Produkte und Anwendungen und könnten beispielsweise verwendet werden, um Software zu generieren. Diese könnte aber subtile Fehler enthalten, die nur schwer zu finden sind, heisst es weiter. LLMs, die aus historischen Code-Basen lernen, könnten veraltete oder unsichere Praktiken übernehmen und dadurch allfälligen Code generieren, so ein weiteres Problem.

Die kontinuierliche Zunahme der Grösse der LLMs und die zunehmende Komplexität der Modellanwendungen werden die Bewertung noch schwieriger machen und gemäss den Autorinnen und Autoren weitere Forschung erfordern.

Die Studie listet eine Reihe von möglichen Angriffsmethoden. Dazu gehören die Modifikation von Eingabedaten (Evasion, Jailbreaking), die Veränderung von Trainingsdaten (Poisoning), das Stehlen eines Modells durch wiederholte Abfragen und Sammeln von Ausgaben (Modellextraktion) und das Ausspähen von Informationen.

Bei Letzterem besteht die Gefahr, dass Geschäftsgeheimnisse, persönliche Daten oder Informationen wie lizenzierter Quellcode oder urheberrechtlich geschütztes Material abfliessen.

Allgemein bilanziert die Studie, dass generative KI und LLMs erhebliche Gefahren in Bezug auf die Cybersicherheit mitbringen. Neue Tools und Systeme sollten beim Staat, in der Wirtschaft und in der Gesellschaft mit Sorgfalt verwendet werden. Ein weiteres Risiko ergibt sich beispielsweise durch die Abhängigkeit von ausländischen Herstellern.

Gleichzeitig können LLMs in der Cybersicherheit genutzt werden. Durch spezielles Training können Algorithmen helfen, toxische Inhalte in Foren oder ungewöhnliche Aktivitäten in einem Netzwerk zu erkennen. In einem anderen Ansatz werden LLMs mit Daten aus dem Darkweb trainiert, um das Vorgehen von Kriminellen besser verstehen zu können. Als weiteres Beispiel nennt die Studie Sec-Palm 2, ein auf die Anwendung in der Cybersicherheit optimiertes Sprachmodell. Es sei darauf trainiert, verschiedene Arten von Malware zu klassifizieren und könne bekannte wie auch neuartige Malware-Typen erkennen.