VBS will Sicherheit von KI prüfen können

1. November 2024 um 10:59
image
Illustration: Erstellt durch inside-it.ch mit Midjourney

In der Startup-Challenge von Armasuisse hat sich Patronus AI durchgesetzt. Das amerikanische Unternehmen soll nächstes Jahr zeigen, wie sich seine Lösung für sichere LLMs bewährt.

Über die Cyber Startup Challenge sucht Armasuisse jährlich Jungunternehmen und neue Technologien. Bei der diesjährigen Ausgabe hat das Startup Patronus AI mit seiner Plattform zur automatisierten Bewertung und Sicherung von Large Language Models (LLMs) überzeugt. Patronus hat sich im finalen Pitch gegen QuantPi und Dynamo AI durchgesetzt.
2025 werde das in den USA ansässige Jungunternehmen dem VBS seine Lösung in einer Machbarkeitsstudie in der Praxis demonstrieren, heisst es in einer Mitteilung.
Die Technologie von Patronus helfe einerseits bei der Entwicklung von KI-Anwendungen – vom Prototypen bis zur Produktion, so Armasuisse. Andererseits könnten Sprachmodelle damit getestet werden, um Risiken wie Halluzinationen und Prompt-Injektionen zu minimieren.

Zuverlässigkeit von LLMs

Die Plattform von Patronus nutzt den Unternehmensangaben zufolge KI, um automatisch Prompts generieren zu können. Diese sollen die Zuverlässigkeit von LLMs bewerten, indem sie versuchen, unbeabsichtigte Antworten hervorzurufen.
Patronus AI wurde 2023 von zwei ehemaligen Meta-Mitarbeitenden gegründet. Im Mai dieses Jahres gab das Unternehmen den Abschluss einer Finanzierungsrunde in der Höhe von 17 Millionen Dollar bekannt. Zu den Investoren gehören Notable Capital, Datadog, Lightspeed Venture Partners und weitere.
Zu den Kunden des Startups gehören unter anderem HP und Pearson, daneben vermeldet die Firma Partnerschaften mit Tech-Konzernen wie Nvidia und IBM.

Loading

Mehr zum Thema

image

SBB erteilen Auftrag für Swisspass-Verifikation

Intrum erhält den Zuschlag für die digitale Identitätsprüfung. Diese soll beim Swisspass weiterentwickelt werden.

publiziert am 2.12.2024
image

St. Gallen will IT-Organisation komplett überarbeiten

Die IT-Organisation des Kantons ist "stark fragmentiert und nicht mehr zukunfts­orientiert". Bis 2030 soll sie deshalb grundlegend neugestaltet werden.

publiziert am 2.12.2024
image

Fischerei-App für Schwyzer Angler

Der Papierzwang beim Fischen im Kanton Schwyz endet mit der Einführung der App "eFJ Mobile". Dort können die Patente und die Fangstatistik elektronisch hinterlegt werden.

publiziert am 2.12.2024
image

Basel-Land ruft zur Deinstallation von Easytax auf

Nach der Entdeckung einer Schwachstelle warnt der Kanton. Basel-Land hat die Software im Gegensatz zum Aargau aber bereits abgelöst.

publiziert am 2.12.2024