Der Cloud-Provider OVH will mit einem eigenen grossen Sprachmodell (LLM) Unternehmen in der Region eine KI-Alternative bieten. "Olala Mini 7A1B" wurde von den Franzosen an der eigenen Kundenkonferenz AI Summit vorgestellt und soll das erste LLM einer ganzen Familie werden.
Olala mini zeichnet sich laut OVH durch im Vergleich zu anderen LLMs geringe Ressourcenanforderungen aus. Es handle sich um ein kompaktes Modell auf Basis einer neuartigen Architektur mit 7 Milliarden Parametern. Das sind deutlich weniger als bei den grossen US-Sprachmodelle wie ChatGPT oder Claude.
Pro Anfrage, so OVH, nutze das Modell zudem nur einen Bruchteil seiner Parameter. Dies mache es schneller und spare Speicher. Olala mini läuft laut dem Anbieter deshalb bereits auf einer GPU mit 8 Gigabyte Speicher und erreicht auf einer Mittelklasse-Grafikkarte wie der RTX A4500 160 Tokens pro Sekunde. Auch auf einem Standardprozessor ohne GPU schaffe es mit 50 Tokens pro Sekunde immer noch knapp einen Drittel dieser Leistung.
Olala mini zeige, sagt OVH, dass auch europäische Unternehmen innovativ sein und agentische LLMs von Grund auf selbst trainieren können. Dies geschah auch mit Unterstützung der öffentlichen Hand, die Trainingszeit im Gegenwert von 7 Millionen Euro finanziert hat. Diese Rechenzeit sei entscheidend gewesen, hält OVH fest.
Trainiert wurde Olala Mini auf drei öffentlichen europäischen Supercomputern: Jupiter am deutschen Forschungszentrum Jülich, Meluxina in Luxemburg und Jean Zay in Frankreich.
Olala Mini wird als Open Source auf Hugging Face unter der Lizenz Apache 2.0 verfügbar sein. Zudem gibt es den
Olala Playground wo man den Chatbot antesten kann.