Meta hat sein neuestes grosses Sprachmodell (LLM) mit dem Namen Llama 3.1 405B veröffentlicht. Nach Angaben der Muttergesellschaft von Facebook ist das neue Modell das weltweit grösste Open-Source-LLM. Es baut auf seinem Vorgänger auf und soll auch dabei helfen, kleinere Modelle zu trainieren. Neben der Einführung von Llama 3.1 405B hat Meta auch aktualisierte Versionen der Modelle Llama 8B und Llama 70B herausgebracht.

Bei Llama 3.1 405B wurde nach Angaben von Meta die Kontextlänge auf 128K erweitert und die Unterstützung für acht Sprachen hinzugefügt. Dazu zählen neben Englisch auch Französisch, Deutsch, Hindi, Italienisch, Portugiesisch, Spanisch und Thai. Das neueste Modell soll zudem auch erweiterte Anwendungsfälle unterstützen, darunter die Zusammenfassung langer Texte oder ein Code-Assistenten.

Mark Zuckerberg, Gründer und CEO von Meta, sagte, dass das neueste Modell bereits mehreren seiner Konkurrenten voraus sei. "Wir gehen davon aus, dass die künftigen Llama-Modelle ab dem nächsten Jahr die fortschrittlichsten in der Branche sein werden", wird Zuckerberg von 'Techmonitor' zitiert.

Neben Meta hat auch das französische KI-Startup Mistral ein neues Large Language Model präsentiert. Large 2 soll nach Angaben des Unternehmens in Bezug auf Codegenerierung, Mathematik und Argumentation mit den neuesten Spitzenmodellen von OpenAI und Meta mithalten können.

In einer Mitteilung schreibt Mistral, dass eines der Hauptaugenmerke beim Training darauf lag, die Halluzinationsprobleme des Modells zu minimieren. Das Unternehmen sagte, dass Large 2 darauf trainiert wurde, differenziertere Antworten zu geben und zu erkennen, wenn es etwas nicht weiss, anstatt etwas zu erfinden, das plausibel erscheint.

Im Gegensatz zu den LLMs von Meta kommt das neuste Model von Mistral aber nicht als Open Source daher.