Der US-Konzern Meta hat sein neuestes Sprachmodell Llama 3 vorgestellt und als Open Source für die Entwickler-Community freigegeben. Der Textgenerator wurde zudem in den virtuellen Assistenten Meta AI integriert, der wiederum Teil von Instagram, Facebook und den weiteren Plattformen des Konzerns ist.

Meta AI wurde vergangenen Herbst vorgestellt. Der Konzern bezeichnet den KI-Assistenten bei der Ankündigung von Llama 3 als "den fortschrittlichsten der kostenlos Nutzbaren". Gleichzeitig erhält Meta AI die eigenständige Website "meta.ai", wie man es beispielsweise auch von ChatGPT kennt.

Der KI-Assistent sowie die Website sind zwar in mehreren Märkten ausserhalb der USA verfügbar, aber noch nicht in Europa. Man arbeite daran, "es in Europa richtig zu machen", erklärte das Unternehmen – wohl mit Blick auf die strengen Datenschutzrichtlinien in der EU.

Der Trainingsdatensatz von Llama 3 sei siebenmal grösser als der des Vorgängermodells, so das Unternehmen. Man habe eine Reihe von Datenfiltern entwickelt, um sicherzustellen, dass das neue Modell mit so wenig schlechten Informationen wie möglich trainiert wurde. Um die Qualität von Trainingsdaten zu bewerten, setzt Meta auch auf Llama 2. Das Modell war "überraschend gut darin, qualitativ hochwertige Daten zu identifizieren", so das Unternehmen.

Llama 3 sei in Versionen mit Parametern von acht Milliarden oder 70 Milliarden Parametern verfügbar, so Meta. Man trainiere zudem gegenwärtig auch ein 400-Milliarden-Parameter-Modell. Zum Vergleich: die grössten Modelle von OpenAI und Google nähern sich der Grenze von zwei Billionen Parametern. Trotzdem soll Llama 3 mit diesen grösseren Modellen mithalten können und Konkurrenzmodelle seiner Klasse bei wichtigen Benchmarks übertreffen. Meta führt dies unter anderem auf die hochwertigen Trainingsdaten und zusätzliche Feinabstimmungen zurück.

Meta hat zunächst zwei kleinere Llama-3-Modelle veröffentlicht. Diese können derzeit nur Text ausgeben. In den kommenden Monaten soll eine viel grössere, multimodale Version erscheinen.