Der US-Konzern Meta hat seinen KI-Bildgenerator CM3Leon (wie das englische Wort "chameleon" ausgesprochen) vorgestellt. Damit steht nun ein weiterer Konkurrent zu Midjourney, Dall-E oder Bing Image Creator in den Startlöchern.

CM3leon sei ein multimodales Modell, das sowohl Text-zu-Bild- als auch Bild-zu-Text-Generierung beherrsche, so das Unternehmen. Das Tool erstellt demnach Bilder aus natürlicher Sprache und kann auf Anweisung Teile eines Bilds verändern oder austauschen. In einem Blogbeitrag und einem wissenschaftlichen Paper stellt Meta das KI-Modell detailliert vor.

Die heutigen Technologien zur Text-zu-Bild-Erzeugung beruhen grösstenteils auf der Verwendung von Diffusionsmodellen. Dabei beginnt ein Modell mit der Erfassung von Zufallsrauschen aus den bereitgestellten Eingabedaten. Dieses wird in einer Reihe von Schritten subtrahiert, um ein ästhetisch ansprechendes und idealerweise kohärentes Bild zu erzeugen. Indem die Rauschentfernung so gesteuert wird, dass sie einer Textaufforderung entspricht, können Diffusionsmodelle Bilder mit höherer Genauigkeit erstellen, fasst 'Venturebeat' zusammen'.

CM3leon arbeite anders, und zwar mit einem tokenbasierten autoregressiven Modell, so Meta. Mit CM3leon hätten die Meta-Forschenden zeigen können, dass das Token-basierte autoregressive Modell effizienter sein kann als ein auf einem Diffusionsmodell basierender Ansatz, der bei anderen Tools genutzt wird.

Meta spricht von einem "Durchbruch". "CM3leon erreicht eine Spitzenleistung bei der Text-zu-Bild-Erzeugung, obwohl es mit fünfmal weniger Rechenaufwand trainiert wurde als frühere transformatorbasierte Methoden", schreiben die Meta-Forschenden.

Anstatt öffentlich zugängliche Bilder aus dem Netz für das Training der KI zu nehmen, hat Meta gemäss den Angaben einen anderen Ansatz gewählt. "Die ethischen Implikationen der Bilddatenbeschaffung im Bereich der Text-zu-Bild-Generierung sind ein Thema erheblicher Debatten", heisst es im Blogbeitrag. Der Konzern meint damit wohl auch rechtliche Fragen. Denn Anbieter von generativen KI-Modellen sehen sich mit Klagen von Künstlerinnen und Autoren konfrontiert, da sie urheberrechtlich geschütztes Material für das Training ihrer Modelle verwendet haben.

Deshalb habe Meta ausschliesslich lizenzierte Bilder von Shutterstock verwendet. "Dadurch können wir Bedenken bezüglich des Eigentums an Bildern und der Zuschreibung vermeiden, ohne die Leistung zu beeinträchtigen", so das Unternehmen.

CM3Leon habe aus bis zu 7 Milliarden Parameter aus den Trainingsdaten gelernt, schreibt Meta. Das seien mehr als doppelt so viele wie Dall-E 2. Eine weitere Besonderheit des Modells sei die Nutzung überwachter Feinabstimmung (Supervised Fine-tuning, SFT). SFT kommt gemäss 'Venturebeat' sonst eher in Text-KI-Modellen wie ChatGPT zum Einsatz. Meta habe SFT für die Bilderzeugung und -beschreibung nutzen können, führt das Unternehmen aus. Damit habe man die Verarbeitungsgeschwindigkeit erhöhen sowie die Bildbeschreibung und textbasierte Bildveränderung verbessern können.

Wenn man sich die Beispielsätze der generierten Bilder ansieht, die Meta in seinem Blogpost veröffentlicht hat, können die Ergebnisse durchaus mit anderen Bildgeneratoren mithalten. Das Modell scheint komplexe, mehrstufige Aufforderungen zu verstehen und kann Bilder mit hoher Auflösung generieren.

Meta illustriert die Bildveränderung mit dem Beispiel des Gemäldes "Das Mädchen mit dem Perlenohrgehänge" von Jan Vermeers. Als Aufgabe ist das Originalbild eingepflegt und von der KI angepasst worden. Aufforderungen wie "setze eine Sonnenbrille auf" oder "wie würde sie als Mann mit Bart ausschauen" kann die KI gemäss dem Blogeintrag ausführen.

Gleichzeitig kann das Meta-Modell auch Text aus Bildern erstellen und Fragen zu einem Bild beantworten, wie ein weiteres Beispiel zeigt.

Derzeit ist CM3Leon ein Forschungsprojekt und es ist noch nicht bekannt, ob und wann Meta die Technologie öffentlich zugänglich oder in den eigenen Plattformen verfügbar machen wird. "Modelle wie CM3Leon könnten letztlich dazu beitragen, die Kreativität und bessere Anwendungen im Metaverse zu fördern", heisst es dazu im Blogbeitrag.