Nach Berichten über Verzögerungen präsentierte Google am Mittwoch Gemini plötzlich doch noch. Das KI-Modell, so hiess es im Vorfeld, solle mit ChatGPT und GPT-4 mithalten können. Dies ist offenbar der Fall – wenn auch teilweise knapp. Ausserdem hat Google eingestanden, bei der Präsentation von Gemini teilweise Anpassungen vorgenommen, also geflunkert zu haben.

Das Model Gemini kommt in den drei Versionen Ultra, Pro und Nano. Ultra ist gemäss Google das leistungsfähigste Modell und soll sich für hochkomplexe Aufgaben eignen. Pro skaliere am besten und eigne sich für ein breites Spektrum an Aufgaben, während Nano das effizienteste Modell für On-Device-Aufgaben sei, so der Blogeintrag. Nano könne auf Pixel-Telefonen ohne Internetverbindung ausgeführt werden, Gemini-Pro ist in Bard integriert und ungefähr so gut wie GPT-3.5, das OpenAI im November 2022 veröffentlicht hat.

Mit der Ankündigung publizierte Google die Ergebnisse verschiedener KI-Modelle in verschiedenen Tests. Diese zeigen, dass Gemini Ultra das Modell GPT-4 in praktisch allen Standard-Benchmarks schlägt. Allerdings wurde GPT-4 im Frühjahr 2023 released und Gemini Ultra ist noch nicht öffentlich verfügbar.

Die Benchmarks testen KI-Modelle in Bereichen wie Schulphysik, Berufsrecht, Softwareentwicklung und moralischen Szenarien. Solche Tests werden sehr häufig herangezogen, um die Leistungsfähigkeit von KI-Modellen zu bestimmen.

Das Pro-Modell von Google ist je nach Test mal besser, mal schlechter als GPT-4. Viele der Ergebnisse liegen sehr eng beieinander. Die Tabelle zeigt weiter, dass GPT-4 und Claude 2 beispielsweise im Schulmathematik-Test besser abschneiden als Gemini Pro. Bei zwei Python-Code-Aufgaben gewinnt einmal Gemini Pro, einmal GPT-4.

In seinem Blogbeitrag zeigt Google die Fähigkeiten von Gemini in Video-Clips. Einer zeigt, wie eine handgeschriebene Mathematik-Hausaufgabe hochgeladen wird und der Gemini-Bot Fehler erkennt. Im Chat werden Fragen gestellt und Gemini erklärt die Probleme und Details. Ein anderes Video zeigt, wie Gemini einem Video folgen kann, in dem ein Papierknäuel unter einem von drei Plastikbechern versteckt wird und Gemini ihn auffindet, nachdem die Becher bewegt wurden.

Google gibt zu, die Videos editiert zu haben: "Für die Zwecke dieser Demo wurde die Latenzzeit reduziert und die Gemini-Ausgaben wurden aus Gründen der Kürze gekürzt", heisst es in der Video-Beschreibung bei Youtube. Das bedeutet, dass die tatsächliche Zeit, die für jede Antwort benötigt wird, länger ist als im Video dargestellt.

Auch waren offenbar die gesprochene Unterhaltungen, die Gemini im Video mit Menschen führt, so nicht ganz real. Auf die Frage von 'Bloomberg' sagte ein Google-Sprecher, dass das Video "mithilfe von Standbildern und der Eingabe von Text" erstellt worden sei.

Unklar ist auch, welches Modell in den Demos arbeitet, vermutlich sei es Gemini Ultra, schreibt 'Bloomberg' (Paywall). "Das Verschweigen solcher Details deutet auf die breit angelegten Marketing-Bemühungen hin", so die Bilanz des Wirtschaftsmagazins.