Googles KI Gemini kann viel, aber noch nicht so viel wie OpenAI

8. Dezember 2023 um 10:54
  • technologien
  • künstliche intelligenz
  • Gemini
  • Google
image
"Welches Auto fährt schneller?" Quelle: Screenshot aus Googles Gemini-Präsentation

Trotz beeindruckender Demos liegt der Techkonzern noch hinter OpenAI zurück, wie ein Blick auf Benchmarks zeigt. Google hat aber die Präsentation von Gemini frisiert.

Nach Berichten über Verzögerungen präsentierte Google am Mittwoch Gemini plötzlich doch noch. Das KI-Modell, so hiess es im Vorfeld, solle mit ChatGPT und GPT-4 mithalten können. Dies ist offenbar der Fall – wenn auch teilweise knapp. Ausserdem hat Google eingestanden, bei der Präsentation von Gemini teilweise Anpassungen vorgenommen, also geflunkert zu haben.
Das Model Gemini kommt in den drei Versionen Ultra, Pro und Nano. Ultra ist gemäss Google das leistungsfähigste Modell und soll sich für hochkomplexe Aufgaben eignen. Pro skaliere am besten und eigne sich für ein breites Spektrum an Aufgaben, während Nano das effizienteste Modell für On-Device-Aufgaben sei, so der Blogeintrag. Nano könne auf Pixel-Telefonen ohne Internetverbindung ausgeführt werden, Gemini-Pro ist in Bard integriert und ungefähr so gut wie GPT-3.5, das OpenAI im November 2022 veröffentlicht hat.

Gemini Ultra liegt vorne, ist aber noch nicht verfügbar

Mit der Ankündigung publizierte Google die Ergebnisse verschiedener KI-Modelle in verschiedenen Tests. Diese zeigen, dass Gemini Ultra das Modell GPT-4 in praktisch allen Standard-Benchmarks schlägt. Allerdings wurde GPT-4 im Frühjahr 2023 released und Gemini Ultra ist noch nicht öffentlich verfügbar.
Die Benchmarks testen KI-Modelle in Bereichen wie Schulphysik, Berufsrecht, Softwareentwicklung und moralischen Szenarien. Solche Tests werden sehr häufig herangezogen, um die Leistungsfähigkeit von KI-Modellen zu bestimmen.
Das Pro-Modell von Google ist je nach Test mal besser, mal schlechter als GPT-4. Viele der Ergebnisse liegen sehr eng beieinander. Die Tabelle zeigt weiter, dass GPT-4 und Claude 2 beispielsweise im Schulmathematik-Test besser abschneiden als Gemini Pro. Bei zwei Python-Code-Aufgaben gewinnt einmal Gemini Pro, einmal GPT-4.

Google frisierte Präsentation

In seinem Blogbeitrag zeigt Google die Fähigkeiten von Gemini in Video-Clips. Einer zeigt, wie eine handgeschriebene Mathematik-Hausaufgabe hochgeladen wird und der Gemini-Bot Fehler erkennt. Im Chat werden Fragen gestellt und Gemini erklärt die Probleme und Details. Ein anderes Video zeigt, wie Gemini einem Video folgen kann, in dem ein Papierknäuel unter einem von drei Plastikbechern versteckt wird und Gemini ihn auffindet, nachdem die Becher bewegt wurden.
Google gibt zu, die Videos editiert zu haben: "Für die Zwecke dieser Demo wurde die Latenzzeit reduziert und die Gemini-Ausgaben wurden aus Gründen der Kürze gekürzt", heisst es in der Video-Beschreibung bei Youtube. Das bedeutet, dass die tatsächliche Zeit, die für jede Antwort benötigt wird, länger ist als im Video dargestellt.

Quelle: Google
Auch waren offenbar die gesprochene Unterhaltungen, die Gemini im Video mit Menschen führt, so nicht ganz real. Auf die Frage von 'Bloomberg' sagte ein Google-Sprecher, dass das Video "mithilfe von Standbildern und der Eingabe von Text" erstellt worden sei.
Unklar ist auch, welches Modell in den Demos arbeitet, vermutlich sei es Gemini Ultra, schreibt 'Bloomberg' (Paywall). "Das Verschweigen solcher Details deutet auf die breit angelegten Marketing-Bemühungen hin", so die Bilanz des Wirtschaftsmagazins.

Loading

Mehr zum Thema

image

Ringier und weitere Medien­konzerne fordern Milliarden von Google

Dutzende von europäischen Medien­unternehmen ziehen wegen mutmasslicher Benach­teiligung im Werbe­geschäft gegen Google vor Gericht. Darunter auch 'Blick'-Heraus­geber Ringier.

publiziert am 29.2.2024
image

Epic-Einführung: Insel-Gruppe stellt den Schalter um

In der Nacht auf Samstag werden mit dem neuen Klinikinformationssystem 50 verschiedene Lösungen ersetzt. Ein Supportteam steht rund um die Uhr bereit.

publiziert am 28.2.2024
image

Tumblr und Wordpress wollen Inhalte für KI-Training verkaufen

Die beiden Content-Management-Plattformen wollen die Inhalte ihrer Nutzenden zu Geld machen. Wer das nicht will, muss die Funktion deaktivieren.

publiziert am 28.2.2024
image

Dell bringt KI-Computer auf den Markt

Neben CPU und GPU verfügen die Geräte auch über eine Neural Processing Unit. Diese bietet Rechenressourcen für KI-Aufgaben.

publiziert am 28.2.2024