Noch vor wenigen Jahren verstanden KI-Sprachmodelle eigentlich nur Englisch wirklich gut, dann kamen aber schnell andere grosse und kleine Sprachfamilien hinzu. Mittlerweile sind sie laut einem Bericht von Intochat bereits dazu in der Lage, auch "Schwiizerdütsch" ziemlich gut zu verstehen.
Intochat hat fünf moderne Sprachmodelle getestet: Claude Sonnet 5.5 und Claude Haiku von Anthropic, Gemini 3.8 Flash und Gemini 3.1 Pro von Google sowie GPT-6 Luna von OpenAI. Alle wurden mit 50 typischen Kundennachrichten in Mundart und in Hochdeutsch gefüttert und die Resultate danach verglichen.
Das Verstehen ist für diese KIs laut Intochat kein Problem mehr. Die fünf Modelle erkannten 97,8 bis 100% der Kerninformationen in schweizerdeutschen Nachrichten, auf Hochdeutsch 99,3 bis 100%. Claude Sonnet 5.5, Gemini 3.8 Flash und Gemini 3.1 Pro erreichten demnach auch bei schweizerdeutschen Texten die vollen 100%, GPT-6 Luna 99,3% und Claude Haiku 5.5 97,8%.
GPT-6 Luna 99,3% antwortete sogar in 94% der Fälle auf Mundart. Die anderen machten dies jedoch nur selten.
Frei erfundene Versprechen
Nun kann man sich natürlich fragen, wie viele Schweizerinnen und Schweizer denn überhaupt auf die Idee kommen würden, Kundenanfragen in Schweizerdeutsch abzufassen. Ein grösseres Problem dürfte es für Anwenderunternehmen aber auf jeden Fall sein, wenn die KIs falsche Angaben machen, insbesondere, wenn es sich dabei um falsche Versprechen im Namen des Unternehmens handelt. Dies passiert erstaunlich oft, wobei es kaum einen Unterschied macht, in welcher Sprache die Anfragen verfasst wurden.
Laut dem Test gab GPT-6 Luna bei Anfragen in Hochdeutsch in 10% der Fälle korrekte Antworten, 4% enthielten sogar erfundene Angaben. Dieses Modell schnitt bei diesem Kriterium trotzdem deutlich am Besten ab. Claude Sonnet 5.5 antwortete ebenfalls in 90% der Fälle korrekt, die restlichen Antworten waren aber falsch und mit erfundenen Angaben angereichert. Sowohl bei Gemini 3.8 Flash als auch Claude Haiku 5.5 waren es je 14%. Gemini 3.1 Pro war mit 20% falschen und 16% teilweise erfundenen Antworten das Schlusslicht.
Die erfundenen Angaben waren laut Intochat meist kleine Zusagen, die der Betrieb nie gemacht hatte, zum Beispiel "Platz für eure Ski haben wir natürlich auch", "die neue Grösse kannst du direkt bei der Rücksendung angeben" oder eine Diagnose für einen Geruch aus der Lüftung. Für einen Betrieb seien genau solche Sätze heikel, weil Kundinnen und Kunden sie als Zusage verstehen.
