Eine Frage in natürlicher Sprache zu verstehen, die darin gesuchte Information herauszukristallisieren und die passende Antwort liefern – dies sollte ein Chatbot können. Wie nun Microsoft und Alibaba melden, können ihre jeweiligen KI-Technologien dies besser als es Menschen können.

Um das Leseverständnis einer künstlichen Intelligenz erproben zu können, testen die Anbieter von KI ihre Software in einem von der Stanford-University entwickelten Test. Diesen Test können sowohl Mensch als auch Maschine absolvieren. Der SQuAD genannte Test gilt allgemein als einer der führenden Methoden das Leseverständnis zu überprüfen.

Die KIs von Microsoft und Alibaba haben nun erstmals bessere Ergebnisse erzielt, als der durchschnittliche Mensch, wie unter anderem 'MIT Technology Review' berichtet. Beim Stanford-Test müssen die Modelle, Texte aus 500 Wikipedia-Artikeln lesen und anschliessend Fragen wie "In welchem Jahr starb Dschingis Khan?" beantworten (Die Antwort hierzu ist laut Wikipedia "1227").

Die durchschnittliche Punktezahl menschlicher Teilnehmer beläuft sich auf 82,30 Punkte, wie aus der Stanford-Liste hervorgeht. Alibaba meldete nun ein Testergebnis von 82,44 erreicht zu haben und einen Tag später schaffte die Microsoft-KI einen Score von 82,65 Punkte.

Diese Ergebnisse der KIs lassen sich aber dennoch nicht mit dem Leseverständnis eines Menschen vergleichen. Denn die KI hat nach dem Lesen der Texte nicht das selbe grundlegende Verständnis für die Inhalte eines Textes – und schon gar nicht, in einem grösseren Kontext. Im Gegensatz dazu, sind die KI sehr gute Recheninstrumente, die in diesen Fällen passende Sätze generieren können. Je komplexer die Fragen werden und je weniger eindeutig eine Antwort ist, desto fehleranfälliger sind die KIs, fasst 'MIT' zusammen.

Dennoch feiern die beiden Anbieter ihre Ergebnisse als grossen Erfolg. Alibaba hat die KI bereits im Online-Shop eingesetzt und zwar am Singles' Day, dem Black Friday Chinas, wie das Unternehmen zu 'Bloomberg' sagt. Dabei hätte die Software 95 Prozent der Fragen zu Produkten beantworten können und damit bessere Ergebnisse erzielt, als die menschlichen Mitarbeitende am Singles' Day im Jahr zuvor. Die Technologie könnte vielfältig eingesetzt werden, etwa im Kundendienst, bei Museumsführungen oder bei medizinischen Fragen, fasst der Alibaba-Experte zusammen. (kjo)