KIs verstehen Texte erstmals besser als Menschen

16. Januar 2018, 16:34
image

Dies ist aber nicht das, was sich Menschen unter "Verständnis" vorstellen.

Die KIs von Microsoft und Alibaba erzielten erstmals bessere Ergebnisse in einen Leseverständnis-Test als der Durchschnittsmensch. Dies ist aber nicht das, was sich Menschen unter "Verständnis" vorstellen.
Eine Frage in natürlicher Sprache zu verstehen, die darin gesuchte Information herauszukristallisieren und die passende Antwort liefern – dies sollte ein Chatbot können. Wie nun Microsoft und Alibaba melden, können ihre jeweiligen KI-Technologien dies besser als es Menschen können.
Um das Leseverständnis einer künstlichen Intelligenz erproben zu können, testen die Anbieter von KI ihre Software in einem von der Stanford-University entwickelten Test. Diesen Test können sowohl Mensch als auch Maschine absolvieren. Der SQuAD genannte Test gilt allgemein als einer der führenden Methoden das Leseverständnis zu überprüfen.
Die KIs von Microsoft und Alibaba haben nun erstmals bessere Ergebnisse erzielt, als der durchschnittliche Mensch, wie unter anderem 'MIT Technology Review' berichtet. Beim Stanford-Test müssen die Modelle, Texte aus 500 Wikipedia-Artikeln lesen und anschliessend Fragen wie "In welchem Jahr starb Dschingis Khan?" beantworten (Die Antwort hierzu ist laut Wikipedia "1227").
Bei Zweideutigkeit wird Maschine fehleranfälliger
Die durchschnittliche Punktezahl menschlicher Teilnehmer beläuft sich auf 82,30 Punkte, wie aus der Stanford-Liste hervorgeht. Alibaba meldete nun ein Testergebnis von 82,44 erreicht zu haben und einen Tag später schaffte die Microsoft-KI einen Score von 82,65 Punkte.
Diese Ergebnisse der KIs lassen sich aber dennoch nicht mit dem Leseverständnis eines Menschen vergleichen. Denn die KI hat nach dem Lesen der Texte nicht das selbe grundlegende Verständnis für die Inhalte eines Textes – und schon gar nicht, in einem grösseren Kontext. Im Gegensatz dazu, sind die KI sehr gute Recheninstrumente, die in diesen Fällen passende Sätze generieren können. Je komplexer die Fragen werden und je weniger eindeutig eine Antwort ist, desto fehleranfälliger sind die KIs, fasst 'MIT' zusammen.
Dennoch feiern die beiden Anbieter ihre Ergebnisse als grossen Erfolg. Alibaba hat die KI bereits im Online-Shop eingesetzt und zwar am Singles' Day, dem Black Friday Chinas, wie das Unternehmen zu 'Bloomberg' sagt. Dabei hätte die Software 95 Prozent der Fragen zu Produkten beantworten können und damit bessere Ergebnisse erzielt, als die menschlichen Mitarbeitende am Singles' Day im Jahr zuvor. Die Technologie könnte vielfältig eingesetzt werden, etwa im Kundendienst, bei Museumsführungen oder bei medizinischen Fragen, fasst der Alibaba-Experte zusammen. (kjo)

Loading

Mehr zum Thema

image

100 Millionen Dollar für zwei Schweizer Krypto-Startups

Zwei Firmen mit offiziellem Sitz in Zug konnten je 50 Millionen sammeln. Eine verspricht "grüne" Blockchain-Infrastruktur, die andere umfassende Möglichkeiten für Krypto-Investments.

publiziert am 23.9.2022
image

Verstärkung für ETH kommt aus Kopenhagen

Die Hochschule beruft einen neuen Professor im Departement Mathematik, der auf Statistik und Machine Learning spezialisiert ist. Ein anderer KI-Spezialist verlässt die Uni.

publiziert am 23.9.2022
image

Drohnenschwarm erledigt Bauarbeiten und Reparaturen

In Zukunft sollen Drohnen wie Bienen zusammenarbeiten können, um Bauten zu errichten. Wie ihre tierischen Vorbilder würden sich die Fluggeräte die Arbeit teilen.

publiziert am 22.9.2022
image

UK-Behörde untersucht Cloud-Dienste von Microsoft, Amazon und Google

Die britische Medienaufsichtsbehörde Ofcom will die Marktposition der US-Hyperscaler untersuchen und herausfinden, ob es wettbewerbsrechtliche Bedenken gibt.

publiziert am 22.9.2022