DeepMind sucht mit IQ-Tests nach abstrakt denkendem System

Mit Tests unterschiedlicher künstlicher neuronaler Netzwerke wollen Forscher der Google-Tochter DeepMind dem abstrakten Denken auf die Spur kommen. – Bisher erfolglos.
 
Können Maschinen abstrakt denken? Dieser Frage – also insbesondere ob und nicht so sehr wie gut – widmet sich eine Arbeit der Forscher der Google-Tochter DeepMind. Das Resultat: Die Ergebnisse waren schlecht, aber wir machen weiter. So wurde das Papier denn auch letzte Woche im Rahmen einer Machine-Learning-Konferenz in Schweden vorgestellt.
 
Wie bei DeepMind üblich, werden Forschungsergebnisse trotz schlechter Resultate zur breiten Diskussion gestellt. Hier also der Ansatz, das "Fachidiotentum" von Vorhersagemodellen wie künstlichen neuronalen Netzen aufzubrechen. Wer genauer hinschaut, sieht zwar Systeme, die in der Lage sind, beim Go-Spielen Weltmeister zu besiegen. Doch wenn sie beispielsweise darauf trainiert werden Dreiecke zu zählen, scheitern sie am Quadrat. Es fehlt an der Fähigkeit abstrakt zu denken, also Muster zu erkennen und Probleme auf konzeptioneller Ebene zu lösen, so die Forscher.
 
Was damit konkret gemeint ist, hatte DeepMind bereits in einem Blog am nach Archimedes benannten Prinzip erklärt. Bekanntlich hatte der griechische Gelehrte einst herausgefunden, dass der statische Auftrieb eines Körpers in einem Medium, beispielsweise Wasser, genau so gross ist wie das Gewicht des vom Körper verdrängten Volumens: "Er versteht das Volumen auf einer konzeptionellen Ebene", so die Forscher. Man wolle, dass "KI ähnliche Fähigkeiten besitzt", schieben sie nach.
 
Und hier wollen die DeepMind-Experten nun Fortschritte erzielt haben. Man habe einen Ansatz zur Messung des abstrakten Denkens in lernenden Maschinen gefunden, der "wichtige Einsichten über die Natur der Verallgemeinerung selbst" liefere, schreiben sie. Um zu verstehen auf welche Weise neuronale Netze heute schon abstrakte Konzepte verarbeiten, hat DeepMind auf einen IQ-Test zum Messen des abstrakten Denkens bei Menschen zurückgegriffen. Es wurde eine vereinfachte Form des Mind-Ravens-Matrizen-Intelligenztest gewählt, bei dem das fehlende Teil in einem Muster-Bild (Matrize) zu ergänzen ist.
 
Das Problem solcher IQ-Tests sei aber bekanntlich, dass sie geübt werden können und damit ungültig werden. Dieser Fallstrick sei aber bei neuronalen Netzen aufgrund ihrer ausgeprägten Fähigkeit zum Auswendiglernen noch viel akuter, so die Forscher. Man habe deshalb einen Generator zur Erzeugung von Matrixproblemen mit einer Reihe abstrakter Faktoren entwickelt – Beziehungen und Attributen inklusive. Angesichts auch nur weniger Faktoren konnte der Generator gleichwohl eine enorme Anzahl einzigartiger Fragen erzeugen.
 
Mit den so generierten Fragen wurden dann diverse Modelle der künstlichen neuronalen Netze getestet. Dasjenige mit der besten Leistung konnte denn auch aus einer Reihe visueller Muster die logisch folgenden bestimmen. Und die hatte das Netz vorher nie "gesehen", also trainieren oder sich "sich einprägen" können. Dazu wurden drei Arten neuronaler Netzwerke zusammengebaut: CNN (Convolutional Neural Network), RN (Relational Network) und LSTM (Long Short-Term Memory).
 
Die besten Resultate, um "abstraktes Denken" zu belegen, lieferte jedoch der Rückgriff auf ein WReN (Wild Relational Network). Das Vorhersagemodell habe gewissermassen ein CNN und ein RN gekoppelt. Wie das genau gemacht wurde, beschreibt das Papier im Detail.
 
Das Fazit der DeepMind-Foschungen: Der Erfolg der getesteten neuronalen Netzwerke sei unter anderem von der Architektur des verwendeten Modells abhängig und vom Training, das einen interpretierbaren "Grund" für die mögliche Antwort liefert. Allerdings: "In fast allen Fällen funktionierten die Systeme schlecht". Zumal wenn sie mit Inputs "jenseits ihrer Erfahrung" konfrontiert waren oder wenn eine Matrize nur wenig von der zuvor geübten Muster-Art abwich.
 
Bei DeepMind lässt man sich von solchen Erkenntnissen übrigens nicht entmutigen. Man werde in dieser Richtung weiterforschen, wenn auch mit einem klareren Fokus. (vri)