Das Fundamental AI Research Team (FAIR) von Meta hat einige neue KI-Modelle veröffentlicht. Dazu gehört der "Self-Taught Evaluator". Dieser soll eine neue Methode zur Generierung von synthetischen Präferenzdaten für Training und Bewertung von KI-Modellen ohne menschliche Anmerkungen bieten.

Der Evaluator soll menschliches Eingreifen während der Trainingsphase von KI-Modellen überflüssig machen und zuverlässige Urteile über die Reaktionen der Modelle treffen können. In einem Blogpost von FAIR heisst es: "Dieser Ansatz erzeugt kontrastierende Modell-Outputs und trainiert ein LLM-as-a-Judge mit einem iterativen Selbstverbesserungsschema."

Das Tool nutzt die Methode "Reinforcement Learning from AI Feedback" (RLAIF), die es KI-Systemen ermöglichen soll, ihre Antworten ohne menschliche Anleitung zu verfeinern. Zum Training des Evaluators hat das FAIR-Team ausschliesslich synthetische, KI-generierte Daten verwendet.

Die Fähigkeit, Künstliche Intelligenz zur zuverlässigen Bewertung von KI-Modellen zu verwenden, biete einen Einblick in einen möglichen Weg zur Entwicklung autonomer KI-Agenten, die aus ihren eigenen Fehlern lernen können, erklärten zwei der hinter dem Projekt stehenden Meta-Forscher gegenüber 'Reuters'.

Laut den Forschern könnten sich selbst verbessernde KI-Modelle den Bedarf an einem heute oft teuren und ineffizienten Prozess namens "Reinforcement Learning from Human Feedback" überflüssig machen. Dieser erfordert Eingaben durch menschliche Kommentatoren mit speziellen Fachkenntnissen, um die Daten genau zu kennzeichnen und die Richtigkeit der Antworten auf komplexe mathematische und schriftliche Anfragen zu überprüfen.

Andere Unternehmen, darunter Google und Anthropic, haben ebenfalls Forschungsergebnisse zum Konzept von RLAIF veröffentlicht. Im Gegensatz zu Meta geben diese Unternehmen ihre Modelle jedoch nicht für die öffentliche Nutzung frei.