Die Association for Computing Machinery (ACM) verleiht den Turing Award 2024 an den Amerikaner Andrew Barto und den Kanadier Richard Sutton. Die beiden Wissenschaftler werden für die Entwicklung der konzeptionellen und algorithmischen Grundlagen des Reinforcement Learnings ausgezeichnet. Der Preis ist mit einer Million US-Dollar dotiert und wird von Google gesponsert.

Barto ist emeritierter Professor am Department of Information and Computer Sciences der University of Massachusetts, während Sutton Professor für Informatik an der University of Alberta und Forscher beim KI-Unternehmen Keen Technologies ist. Zuvor arbeitete er auch für Google Deepmind.

"Im Bereich der Künstlichen Intelligenz geht es im Allgemeinen um die Konstruktion von Agenten, also von Wesen, die wahrnehmen und handeln", so die ACM in ihrer Begründung. "Daher ist die Vorstellung, dass manche Handlungsweisen besser sind als andere, für die KI von zentraler Bedeutung. Belohnung – ein Begriff aus der Psychologie und Neurowissenschaft – bezeichnet ein Signal, das einem Agenten in Bezug auf die Qualität seines Verhaltens gegeben wird. Reinforcement Learning (RL) ist der Prozess des Lernens, sich angesichts dieses Signals erfolgreicher zu verhalten."

In den frühen 1980er-Jahren begannen Barto und sein Doktorand Sutton an der University of Massachusetts RL als allgemeines Problemgerüst zu formulieren. Dabei stützten sie sich auf die mathematischen Grundlagen der Markow-Entscheidungsprozesse (MDPs). Ein Agent – ​​eine rechnergestützte Einheit mit Wahrnehmungs- und Handlungskompetenz – trifft Entscheidungen in einer zufälligen Umgebung und erhält nach jedem Übergang ein Belohnungssignal mit dem Ziel, seine langfristigen Belohnungen zu maximieren.

Während die Standard-MDP-Theorie davon ausgeht, dass dem Agenten alles über das MDP bekannt ist, können im Reinforcement-Learning-Framework die Umgebung und die Belohnungen unbekannt sein, schreibt die ACM. Die minimalen Informationsanforderungen von RL in Kombination mit der Allgemeingültigkeit des MDP-Frameworks würden dadurch die Anwendung von RL-Algorithmen auf eine Vielzahl von Problemen ermöglichen.

"Barto und Sutton entwickelten gemeinsam und mit anderen viele der grundlegenden algorithmischen Ansätze für RL. Dazu gehört ihr wichtigster Beitrag, das Temporal Difference Learning", so die ACM. Ausserdem hätten sie zahlreiche Designs für Agenten vorgeschlagen. Ebenso einflussreich sei ihr 1998 erschienenes Lehrbuch "Reinforcement Learning: An Introduction". Dieses sei noch immer das Standardwerk auf diesem Gebiet, sei über 75'000 Mal zitiert worden und inspiriere noch heute viele bedeutende Forschungsaktivitäten in der Informatik.

"Bartos und Suttons Arbeit zeigt das immense Potenzial, das in der An­wen­dung eines multidisziplinären Ansatzes für langjährige Herausforderungen in unserem Bereich steckt", erklärt ACM-Präsident Yannis Ioannidis in der Mitteilung. "Reinforcement Learning wächst weiter und bietet grosses Potenzial für weitere Fortschritte in der Informatik und vielen anderen Disziplinen. Es ist angemessen, dass wir sie mit der renommiertesten Auszeichnung unseres Bereichs ehren."