Die KI-Software ChatGPT hat eine Jusprüfung an der Universität von Minnesota bestanden. In einem Forschungspapier des Juraprofessors Jonathan Choi vom 23. Januar 2023 beschreiben Choi und Kollegen, dass die auf künstlicher Intelligenz (KI) basierende Software bei Aufgaben in den Bereichen Verfassungsrecht, Deliktrecht und Steuerrecht insgesamt eine genügende Note erreicht habe.
ChatGPT bekam von Choi denselben Test wie die menschlichen Kommilitonen. Er bestand demnach aus 95 Multiple-Choice-Fragen sowie 12 Aufsatzaufgaben.
"Beim Schreiben von Aufsätzen zeigte ChatGPT ein gutes Verständnis grundlegender rechtlicher Regularien und wies eine durchweg solide Organisation und Komposition auf", schrieben die Autoren. Ausserdem habe die KI akkurat zitiert. Doch der Bot "hatte oft Schwierigkeiten, Probleme bei offenen Aufgabenstellungen zu erkennen, eine Kernkompetenz bei juristischen Prüfungen".
Obwohl der Test blind benotet wurde, hatten laut Choi 2 von 3 Prüfern eine Ahnung, welche Prüfungsantworten von ChatGPT stammten. Die Grammatik sei perfekt gewesen, die Ausführungen dagegen "etwas repetitiv", schrieb Choi auf Twitter.
Als selbstständig agierender Student sei ChatGPT "nicht grossartig" gewesen, erklärte Choi, in mathematischen Aufgaben habe er sogar "versagt". Allerdings gehe seine Forschungsgruppe davon aus, dass Sprachmodelle wie ChatGPT "in der Zusammenarbeit mit Menschen" für Jurastudenten, die Prüfungen ablegen, und für praktizierende Anwälte sehr nützlich sein könnten.
