Das Beratungsunternehmen Deloitte hat für die australische Regierung einen Report erstellt zu den Auswirkungen eines Compliance-Frameworks für Sozialleistungen auf Unternehmen. Kostenpunkt der Analyse: 440'000 australische Dollar, also rund 233'000 Schweizer Franken. Der Report wurde vom Arbeitsministerium öffentlich publiziert.

Um den Bericht zu verfassen, verwendeten Deloitte-Mitarbeitende trotz des hohen Preises teilweise eine KI, und diese machte Fehler, die vor der Publikation nicht erkannt wurden. Deloitte Australia hat sich letztlich dazu bereit erklärt, zumindest einen Teil der Summe zurückzuerstatten. Wie gross dieser Teil ist, ist allerdings unklar.

Die Fehler waren entdeckt worden, als Chris Rudge, ein hoher Mitarbeiter des rechtswissenschaftlichen Instituts der Universität Sydney, den Report studierte. Er bemerkte, dass er mehrere erfundene Zitate und Quellenverweise enthielt. Darunter befanden sich nicht existierende Publikationen einer seiner realen Kolleginnen. Diese zeigte sich gegenüber Medien beunruhigt darüber, dass ihr von der KI erfundene Aussagen zugeschrieben wurden. Auch einer Richterin am Bundesgericht wurde ein von der KI halluziniertes Zitat zugeschrieben.

In der ersten publizierten Fassung war von der Verwendung einer KI nicht die Rede. Erst in einer korrigierten Fassung, nachdem die Sache aufgeflogen war, räumte Deloitte ein, dass für Teile des Reports Azure OpenAI GPT-4o verwendet wurde. In der revidierten Fassung wurden 14 von 141 Quellenangaben sowie die erkannten erfundenen Zitate gelöscht.

Trotzdem stellte sich ein Sprecher des Arbeitsministeriums auf den Standpunkt, dass die Korrekturen die Kernaussagen des Berichts und die darauf basierenden Handlungsempfehlungen nicht tangieren würden. Der Rechtsexperte Chris Rudge, der die falschen Zitate entdeckt hatte, erklärte dagegen gegenüber australischen Medien, dass man den Empfehlungen nicht wirklich trauen könne, da sie auf einer Analyse fussen, die mittels einer fehlerhaften und nicht von realen Experten ausgearbeiteten Methodologie erstellt wurde.