ChatGPT ist ein schlechter Programmier-Ratgeber

27. Mai 2024 um 13:25
image
Illustration: Erstellt durch inside-it.ch mit Midjourney

Wie eine Studie zeigt, beinhalten ChatGPT-Antworten auf Programmierfragen oft Fehler.

Wenn Entwicklerinnen und Entwickler früher Fragen hatten, auf die sie bei ihren Kollegen keine Antwort fanden, haben sie sich oft an Know-how-Austauschforen wie Stack Overflow gewendet. Seit dem Aufkommen von ChatGPT und anderen KI-Systemen stellen sie aber immer öfter ihre Fragen an diese Systeme.
Forscher der Universität Purdue haben sich die Frage gestellt, wie gut die Antworten von ChatGPT auf Programmierfragen sind. Kurz gefasst: Sie sind oft teilweise falsch.

Unnötige und falsche Antworten

Das Forscherteam hat auf Stack Overflow 517 Fragen zusammengesucht und diese an ChatGPT gestellt. Die Antworten wurden danach auf Korrektheit, Verständlichkeit und Prägnanz hin analysiert.
Laut der Analyse enthielten nicht weniger als 52% der Antworten unkorrekte Informationen. Zudem waren 77% der Antworten unnötig ausführlich.
Das Forscherteam befragte auch User zu den ChatGPT-Antworten. Obwohl so viele davon Fehler enthielten, bevorzugten die User in 35% der Fälle die KI-Antworten. Laut der Studie begründeten sie dies mit der Verständlichkeit und der guten Formulierung der Antworten von ChatGPT. Gleichzeitig erkannten sie aber in 39% der Fälle die darin enthaltenen Fehler nicht.
Vielleicht werden die Antworten von ChatGPT bald besser. Bis dann aber, resümieren die Forscher, sollten Programmiererinnen und Programmierer immer wieder daran erinnert werden, dass Antworten von ChatGPT Fehler enthalten können und verifiziert werden müssen.

Loading

Mehr erfahren

Mehr zum Thema

image

Swisscom bietet Zugang zu Nvidia-Supercomputern

Die Swiss AI Platform helfe Kundinnen und Kunden beim Entwickeln von KI-Lösungen oder dem Training von Sprachmodellen, sagt Swisscom.

publiziert am 7.6.2024
image

Adobe will Zugriff auf Inhalte von Photoshop-Usern

Der Konzern hat seine Nutzungsbedingungen aktualisiert. Wer zustimmt, gibt dem Unternehmen das Recht, auf seine Daten zuzugreifen.

publiziert am 7.6.2024
image

Podcast: Was SAP von US-Anbietern lernen kann

Die erste internationale Episode überhaupt: Wir senden aus Orlando, Florida, und berichten über die Neuheiten der Hausmesse von SAP. Alles zu KI, Cloud und die Realität von Unternehmen, die oft anders ist, als es SAP gerne hätte.

publiziert am 7.6.2024
image

Valiant hat seine Arbeitsplätze in die Cloud migriert

Zusammen mit Inventx hat die Bank 2000 Endgeräte migriert. Zukünftig werden die Workplace Services in einer Multi-Cloud betrieben.

publiziert am 6.6.2024