Vor etwas über einem Monat hatte Github sein KI-Tool Copilot gross angekündigt. Es schreibe und vervollständige Code in grossem Umfang, könne gar "komplette Methoden, Boilerplate-Code, ganze Unit-Tests und komplexe Algorithmen vorschlagen", hiess es in einem Blogbeitrag der Codehosting-Plattform. Und das kostenpflichtige Tool ist beliebt, schon vor dem offiziellen Release sollen laut Github 1,2 Millionen User für die Preview-Version angemeldet gewesen sein.

Nun haben sich fünf Informatik-Professoren kritisch zu Wort gemeldet. An der Black-Hat-Konferenz hätten Hammond Pearce und Benjamin Tan von der New York University gemeinsam mit Kollegen erklärt, dass rund 40% der Vorschläge, die Copilot zuerst anzeige, ernste Lücken enthalten und die Sicherheit gefährden. Dies berichtet 'Heise'. Wie gut oder schlecht diese Vorschläge sind, hängt laut den Forschern von einer Reihe von Faktoren wie der Programmiersprache oder dem bereits vom jeweiligen Developer entwickelten Code ab.

Offenbar schlägt Copilot nämlich jeweils Zeilen vor, die am besten zum bereits eingesetzten Code passen – und nicht etwa jene, die am sichersten oder elegantesten sind. Dieses Problem entsteht laut den Forschern, weil das Tool im Machine-Learning-Verfahren von bereits bestehendem Code lernt. So soll auch zu erklären sein, warum Copilot für das Hashing von Passwörtern den als unsicher bekannten Algorithmus MD5 vorschlug, statt die sichereren SHA-256 oder SHA-3. Die Software soll ersterem schlicht häufiger begegnet sein.

Um die Sicherheit zu bewerten, haben die Forscher von Copilot miterzeugte Software automatisiert und manuell untersucht. So wurden 1084 funktionsfähige Programme untersucht, 44% davon haben sich laut einem Whitepaper (PDF) als unsicher erwiesen. Darin habe die Forscher auch ihre Befunde detailliert festgehalten.