Die 47'000 Entwickler bei Microsoft generieren fast 30'000 Bugs jeden Monat. Diese Bugs zu kennzeichnen und priorisieren sei aufwändig, schreibt das Unternehmen. Die Lösung könne nicht sein, schlicht mehr Leute auf das Problem anzusetzen. Stattdessen setze man nun auf Machine Learning, um Security-relevante Fehler in der Software zu finden.

Seit 2001 habe Microsoft 13 Millionen Work Items und Bugs gesammelt. Mit den Daten habe man Prozesse und Machine-Learning-Modelle entwickelt, führt Microsoft aus. In 99 Prozent der Fälle könne das entwickelte Modell Security- von Nicht-Security-relevanten Fehlern unterscheiden. In 97 Prozent der Fälle identifiziere das Tool kritische Bugs korrekt.

"Unser Klassifizierungssystem muss wie ein Sicherheitsexperte funktionieren", heisst es im Blogeintrag. Um dieses Ziel zu erreichen, hätten Security-Experten die Daten, mit denen das Modell trainiert wurde, überprüft. Dafür habe man Stichproben verwendet und kontrolliert, ob die bestehenden Daten korrekt mit Security- beziehungsweise Nicht-Security-relevant und kritisch/nicht-kritisch gekennzeichnet gewesen seien.

Das Training des Machine-Learning-Modells sei in einem zweistufigen Verfahren erfolgt. Zunächst habe das Modell gelernt, wie Security- und Nicht-Security-Bugs klassifiziert werden können. Im zweiten Schritt habe das Modell gelernt die Security-relevanten Bugs in die Kategorien "kritisch", "wichtig" und "geringe Auswirkungen" einzuteilen.

Neben Security-Experten seien auch Datenwissenschaftler am Projekt beteiligt. Während die Security-Leute die Ergebnisse anhand von Stichproben kontrollierten, hätten die Datenwissenschaftler die passenden Datentypen und -Quellen ausgewählt sowie die Datenqualität bewertet. Die Entwicklung eines Machine-Learning-Modells für das Identifizieren und Klassifizieren von Security-Problemen sei ein anhaltender Prozess, schreibt Microsoft. Neue Daten würden verwendet, um das Modell weiterzuentwickeln, und das Ergebnis werde kontinuierlich überwacht.

In den kommenden Monaten will Microsoft weitere Informationen zum Machine-Learning-Modell publizieren. Ein Whitepaper dazu ist online verfügbar.