Vergangene Woche hatten Google-Cloud-User in mehreren Regionen mit einer Störung zu kämpfen. Betroffen waren  zwischenzeitlich 20 Cloud-Services wie unter anderem Dataflow, Big Query, DialogFlow, Kubernetes Engine, Cloud Firestore und die Cloud Console. Die Systeme waren am 26. März mehrere Stunden lang beeinträchtigt.

Nun erklärt Google die Ursachen der Störung.

Der Ausfall sei durch einen Mangel an Memory in den Cache-Servern des Unternehmens verursacht worden, schreibt Google nach einer internen Untersuchung des Vorfalls.

Der Auslöser des Vorfalls sei ein Bulk Update von Gruppenmitgliedschaften gewesen, die zu einer unerwartet hohen Zahl von modifizierten Berechtigungen geführt habe, was wiederum einen grossen Backlog bei den anstehenden Mutationen ausgelöst habe, schreibt Google. "Die Verarbeitung des Rückstands wurde durch ein latentes Problem mit den Cache-Servern beeinträchtigt, was dazu führte, dass ihnen der Speicherplatz ausging; dies wiederum führte zu Timeouts bei den IAM-Anfragen. Das Problem wurde vorübergehend in verschiedenen Regionen durch Notfall-Rollouts verschärft, die durchgeführt wurden, um die hohe Speicherauslastung abzuschwächen", heisst es bei Google.

Google habe das Problem mit der Installation von mehr Memory in die Cache-Server und mit Neustarts lösen können. Allerdings hätten sich zu diesem Zeitpunkt viele veraltete Daten angesammelt, weshalb die Probleme anhielten.

Google entschuldigt sich für die Probleme und fügt an: "Neben der Sicherstellung, dass die Cache-Server Bulk Updates der Art, die diesen Vorfall ausgelöst haben, verarbeiten können, sind Bemühungen im Gange, die Speichernutzung und den Schutz auf den Cache-Servern zu optimieren und Notfallkonfigurationsänderungen ohne Neustart zu ermöglichen."