Wie Salesforce Daten verloren hat

19. Mai 2016, 13:03
  • rechenzentrum
  • salesforce
  • breach
image

Alles begann mit einer defekten Sicherung.

Alles begann mit einer defekten Sicherung.
Als letzte Woche bei Salesforce ein Rechenzentrum verrückt spielte, wie es zum Cloud-Meltdown mitsamt Datenverlust gekommen ist.
Angefangen hat demnach alles mit einer defekten Sicherung in einem Rechenzentrum in Washington.
Während dem Austausch der Sicherung versagten mehrere redundante Energieversorgungssysteme, wodurch es zu Ausfällen auf dem Compute System Level kam. Deshalb fiel die NA14 Instanz von Salesforce aus, die daraufhin in ein RZ in Chicago verschoben wurde.
Das klappte zwar, sorgte aber dafür, dass die Performance ins bodenlose stürzte.
Denn wenn Salesforce eine Instanz verschiebt, werden mit ihr auch sämtliche an sie geknüpften Daten mitgenommen. Das bedeutet viel Verkehr.
Die grossen Datenmengen führten dazu, dass ein Bug auf dem Storage Array ausgelöst wurde, der die Schreibgeschwindigkeit stark verringert hat. Das wiederum führte zu Timeouts, die das erfolgreiche Abschliessen einzelner Schreibvorgänge unmöglich machten. Dadurch wurden die umgezogenen Daten fehlerhaft, bis schliesslich die komplette Datenbank versagte und nicht mehr gestartet werden konnte.
Zum Datenverlust kam es, weil die internen Backup-Prozesse beinahe in Echtzeit verlaufen. Die korrupten Datenblöcke seien auf die Kopie der Datenbank geschrieben worden, bevor sie abgestürzt ist.
Alles ausgetauscht
Obwohl die betroffenen Sicherungen erst im März 2016 überprüft worden sind, tauscht Salesforce nun alle aus, schreibt das Unternehmen. Die fehlerhafte Firmware, die zu den Timeouts geführt hat, sei verbannt und der Backup-Prozess überarbeitet worden. Der neue Ansatz verfolge eine logische Replikation auf dem Level Datenbank und verzichte auf Replikationen auf Block-Level. (mik)

Loading

Mehr zum Thema

image

BBT und Centris spannen im Hosting zusammen

Der Anbieter von Krankenversicherungssoftware aus Root gibt seine Datacenter auf und spannt dafür mit dem bisherigen Konkurrenten und Branchenprimus aus Solothurn zusammen.

publiziert am 24.6.2022
image

Es ist so weit: EWL weiht Rechenzentrum im Wartegghügel ein

Nach nunmehr 10 Jahren ist eines der modernsten Datacenter der Schweiz in der ehemaligen Luzerner Zivilschutzanlage offiziell eröffnet worden.

publiziert am 21.6.2022
image

Neue Rechenzentren haben in Irland einen schweren Stand

Irland gilt als grosser Tech-Hub. Doch die Energiebehörde schiebt RZ-Neubauten wegen des Stromverbrauchs einen Riegel vor. Interxion muss ein Millionenprojekt stoppen.

publiziert am 17.6.2022
image

Weiterer Bericht zum OVH-Brand in Strassburg liegt vor

Die französische Behörde für Industrie-Unfälle nennt als mögliche Ursache für den RZ-Brand ein Wasserschaden an einem Wechselrichter.

publiziert am 13.6.2022