Wie Dropbox aus der Amazon-Cloud ausgezogen ist

Das Eigenheim kommt billiger, sagt Dropbox: 500 Petabyte an Daten, Milliarden Files migriert.
 
Der Online-Filesharing und -Synchronisationsservice Dropbox hat nach seiner Gründung vor rund acht Jahren die Amazon-Cloud zur Speicherung der meisten Daten benützt. Dropbox lagerte zwar Metadaten zu Usern und anderem auf eigenen Servern, die eigentlichen Files der User wurden aber auf Amazons Simple Storage Service (S3) gespeichert. Nun ist Dropbox weitgehend aus der Amazon-Cloud "ausgezogen". Die Migration wurde schon im letzten Oktober abgeschlossen, Dropbox hat aber erst in den letzten Tagen US-Presevertreter informiert.
 
Dies dürfte der grösste Cloud-Kunde sein, den Amazon bisher verloren hat. Dropbox hat nach eigenen Angaben Milliarden von Files, insgesamt rund 500 Petabyte an Daten, aus der Amazon-Cloud transferiert. Für den Bau der eigenen Cloud-Plattform, der rund zweieinhalb Jahre lang dauerte, hat das zuständige Team sowohl eine eigene Storage-Software als auch eigene Hardware entwickelt. Auf 'Wired.com' findet man einen längeren Hintergrundartikel zu dieser Migration, die für Dropbox ein grosses Wagnis darstellt.

Der Hintergrund, so erklärt der Infrastrukturverantwortliche bei Dropbox, Aditya Agarwal, ist vor allem finanzieller Natur: Dropbox, selbst mittlerweile ein "kleiner Riese" im Internetbusiness, glaubt mit dem Betrieb der eigenen Storage-Cloud billiger zu fahren, denn als Kunde des Riesen Amazon. "Niemand betreibt einen Cloud-Service aus reiner Grosszügigkeit. Es gibt immer eine Marge", so Agarwal. Ob das wahr ist, so geben die Dropbox-Verantwortlichen offen zu, wird sich erst in den nächsten Jahren zeigen. Der Gameanbieter Zynga beispielsweise verliess sich auch zuerst auf die Amazon-Cloud, migrierte 2011 auf eigene Systeme und ist nun daran, seine Services wieder zu Amazon-Cloud zurückzuzügeln.
 
Eigene Software, eigene Hardware
Für seine eigene Plattform hat eine Storage-Software namens "Magic Pocket" entwickelt. Dies wurde zuerst in Googles Programmiersprache "Go" geschrieben und auf ziemlich handelsüblicher Hardware getestet. Dabei wurden rund 20 Prozent der Datenmenge simuliert, die bei Amazon gespeichert war. Das Ziel war, die neue Software knapp sechs Monate lang betreiben zu können, ohne einen groben Bug zu finden. Nach zwei Monaten tauchte tatsächlich so ein Bug auf, so dass insgesamt 8 Monate lang getestet wurde. Die Software wurde zudem für den Einsatz auf der Eigenbau-Hardware noch einmal in einer neuen Programmiersprache (Rust) komplett neu geschrieben. Die ursprüngliche Version, so Programmleiter James Cowling, brauchte zuviel Platz im Speicher der Storage-Server.
 
Das Kernstück der Dropbox-Hardware, genannt "Discotech", ist eine Art grosse Harddiskschublade. Darin werden 3,5-Zoll-Harddisks aufrechtstehend dicht an dicht eingebaut. Laut Cowling konnte man so die gegenwärtig höchstmögliche Speicherdichte überhaupt erreichen. Pro Schublade könne mehr als ein Petabyte an Daten gespeichert werden. Allerdings sind diese Schubladen auch so schwer, dass man aus Gewichtsgründen nicht mehr als acht Stück in ein Rack einbauen könne. Das ganze Rack wiege dann etwa soviel wie ein Personenwagen, so Cowling. Einen Eindruck von den "Superservern" von Dropbox erhält man in einem Videoclip im bereits weiter oben verlinkten 'Wired'-Artikel.
 
Drei Petabyte pro Tag transferiert
Den Transfer der Daten konnte Dropbox nicht durch den direkten Transport von Harddisks per Lastwagen durchführen. Die Daten mussten via das Internet übertragen werden. Laut Agarwal erreichte man dabei ein Tempo von maximal vier Petabyte pro Tag - der Datentransfer allein muss also mehr als vier Monate gedauert haben.
 
Nun befinden sich rund 90 Prozent der Files von Dropbox-Anwendern auf der eigenen Plattform, die über einige Rechenzentren in den USA verteilt ist. Die Daten von europäischen Kunden dagegen lagern weiterhin in der Amazon-Cloud. Das Geschäft in Europa entwickle sich noch zu sprunghaft und unvorhersehbar, so Dropbox, darum wolle man den Aufbau eigener Infrastruktur hier noch nicht wagen. (hjm)