MeteoSchweiz: Data Warehouse "as a Service"

11. Juli 2011, 07:16
  • politik & wirtschaft
image

Fast 23 Millionen Franken hat das Data-Warehouse-System von MeteoSchweiz gekostet. Es enthält heute 15 Milliarden Datensätze und dient vorwiegend der Analyse.

Fast 23 Millionen Franken hat das Data-Warehouse-System von MeteoSchweiz gekostet. Es enthält heute 15 Milliarden Datensätze und dient vorwiegend der Analyse.
Nach zehnjähriger Entwicklungsarbeit ist eine Vision Realität geworden: MeteoSchweiz verfügt heute über ein Arbeitsinstrument, das nach Aussage des Projektverantwortlichen Gerhard Müller, stellvertretender Direktor des Bundesamtes für Meteorologie und Klimatologie MeteoSchweiz, weltweit einzigartig ist: Ein Data Warehouse (DWH) System, in das alle internen und externen Daten einfliessen und für die weitere Nutzung aufbereitet werden.
Am Anfang des Projekts im Jahr 2001 stand eine Vision. Es war nicht nur ein vorausschauendes, sondern auch von technischem Sachverstand getragenes Zukunftsbild, und zwar sowohl in Bezug auf die Entwicklung der Datenbank- und DWH-Technologie als auch der verschiedenen Fachbereiche der Meteorologie und der Klimatologie: Heute enthält das DWH-System von MeteoSchweiz 15 Milliarden Datensätze.
In sieben Schritten zum Erfolg
In den zehn Jahren der Bauzeit wurden allein von MeteoSchweiz rund 17'000 Arbeitstage von über 70 Mitarbeitenden aufgewendet. Dazu kamen noch die ungezählten Stunden der Mitarbeitenden in beigezogenen Drittfirmen. Die Kosten stiegen von der ursprünglichen Schätzung von etwa fünf Millionen beim Start des Projektes bis auf 22,7 Millionen Franken beim Abschluss des DWH-Systems.
Wohl in keinem anderen Bereich erfolgt die technologische Entwicklung so rasant wie in der Informatik. Dies wird durch den Umstand illustriert, dass das DWH-System von MeteoSchweiz den heutigen Stand in sieben Etappen erreichte, sogenannten Releases - immer umfassender gestaltete Versionen, die den Nutzern, darunter alle Mitarbeitenden von MeteoSchweiz, nacheinander in zeitlichem Abstand für ihre Alltagsarbeit zur Verfügung gestellt wurden.
Das DWH-System von MeteoSchweiz lässt sich nur bedingt mit anderen DWHs vergleichen, die in aller Regel Instrumente zur Entscheidungsunterstützung des Managements darstellen. Das DWH-System von MeteoSchweiz hingegen dient vor allem der laufenden Analyse. Ferner werden operationelle Anwendungen, beispielsweise zur Erstellung der täglichen Wetterprognosen, aus dem DWH-System gespiesen. Die angelieferten Rohdaten stammen aus einer Vielzahl unterschiedlicher Datenquellen - beispielsweise von Wetterballonen oder Messstationen - diese fliessen ins DWH-System ein und werden dort aufbereitet, gespeichert und schliesslich analysiert.
Vierschichtige Systemarchitektur
Das DWH-System von MeteoSchweiz umfasst insgesamt vier Schichten: Die Quellschicht mit den verschiedenen Datenquellen, die Datenaufbereitung, die Datenspeicherung und zuoberst die Schicht der Datenanalyse. In einem Satz lässt sich die zehnjährige Projektentwicklung nach Projektleiter Christian Häberli wohl als gradueller Übergang vom reinen Datenrepositorium zum "DWH as a Service" charakterisieren.
Ein grosser Teil des DWH-Inputs besteht aus strukturierten Daten. Einige dieser numerischen Werte werden nicht in Stunden-, Tages-, Wochen- oder noch längeren Abständen fortgeschrieben, sondern fallen nahezu in Echtzeit an und müssen unmittelbar verarbeitet werden können, im Fachjargon spricht man von "continuous intelligence". Dies im Gegensatz zu semi- oder unstrukturierten Daten, die beispielsweise aus E-Mails, Blogs oder sozialen Netzwerken anfallen und deren Gehalt als "content intelligence" bezeichnet wird. Dazu änderten sich während der Bauzeit des DWH-Systems auch die Datenformate, vor allem kamen neue hinzu, beispielsweise Grid-orientierte Daten. Und nicht zuletzt änderten sich die Hardware-Systeme. Insgesamt wurden im Verlauf der zehnjährigen Entwicklung fünf veraltete Plattformen abgeschaltet.
DWH-Nutzen für externe Kunden
Einer der grössten aussenstehenden Bezüger von MeteoSchweiz-Dienstleistungen ist Skyguide, der die Flugsicherung des schweizerischen Luftraumes obliegt. Dieser Luftraum ist einer der am dichtesten beflogenen in Europa und umfasst auch angrenzende Gebiete in Deutschland, Frankreich und Italien und Liechtenstein. Dazu gehören am Boden die Grossflughäfen von Zürich, Basel und Genf, sowie eine ganze Anzahl von regionalen Flugplätzen. Neben der zivilen Luftraumnutzung spielt auch die militärische - nicht allein durch die schweizerische Luftwaffe - eine Rolle. Deshalb gilt der schweizerische Luftraum nicht nur als der am intensivsten genutzte, sondern auch als der komplexeste in Europa. Insgesamt betreute Skyguide im letzten Jahr 1,16 Millionen nach Instrumentenflugregeln (IFR) kontrollierte Flüge, die natürlich alle vom herrschenden Wetter beeinflusst wurden.
Abflugverspätungen sind nach Jürg Brönimann, Head of Aeronautical Information Management bei Skyguide und einer der externen Referenten bei der Vorstellung des DWH-Systems von MeteoSchweiz, zu elf Prozent auf Wettereinflüsse zurückzuführen, wie Schneefall oder heftige Gewitter. Das scheint neben 89 Prozent anderer Ursachen wenig zu sein, doch kostet jede Minute Abflugverspätung eines Fluges rund 700 Franken, so dass schnell erhebliche Summen zusammenkommen. Die von MeteoSchweiz an Skyguide gelieferten Wetterdaten werden einerseits im Bereich Air Traffic Control (ATC) an den Arbeitsplätzen der Fluglotsen verwendet, anderseits fliessen sie über das Aeronautical Information Management (AIM) in die beim sogenannten Briefing erfolgende Gestaltung der individuellen Flugpläne abfliegender Flugzeuge ein.
Der Nutzen des umfassenden DWH-Systems von MeteoSchweiz besteht einerseits in der Qualitätssteigerung praktisch aller Produkte und Dienstleistungen von MeteoSchweiz selbst, anderseits ist er indirekter Natur, erreicht aber volkswirtschaftliche Grösse, denkt man nur an möglichst frühzeitige und präzise Unwetterwarnungen oder an die kommerziellen Folgen von Entscheidungen, die aufgrund von Wettervorhersagen für die Landwirtschaft oder den Tourismus getroffen werden.
Fazit: Die 22,7 Millionen Franken für das DWH-System von MeteoSchweiz sind eine nachhaltige Zukunftsinvestition und gut angelegtes Geld. (Gregor Henger)
(Bild: Auch Blitzeinschläge werden im DWH-Systems erfasst und visualisiert. Quelle: MeteoSchweiz, Screenshot: Inside-it.ch)

Loading

Mehr zum Thema

image

EU wirft wohl einen Blick auf VMware-Übernahme

Befürchtet wird eine eingehende Prüfung durch die Wettbewerbshüter, die den 69-Milliarden-Deal stark verzögern könnte.

publiziert am 24.6.2022
image

E-Umzug soll in allen Berner Gemeinden eingeführt werden

Nach einem Pilot zieht der Kanton Bern eine positive Bilanz: In allen Gemeinden soll die An- und Abmeldung bald auch auf digitalem Wege möglich sein.

publiziert am 24.6.2022
image

EJPD hat sich Java-Entwickler ausgewählt

Die 5 Anbieter, die den IT-Dienstleister des Departements von Karin Keller-Sutter bei der Java-Entwicklung von Individualsoftware unterstützen werden, sind gefunden.

publiziert am 24.6.2022
image

Zürich: "Schweizerische oder europäische Clouds sind zu bevorzugen"

Richtlinien des Kantons zeigen, was bei der Auswahl und der Nutzung von Cloud-Diensten zu berücksichtigen ist.

publiziert am 24.6.2022