ETH-Forschende entwickeln (fast) perfekten Fluss-Algorithmus

1. Juli 2024 um 12:36
  • innovation
  • ETH
  • F&E
  • Netzwerk
  • Transport
image
Rasmus Kyng und Maximilian Probst Gutenberg. Foto: ETH Zürich / Nicola Pitaro

Ein Team der ETH hat einen Algorithmus geschrieben, der für Netz­werke jeglicher Art den maximalen Transportfluss mit minimalen Kosten berechnen kann – sei es für Schiene, Strasse oder Strom.

Dieser Durchbruch klingt fast nach Lucky Luke, dem Mann, der schneller schiesst als sein Schatten. Rasmus Kyng und sein Team haben einen superschnellen Algorithmus entwickelt, der ein ganzes Forschungsgebiet verändern dürfte. Genau genommen hat Kyngs Team einen so genannten Netzwerkfluss-Algorithmus geschrieben, der die Frage beantwortet: "Wie lässt sich in einem Netzwerk ein maximaler Verkehrsfluss bei zugleich minimalen Transportkosten erreichen?"
Stellen Sie sich vor, Sie benutzen das europäische Verkehrsnetz und wollen den schnellsten und billigsten Weg finden, um möglichst viele Güter von Kopenhagen nach Mailand zu transportieren. Für solche Fälle berechnet Kyngs Algorithmus den optimalen und kostengünstigsten Verkehrsfluss, und zwar für jede Art von Netzwerk, egal, ob Schiene, Strasse, Wasser oder Internet. Sein Algorithmus rechnet so schnell, dass er im selben Moment, in dem ein Computer die Daten verarbeitet hat, die das Netzwerk beschreiben, auch schon die Lösung präsentiert.

Rechenpower im Netzwerk

Das hat vor Rasmus Kyng noch niemand geschafft. Obwohl seit rund 90 Jahren an diesem Problem geforscht wird. Bislang dauerte die Berechnung des optimalen Verkehrsflusses immer deutlich länger als die Verarbeitung der Netzwerkdaten. Es war sogar so, dass die benötigte Rechenzeit mit zunehmender Grösse und Komplexität eines Netzwerks vergleichsweise noch viel stärker anwuchs als die eigentliche Grösse des jeweiligen Rechenproblems. Deshalb gibt es auch Flussprobleme in Netzwerken, die zu gross sind, als dass sie ein Computer überhaupt berechnen könnte.
Bei Rasmus Kyng ist das nicht so: bei seinem Algorithmus wächst die Rechenzeit im selben Mass an, wie die Grösse des Netzwerks zunimmt – das ist etwa so, wie wenn Sie sich auf eine Bergwanderung begeben und ihr Schritttempo lässt keine Minute nach, selbst wenn der Wanderweg immer steiler wird. Diese Leistung spiegelt sich in den nackten Zahlen:
Bis zur Jahrtausendwende schaffte es kein Algorithmus schneller zu rechnen als m1,5, wobei m für die Anzahl Verbindungen in einem Netz steht, die der Computer berechnen muss – und nur schon die Netzwerkdaten einmal zu lesen, nimmt mZeit in Anspruch. Ab 2004 gelang es, die zur Problemlösung benötigte Rechenzeit auf m1,33 zu senken. Mit dem Algorithmus von Kyng ist nun die zusätzlich erforderliche Rechenzeit, um nach dem Lesen der Netzdaten eine Lösung zu erhalten, schlicht vernachlässigbar.

Porsche gegen Pferdekutsche

Damit haben die ETH-Forschenden den theoretisch schnellstmöglichen Netzwerkfluss-Algorithmus entwickelt. Den mathematischen Beweis dafür haben Rasmus Kyng und sein Team vor zwei Jahren in einem bahnbrechenden Paper erbracht. In der Fachsprache heissen die neuartigen, nahezu optimal schnellen Algorithmen auch "fast-linearzeitliche Algorithmen". Die Gemein­schaft der theoretischen Informatikerinnen und Informatiker jedenfalls hat positiv überrascht und begeistert auf Kyngs Durchbruch reagiert.
Kyngs Doktorvater Daniel Spielman, Mathematik- und Informatikprofessor in Yale und selbst ein Pionier auf diesem Gebiet, verglich den "absurd schnellen" Algorithmus mit einem Porsche, der eine Pferdekutsche überholt. Die Arbeit wurde 2022 am "Annual IEEE Symposium on Foundations of Computer Science" als das beste Paper ausgezeichnet sowie vom Informatik-Journal 'Communications of the ACM' als Highlight gewürdigt. Das populär­wissen­schaftliche 'Quanta Magazine' zählte Kyngs Algorithmus zu den grössten Entdeckungen des Jahres 2022 in der Informatik.
Seither haben die ETH-Forschenden ihren Ansatz verfeinert und weitere fast-linearzeitliche Algorithmen entwickelt. Zum Beispiel bezog sich der erste Algorithmus noch auf unveränderliche, statische Netze, deren Verbindungen gerichtet sind, also wie Einbahnstrassen in städtischen Strassennetzen funktionieren. Die in diesem Jahr veröffentlichten Algorithmen können nun auch optimale Flüsse für Netzwerke berechnen, die sich mit der Zeit schrittweise verändern.
Namentlich sehr komplexe und sehr datenreiche Netzwerke, die sich – wie in der Biologie etwa Moleküle oder das Hirn oder wie menschliche Freund­schafts­beziehungen – dynamisch und sehr schnell verändern, wird eine blitzschnelle Berechnung ein wichtiger Schritt.

Blitzschnelle Algorithmen für wandelbare Netzwerke

Am 27. Juni hat Simon Meierhans aus Kyngs Team in Vancouver am "Annual ACM Symposium on Theory of Computing" (STOC) einen neuen fast-linearzeitlichen Algorithmen vorgestellt. Dieser löst das Minimum-Cost-Maximum-Flow-Problem auch für Netzwerke, die sich schrittweise verändern, indem neue Verbindungen dazukommen. In einem zweiten Paper, das das "IEEE Symposium on Foundations of Computer Science" (FOCS) vom nächsten Oktober angenommen hat, haben die ETH-Forscher zudem einen weiteren Algorithmus entwickelt, der auch das Entfernen von Verbindungen berücksichtigt.
Diese Algorithmen ermitteln die kürzesten Routen in Netzen, in denen Verbindungen hinzugefügt oder entfernt werden. In realen Verkehrsnetzen treten solche Veränderungen zum Beispiel dann auf, wenn wie seit dem Sommer 2023 der Gotthard-Basistunnel zunächst ganz und dann teilweise gesperrt ist oder wenn aktuell ein Erdrutsch einen Teil der Nationalstrasse A13 zerstört, welche die wichtigste Alternativroute zum Gotthard-Strassentunnel ist.
image
Rasmus Kyng: "Wir verwarfen den Ansatz, möglichst leistungsstarke Algorithmen für das ganze Netzwerk zu entwerfen." Foto: ETH News / Nicola Pitaro
Wie berechnet in solchen Fällen ein Computer, ein Online-Kartendienst oder Verkehrsroutenplaner die schnellste und günstigste Verbindung zwischen Mailand und Kopenhagen? Kyngs neue Algorithmen berechnen die optimale Route für diese verändernden Netzwerke ebenfalls in fast linearer Zeit, also so schnell, dass die Rechenzeit für jede neu – durch Umleitung oder Neubau – hinzukommende Verbindung wiederum vernachlässigbar ist.
Was genau macht nun Kyngs Berechnungsmethode so viel schneller als alle anderen Netzwerkfluss-Algorithmen? Im Prinzip kennen alle Berechnungsansätze die Herausforderung, dass sie das Netzwerk in mehreren Iterationen durchrechnen müssen, um den optimalen Fluss und die günstigste Route zu finden. Dabei rechnen sie jeweils die verschiedenen Varianten durch, welche Verbindungen offen, gesperrt oder verstopft sind, wenn sie ihre Kapazitätsgrenze erreicht haben.

Was berechnen?

Vor Rasmus Kyng gab es hauptsächlich zwei Lösungsstrategien: die eine orientierte sich am Eisenbahnnetz und berechnete jeweils pro Iteration eine ganze Teilstrecke mit verändertem Verkehrsfluss. Die andere war vom elektrischen Fluss im Stromnetz inspiriert. Sie berechnete pro Iteration jeweils das gesamte Netzwerk, verwendete jedoch für den veränderten Fluss einer Teilstrecke jeweils statistische Mittelwerte, um schneller zu rechnen.
Rasmus Kyngs Team berücksichtigt die jeweiligen Vorzüge von beiden Vorgehensweisen und verbindet sie zu einem radikal neuen Ansatz. "Unser Ansatz beruht auf sehr vielen kleinen, effizienten und günstigen Rechen­schritten, die insgesamt viel schneller sind als wenige grosse", sagt Maximilian Probst Gutenberg, Dozent und Mitarbeiter in Kyngs Gruppe, der massgeblich zur Entwicklung der fast-linearzeitlichen Algorithmen beigetragen hat.
image
Maximilian Probst Gutenberg: "Unser Ansatz beruht auf sehr vielen kleinen, effizienten und günstigen Rechenschritten, die insgesamt viel schneller sind als wenige grosse." Foto: ETH News / Nicola Pitaro
Der Blick in die Fachgeschichte offenbart zusätzliche Dimensionen der Tragweite von Rasmus Kyngs Durchbruch: Immerhin zählten Flussprobleme in Netzwerken zu den ersten, die in den 1950er-Jahren mit Hilfe von Algorithmen systematisch gelöst wurden, und Fluss-Algo­rith­men spielten eine wichtige Rolle, dass sich die theoretische Informatik als eigenes Forschungsgebiet etablierte. Aus dieser Zeit stammt der bekannte Algorithmus der Mathematiker Lester Ford und Delbert Fulkerson, der das Problem des maximalen Flusses effizient löst, dass heisst wie sich möglichst viele Güter durch ein Netzwerk transportieren lassen, ohne die Kapazitätsgrenzen der einzelnen Routen zu überschreiten.

Nicht nur schnell, sondern auch umfassend

Seit damals ist bekannt, dass die wichtigen Netzwerkflussprobleme wie das Maximalfluss-Problem, das Minimalkosten-Problem (sogenannte Umlade- oder Transportprobleme) und weitere im Prinzip Spezialfälle des umfassenden Minimum-cost-flow-Problems darstellen. Vor Rasmus Kyng schafften es die meisten Algorithmen nur, eines dieser Teilprobleme effizient zu lösen.
Sie waren jedoch weder besonders schnell, noch liessen sie sich auf das umfassendere Min-Cost-Flow-Problem ausweiten. Das gilt auch für die wegweisenden Fluss-Algorithmen der 1970er-Jahre, für die die theoretischen Informatiker John Edward Hopcroft, Richard Manning Karp und Robert Endre Tarjan 1985 und 1986 den Turing-Award gewannen.

Von der Schiene zum Strom

Erst 2004 gelang es den Mathematikern und Informatikern Daniel Spielman und Shang-Hua Teng sowie später Samuel Daitch, solche Algorithmen zu schreiben, die auch das Minimum-Cost-Flow Problem schnell und effizient lösen konnten. Sie waren es auch, die sich am elektrischen Fluss im Stromnetz orientierten. Ihr Perspektivenwechsel von der Schiene zum Strom führte mathematisch zu einem erheblichen Unterschied:
Wird im Eisenbahnnetz ein Zug umgeleitet, weil eine Strecke ausfällt, kann es vorkommen, dass die nächstbeste Strecke laut Fahrplan bereits von einem anderen Zug belegt ist. Im Stromnetz hingegen ist es möglich, dass die Elektronen, die den Stromfluss bilden, teilweise auf eine Netzverbindung umgeleitet werden, durch die bereits anderer Strom fliesst. Im Unterschied zu den Zügen lässt sich der Strom somit mathematisch "teilweise" auf eine neue Verbindung verlegen.
Diese partielle Umleitung ermöglichte es Spielman und seinen Kollegen, solche Streckenänderungen viel schneller zu berechnen und zugleich bei jeder Änderung auch das ganze Netzwerk zu rechnen. "Wir verwarfen Spielmans Ansatz, möglichst leistungsstarke Algorithmen für das ganze Netzwerk zu entwerfen", sagt Rasmus Kyng, "vielmehr übertrugen wir seine Idee der teilweisen Streckenberechnung auf die früheren Ansätze von Hopcroft und Karp." Diese partielle Streckenberechnung pro Iteration trug viel dazu bei, die Gesamtflussberechnung zu beschleunigen.

Am Wendepunkt der theoretischen Grundlagen

Entscheidend für den Fortschritt der ETH-Forschenden ist, dass er sich nicht auf die Entwicklung neuer Algorithmen beschränkt. Vielmehr nutzen und entwerfen sie auch neue mathematische Tools, die ihre Algorithmen zusätzlich beschleunigen. Namentlich entwickelten sie eine neue Datenstruktur, die die Netzwerkdaten so organisiert, dass sich jede Änderung einer Verbindung im Netzwerk extrem schnell finden lässt und so zu einer superschnellen algorithmischen Lösung beiträgt. Da es für die fast-linearzeitlichen Algorithmen und für Tools wie die neue Datenstruktur viele Anwendungen gibt, dürfte sich die Innovationsspirale auch insgesamt schon bald viel schneller drehen als bisher.
Die deutlich schnelleren Fluss-Algorithmen legen jedenfalls nicht nur den Grund, um auch sehr grosse, bislang oft nicht effizient berechenbare Probleme zu lösen, sondern sie verändern auch die Art und Weise, wie Computer überhaupt komplexe Aufgaben berechnen. "In den letzten zehn Jahren gab es eine Revolution in den theoretischen Grundlagen für erwiesenermassen schnelle Algorithmen für grundlegende Probleme der theoretischen Informatik", schreibt dazu eine internationale Gruppe von Forschenden der Berkeley Universität, der auch Rasmus Kyng und Deeksha Adil, Forscherin am Institut für Theoretische Studien der ETH Zürich, angehören.

Loading

Mehr zum Thema

image

ETH-Forschende entwickeln Methode für zuverlässigere KI

Der Algorithmus macht die Antworten einer KI laufend zuverlässiger. Zudem erreichen damit auch bis zu 40-mal kleinere KI die gleiche Output-Leistung wie die besten grossen KIs.

publiziert am 24.4.2025
image

Welches Land am meisten Geld für KI ausgibt

Länder, die früh viel Geld in die Entwicklung von KI investiert haben, stehen heute besser da als die Konkurrenz. Ganz vorne sind die USA und China.

publiziert am 24.4.2025
image

Reale KI-Risiken sind grösste Bedrohung

Eine Umfrage der Universität Zürich ergab, dass akute Risiken im Zusammenhang mit KI bedrohlicher wahrgenommen werden als Zukunftsszenarien wie die Herrschaft der Maschinen.

publiziert am 23.4.2025
image

Zürich steckt 2,9 Millionen Franken in KI-Initiativen

Die KMU und die Startups im Kanton sollen mit dem Geld gezielt gefördert werden. Der Regierungsrat sieht insgesamt vier Massnahmen vor.

publiziert am 22.4.2025