Mixed Reality kombiniert die physische Welt mit digitalen Objekten und wird im Geschäftsumfeld für Wartungsarbeiten und Bildung eingesetzt. Marktforscher sagen der Technologie eine grosse Karriere vorher. "In etwa 10 Jahren werden Mixed-Reality-Brillen die handelsüblichen Smartphones ersetzen", erklärt auch ETH-Professor Marc Pollefeys im Gespräch mit inside-it.ch. Dann dürften die Brillen das Strassenbild prägen, Early Adopters seien bereits in wenigen Jahren anzutreffen.

Pollefeys leitet das Computer Vision and Geometry Lab der ETH Zürich sowie das 2019 eröffnete Microsoft MR & AI Lab. Letzteres beschäftigt 20 Vollzeitangestellte und ist mit einer verwandten Einrichtung in Cambridge für die Forschung von Microsoft in Sachen Mixed Reality (MR) zuständig. Während man in Zürich an der Interaktion mit der physischen Welt arbeitet, kümmern sich die Kollegen in England um das Zusammenspiel zwischen den Menschen. Die Forschenden befassen sich neben der Abfassung wissenschaftlicher Papiere auch mit der Entwicklung konkreter Produkte.

Microsoft hat im März an der Hausmesse Ignite deutlich gemacht, dass man seine Zukunft in der gemischten Realität sieht. Der Konzern stellte seine Plattform "Microsoft Mesh" vor, auf der Nutzende in eine "gemeinsame holografische Welt" eintreten können. In der auf Azure gehosteten Umgebung sollen sie mithilfe einer Vielzahl von Geräten vom Headset – etwa der hauseigenen Hololens – bis zum Smartphone miteinander interagieren können.

Dafür sind sogenannte räumliche Anker notwendig, ohne die User ihre digitalen Inhalte nicht am selben physischen Ort sehen würden. Die gemeinsame gemischte Realität zerfiele in eine Vielzahl von individuellen Welten. Pollefeys und sein Team waren federführend in der Entwicklung des Ankers für Microsoft: dem Azure Spatial Anchors, wie er im Gespräch erklärt.

Hier liegt auch der Fokus des MR & AI Labs in Zürich: Die Verbindung von digitalen Objekten mit der physischen Welt. Die Forschenden erstellen dazu umfassende Maps, damit die Träger von MR-Headsets sowie die Informationen auch korrekt lokalisiert werden können.

Das ist die Voraussetzung, damit nicht nur Hololens-Träger oder Smartphone-User im MR-Modus dieselben digitalen Objekte am selben Ort sehen, es soll auch den Einsatz von Robotern ermöglichen. "Wir haben ein Projekt durchgeführt, in dem Menschen in der Mixed Reality nur auf bestimmte Orte zeigen mussten und ein Roboter hat dort seine Arbeit verrichtet", erklärt Pollefeys nicht ohne Stolz. In Fabriken könne dies ein Renner werden.

Der Lab-Leiter sieht ohnehin mannigfaltige Einsatzmöglichkeiten für die MR-Geräte: Neben den Bereichen Maintanance und Schulung, wo die Technologie bereits verbreitet ist, gebe es etwa in der Medizin einen ganzen Strauss an Use Cases. "Man kann Mixed Reality überall dort besonders gut gebrauchen, wo Menschen komplexe Aufgaben verrichten müssen, aber es wenige Experten gibt", so Pollefeys. So müssten die Spezialisten nicht extra eingeflogen werden, sondern könnten remote assistieren und dabei virtuell vor Ort sein.

Das Smartphone, bei dem man immer die Hände braucht, bezeichnet Pollefeys als "indirekte Augmented Reality". Den Durchbruch werde die Technologie auf diesen Geräten nie erleben. Die ganzen Vorteile liessen sich erst mit der neuen Hardware-Generation, den Mixed-Reality-Brillen, erschliessen. Aber eben: Ein Jahrzehnt dürfte es noch dauern, bis sich diese ganz durchgesetzt haben.

Der Beratungskonzern Capgemini hat kürzlich unter Firmenlenkern in Deutschland, Österreich und der Schweiz nach dem Potential gemischter Realität gefragt: Der Hype sei etwas abgeebt, lautete ein Fazit. Zwar seien die Technologie bei einzelnen Firmen für spezifische Anwendungsfälle im Einsatz, aber es fehle noch an geschäftskritischen Szenarien. Zudem bremsten fehlende Standards die Entwicklung. Dazu komme die teilweise komplexe Integration in Legacysysteme, Probleme bei der Bereitstellung und Unwissen, wie Microsoft im letzten Dezember in einer Umfrage eruiert hatte.

Mittlerweile würden viele Anwender auf OpenXR, einen offenen Standard zurückgreifen können, präzisiert Pollefeys und ergänzt die Hürden um eine weitere: Die Brillen seien vorerst nur für relativ kurzzeitige Einsätze in speziellen Aufgaben geeignet. Die Hololens 2 muss bei 566 Gramm Gewicht 6 Kameras und verschiedene Sensoren sowie mehrere Recheneinheiten unterbringen. Der Akku der 3800 Euro teuren Brille hält gerade mal 2 bis 3 Stunden bei aktiver Nutzung.

Die grösseren Hürden sieht Pollefey aber auf der Seite der Software: Etwa im Bereich des Mapping, der Kernkompetenz des Zürcher Labs, stehe noch eine Menge Arbeit bevor. Hier werde man künftig durch eine Art Crowdsourcing Daten einspeisen. Diese stammen dann von Menschen, die mit ihren Brillen durch die Welt ziehen und dabei die Umgebung aufnehmen. Gerade in einer stark wandelnden Umgebung wie einer Stadt ist dies unumgänglich.

Sollte sich Mixed Reality über die Geschäftswelt verbreiten und die Strasse erobern, wird die Privacy eine Rolle spielen: Die Brillen sind nicht nur mit Kameras gegen aussen bestückt, sondern nehmen auch permanent die Augen des Users auf. Die Software muss schliesslich wissen, wohin der Nutzer blickt. Darauf habe aber keine Applikation Zugriff, so Pollefeys, der ergänzt: "Man muss aber auch immer abwägen, welche Informationen nun wer in der eingeblendeten Schicht der Realität sehen dürfe".

Für sein Team steht also noch ein gutes Stück Arbeit an, bis die nächste Hardware-Generation, jene die für MR ausgelegt ist, die Stadt mit der virtuellen Welt verschmilzt.