ETH hat Augmented Reality für Zahnmediziner entwickelt

5. August 2022, 08:51
  • innovation
  • eth
  • mixed reality
image
Wenn die Studierenden diese Rasterelektronenmikroskop-​Aufnahme eines Osteoklasten mit der App "AR Osteoclasts" scannen, landen sie auf einem 3D-​Modell des Knochens, wo sie verschiedene Aufgaben lösen müssen. Foto: eye science

Game Developer des ETH Game Technology Centers haben eine Augmented-Reality-App programmiert, die in der Zahnmedizin die Prozesse des Knochenumbaus spielerisch vermittelt.

Lehrbücher sind nützlich und enthalten viel wertvolles Wissen. Aufgrund ihrer Informationsdichte sind sie jedoch oft schwer zugänglich und wirken abschreckend. Haben Sie sich schon einmal vorgestellt, Ihr Lehrbuch würde Sie in eine Interaktion verwickeln, in der Sie den Inhalt spielerisch lernen? Genau so funktioniert die App "AR Osteoclasts", die Spielentwickler Jascha Grübel vom Game Technology Center der ETH in Zusammenarbeit mit Bernd Stadlinger, Stv. Klinikdirektor der Klinik für Oralchirurgie am Zentrum für Zahnmedizin in Zürich und Mitglied des ETH AI Centers, programmiert hat, um angehenden Zahnärztinnen und Zahnärzten die Prozesse des Knochenumbaus näherzubringen.
Richten die Studierenden die Kamera ihres Tablets oder Smartphones auf ein bestimmtes Bild im Buch "Kommunikation der Zellen", landen sie auf der Knochenoberfläche neben einem Blutgefäss. In diesem 600-​fach vergrösserten Mikrokosmos steuern die Spielenden biologische und biochemische Prozesse, die ansonsten automatisch ablaufen. Jedes der sechs Spiel-​Kapitel wird von einer Stimme eingeführt, die den Studierenden die Hintergründe des Knochenabbaus sowie die Rolle, die sie einnehmen, erläutert (vgl. Video).
So funktioniert die App "AR Osteoclasts" (Video: Game Technology Center ETH)

Von uns unbemerkt werden jedes Jahr 10 Prozent unseres Skeletts umgebaut. Dabei sind sogenannte Osteoklasten-​Zellen für den Abbau des Knochens und Osteoblasten für die Herstellung von neuem Knochenmaterial zuständig. Dieses Wissen ist für Zahnärztinnen und Zahnärzte besonders zentral, da Osteoklasten eine wichtige Rolle beim Zahnwechsel, aber auch bei der Integration von Zahnimplantaten in die natürliche Knochenstruktur spielen. Ebenso verteidigen sie die Kieferknochen gegen bakterielle Infektionen und unterstützen die Heilung von Wunden, wenn ein Zahn gezogen werden muss.

Vom Mindmap zum Spiel – mit Hilfe von Mathematik

Auch Hauptentwickler Grübel musste sich zuerst in die Thematik einarbeiten: "Ich habe Lehrfilme angeschaut und alle beteiligten Zellen, deren Aufgaben, Handlungen und Interaktionen in einem Mindmap zusammengefasst." Weil die Prozesse im Körper automatisch ablaufen, musste er entscheiden, welche Elemente davon im Spiel vom Menschen übernommen werden. "Wenn der Spieler beispielsweise auf den Bildschirm tappt, sendet der Osteoklast Botenstoffe aus, um Stammzellen anzulocken, welche sich zu Osteoblasten entwickeln, die den Knochen wieder flicken", erklärt Grübel. Manchmal erhalten die Spielenden auch symbolische Hilfen: In Kapitel drei steuern sie zwei Zapfhähne – einer für Säure und einer für Enzyme –, wobei sie mit der richtigen Menge der zwei Substanzen den Knochen auflösen können. Solche Spielmechanismen programmiert Grübel auf Unity – einer Plattform, auf der man Spiele entwickelt. "Für ein Spiel muss sich auch im Computer die Zeit bewegen und den nächsten Schritt im Spielverlauf definieren", führt Grübel aus. "Unity gibt diesen Hintergrund schon vor, sowie zum Beispiel auch physikalische Gesetze, die im Spiel gelten sollen." Denn letzten Endes seien alle Spielmechanismen mathematische Berechnungen, so Grübel.

Im Dreieck zwischen Spiel, Wissenschaft und Bildung

Die Balance zwischen Spiel, Wissenschaft und Bildung zu finden, beschreibt Fabio Zünd, Geschäftsführer des GTCs, als besondere Herausforderung: "Ein Spiel muss Spass machen und motivieren. Dazu müssen wir die biologischen Prozesse vereinfachen, ohne sie dabei zu verfälschen." Dies verlangte einen intensiven Austausch der Spielentwickler mit den Zahnmedizinern, Forschern und Verlagsmitarbeitern. "Gewisse Spielzüge erinnerten die Forschenden an veraltete Wissensmodelle. Wir mussten daher gemeinsam herausfinden, wie wir das aktuelle Verständnis sinnvoll darstellen können", erklärt Grübel.
Eine weitere Herausforderung war es, sicherzustellen, dass die App auf möglichst vielen Geräten läuft: "Am GTC widmen wir uns normalerweise Forschungsprototypen – das heisst, sie laufen nur auf einem Gerät, aber können verrückte Dinge tun", sagt Zünd. Im Gegensatz dazu handelt es sich bei AR Osteoclasts um ein Produkt in den Appstores, das möglichst viele Leute erreichen soll. Deshalb mussten die Entwickler die Technik in AR Osteoclasts limitieren, sodass die App auch auf älteren Geräten läuft. Digital Artist Violaine Fayolle rechnete das detaillierte 3D-​Modell des Knochens, auf dem sich der Spieler befindet, so herunter, dass die Geräte bei der Darstellung des Spiels nicht heisslaufen. Das 3D-​Modell stammt vom Medizinalfilmproduzenten "interActive Systems", der sich neben dem Verlag an der App-​Entwicklung beteiligt hat.

Spielen oder doch lieber lesen?

Inwiefern die Studierenden dank der App motivierter sind oder gar besser lernen, wird derzeit in einer begleitenden Studie erhoben. Beide Informatiker sehen jedoch in Spielen grosses pädagogisches Potenzial. "Man kann mit Spielen viel vermitteln, doch es ist schwierig zu wissen, was man vermittelt. Da brauchen wir noch mehr Resultate aus den Lernwissenschaften", sagt Grübel. In der Balance zwischen Spiel und Wissensvermittlung ist die App ist zwar nicht so spielerisch herausgekommen, wie sich Grübel das gewünscht hätte, doch im Hinblick auf die kurze Entwicklungszeit ist er mit dem Resultat zufrieden. "Einen Buchinhalt interaktiv umzusetzen, ist etwas Neues", meint er. Seine Spiellust darf der Entwickler aber doch noch ausleben: Gemeinsam mit Bernd Stadlinger, der das Buch "Kommunikation der Zellen" mitherausgegeben hat, geht das Projekt in eine zweite Runde. "Wir möchten das Spiel in Virtual Reality umsetzen, wo wir mehr Interaktionsmöglichkeiten haben und erforschen können, wie der Mensch mit dem Computer interagiert", sagt Zünd.
Autorin: Stéphanie Hegelbach / ETH News

Literaturhinweis

Gruber R, Stadlinger B, Terheyden H. Kommunikation der Zellen: Zellatlas – Visualisierte Biologie in der Oralen Medizin. Berlin: Quintessence Publishing, 2022.

Die App "AR Osteoclasts"

Die App "AR Osteoclasts" kann im App Store sowie im Google Play Store kostenlos heruntergeladen werden. Sie läuft auf Tablets und Smartphones.

Loading

Mehr zum Thema

image

Gartner zur Zukunft: NFTs und Metaverse sind ungewiss, bieten aber viel Potential

Die Marktforscher haben den neusten "Hype Cycle" publiziert, spannend finden sie vor allem Technologien im frühen Entwicklungsstadium. Ausgang der Experimente: strittig.

publiziert am 12.8.2022
image

Schweizer "Camper-Airbnb" startet nächste Finanzierungsrunde

Für den weiteren Ausbau will der Luzerner App-Anbieter Parkn'Sleep bis Ende dieses Jahres 2,6 Millionen Franken einnehmen.

publiziert am 12.8.2022
image

Report: Githubs KI-Tool Copilot macht Code unsicherer

Das einst gross angekündigte Tool von Github schreibe eine Menge Lücken in Software, erklären Forscher aus den USA. Sie haben ihre Befunde an der Black-Hat-Konferenz präsentiert.

publiziert am 12.8.2022
image

St.Galler Startup startet Pilotprojekt für E-Rezept

Die Initiative kommt vom Startup Onlinedoctor, das eine Plattform für Teledermatologie anbietet.

publiziert am 11.8.2022