Forscher: KI-Tools haben in der Pandemie nichts genutzt

18. August 2021, 14:23
image

Neue Studien zerstören grosse Hoffnungen in medizinische KI-Tools. Sie zeigen: In manchen Fällen können Algorithmen Patienten sogar schaden.

Als die Pandemie an Fahrt aufnahm, machten sich KI-Forschende mit Hochdruck an die Entwicklung neuer Tools: Sie wollten nützliche Modelle entwickeln, die dem überlasteten Gesundheitspersonal mit Analysen zur Seite stehen sollten. Auch wir berichteten mehrfach über solche Projekte und ihre Versprechen. Nun stellt sich heraus: Kein Tool war hilfreich. Schlimmer noch: Einige könnten sogar Schaden angerichtet haben.
Zu diesem Schluss kommen mehrere Studien, die in den letzten Monaten veröffentlicht wurden. Laure Wynants, Epidemiologin an der niederländischen Universität Maastricht, hat eine der Studien verfasst: 232 Algorithmen zu Diagnose und Prognose von Erkrankungen hat sie mit ihren Kollegen und Kolleginnen untersucht. Gerade mal 2 der Tools sollen sich dabei überhaupt als geeignet für weitere Tests herausgestellt haben.
"Es ist schockierend", sagte Wynants zur 'MIT Technology Review'. "Ich hatte einige Bedenken dieser Technik gegenüber, aber die Befürchtungen wurden noch übertroffen". Gestützt wird ihre vernichtende Kritik von einer Studie der Universität Cambridge. Ein britisches Forscherteam hatte 415 Tools untersucht, die auf Deep Learning beruhen und im Kampf gegen Covid-19 eingesetzt werden sollten. Ihr Befund lautet ebenfalls: Kein einziges ist für den klinischen Einsatz geeignet.
Derek Driggs, einer der Forscher in Cambridge, entwickelt selbst ein Machine-Learning-Tool für den medizinischen Einsatz. Man habe gehofft, dass die Tools erfolgreich seien und damit auch die Öffentlichkeit vom Ansatz überzeugen könnten, erklärte er und bilanzierte: "Ich glaube nicht, dass wir den Test bestanden haben".
Wynants und Driggs geben auch zu Bedenken, dass der heutige Einsatz von KI-gestützten Gesundheitstools schädlich sein kann. So könnten Tools Diagnosen übersehen oder das Risiko, dem ein Patient ausgesetzt ist, falsch einschätzen. Der grosse Hype um das Thema führe dazu, dass die Modelle schlicht zu früh tatsächlich eingesetzt würden. "Ich befürchte, dass sie Patienten geschadet haben könnten", sagt Wynants in der 'MIT Technology Review'.
Driggs und Wynants sind sich einig, dass sich dies durchaus ändern liesse. Ihre Problembefunde ähneln sich: Die Forscher und Entwickler würden immer wieder dieselben Fehler beim Training und Testen ihrer Systeme machen. Inmitten der Pandemie hätten Ärzte oftmals in Ausnahmesituationen eilig ihre Daten weitergereicht. Diese Daten, teilweise aus unbekannten Quellen, seien aber oftmals von schlechter Qualität gewesen, so dass die Modelle auf einer falschen Basis trainiert worden seien. Generell seien falsche Annahmen über die Daten und schlechte Qualität ein Problem.
Driggs nennt zwei Beispiele dafür: Sein Team trainierte ein Modell mit Lungen-Scans. Da liegende Patienten mit grösserer Wahrscheinlichkeit ernsthaft krank waren, lernte die KI fälschlicherweise, aus den Bildern in jener Position ein höheres Risiko vorherzusagen. In anderen Fällen erkannten KI-Systeme die Schriftart, mit der Krankenhäuser die Scans beschriftete. Dies hatte zur Folge, dass die Schriftarten von Einrichtungen mit schwerwiegenderen Fällen zu Prognosemerkmalen für das Risiko wurden.
Aus diesen Fehlern lasse sich lernen, sind sich die Forschenden einig. Als ersten Schritt sollten die KI-Teams enger mit dem medizinischen Personal zusammenarbeiten und ihre Modelle offenlegen, fordern sie. Zudem erhoffen sich Driggs und Wynants mehr Kooperation unter den international aktiven KI-Teams, deren Modelle oftmals dieselben Fehler machen würden. "Wenn all diese Leute, die neue Modelle entwickeln, stattdessen Modelle testen würden, die bereits verfügbar sind, hätten wir vielleicht schon etwas, das in der Klinik wirklich helfen könnte", so Wynants in der 'MIT Technology Review'.

Loading

Mehr zum Thema

image

Ex-Digitalchef des BAG heuert bei Berner Fachhochschule an

Die BFH will mit Sang-Il Kim ihre digitalen Kompetenzen stärken: Auch Gert Krummrey von der Insel Gruppe stösst zum Medizininformatik-Bereich der Fachhochschule.

publiziert am 12.8.2022
image

Gartner zur Zukunft: NFTs und Metaverse sind ungewiss, bieten aber viel Potential

Die Marktforscher haben den neusten "Hype Cycle" publiziert, spannend finden sie vor allem Technologien im frühen Entwicklungsstadium. Ausgang der Experimente: strittig.

publiziert am 12.8.2022
image

Schweizer "Camper-Airbnb" startet nächste Finanzierungsrunde

Für den weiteren Ausbau will der Luzerner App-Anbieter Parkn'Sleep bis Ende dieses Jahres 2,6 Millionen Franken einnehmen.

publiziert am 12.8.2022
image

Report: Githubs KI-Tool Copilot macht Code unsicherer

Das einst gross angekündigte Tool von Github schreibe eine Menge Lücken in Software, erklären Forscher aus den USA. Sie haben ihre Befunde an der Black-Hat-Konferenz präsentiert.

publiziert am 12.8.2022