EPFL lanciert Open-Source-KI für medizinische Zwecke

28. November 2023 um 13:18
image
Foto: EPFL

Im Gegensatz zu proprietären medizinischen Large-Language-Modellen sei die Entwicklung und das Training von "Meditron" komplett transparent, betont die ETH Lausanne.

Forscher der École Polytechnique Fédérale de Lausanne (EPFL) haben ein Large-Language-Modell (LLM) für medizinische Anwendungen entwickelt und freigegeben. "Meditron", wie es genannt wird, soll Medizinerinnen und Medizinern in aller Welt dabei helfen, korrekte klinische Entscheidungen zu treffen.
Das Besondere an Meditron, betont die EPFL, sei sein Open-Source-Konzept. Es gibt bereits LLMs für die Medizin, die meisten seien aber proprietär. Anwender könnten nicht genau wissen, mit welchen Materialien sie trainiert wurden und können auch bei der Weiterentwicklung nicht eingreifen.

Transparente Trainingsdaten

Im Gegensatz dazu lege man bei Meditron offen, welche Daten für das Training verwendet wurden. Meditron basiere auf dem Open-Access-Modell Llama-2 von Meta und sei mit sorgfältig ausgewählten medizinische Datenquellen von hoher Qualität trainiert worden. Darunter sei wissenschaftlich geprüfte medizinische Fachliteratur aus öffentlich zugänglichen Quellen wie Pubmed sowie Guidelines für medizinische Praktiken aus verschiedenen Spitälern, Ländern und Regionen. Auch Guidelines von internationalen Organisationen seien verwendet worden, darunter jenes des Internationalen Roten Kreuzes.
Es komme nicht oft vor, dass bei der Entwicklung von medizinischen Tools auch humanitäre Aspekte berücksichtigt würden, kommentiert Javier Elkin vom IKRK. Deshalb freue man sich sehr über diese Zusammenarbeit mit der EPFL.
Nun hoffe man auf internationale Mitarbeit bei der Weiterentwicklung von Meditron, sagt Professor Martin Jaggi, der das Laboratorium für Machine Learning und Optimierung der EPFL leitet. "Wir wollen, dass Forscher mit unserem Modell Stress-Tests durchführen. Mit ihren Verbesserungen können sie es verlässlicher und robuster und sicherer machen. Es geht um den langen, aber notwendigen Prozess der Validierung in der realen Welt. Genau dies ist aber mit proprietären Modellen gar nicht möglich."

Leistung gleich gut wie proprietäre Systeme

Es gibt 2 Versionen von Meditron mit 7 oder 70 Milliarden Parametern. Obwohl die proprietären Modelle hunderte von Milliarden an Parametern verwenden, könne das eigene Open-Source-LLM bei der Qualität seiner Antworten mithalten, so die EPFL. Die sorgfältige Auswahl von weniger, aber für den Einsatzzweck massgeschneiderten und hochqualitativen Trainingsdaten mache dies möglich.
Nach der Entwicklung von Meditron habe man vier bekannte medizinische Benchmark-Tests durchgeführt, um das System zu evaluieren. Dabei habe sich gezeigt, dass Meditron nicht nur besser sei als alle anderen gegenwärtig erhältlichen Open-Source-Modelle, sondern auch besser als die proprietären Modelle GPT-3.5 und Med-PaLM. Die Meditron-Version mit 70 Milliarden Parametern erreiche zudem beinahe die Performance von GPT-4 und Med-PaLM-2, den beiden gegenwärtig besten LLMs für medizinische Zwecke.
Mehr zu den technischen Details und zur Leistung von Meditron findet man in diesem wissenschaftlichen Papier auf Arxiv.

Loading

Mehr zum Thema

image

Tumblr und Wordpress wollen Inhalte für KI-Training verkaufen

Die beiden Content-Management-Plattformen wollen die Inhalte ihrer Nutzenden zu Geld machen. Wer das nicht will, muss die Funktion deaktivieren.

publiziert am 28.2.2024
image

Dell bringt KI-Computer auf den Markt

Neben CPU und GPU verfügen die Geräte auch über eine Neural Processing Unit. Diese bietet Rechenressourcen für KI-Aufgaben.

publiziert am 28.2.2024
image

Digitale Transformation erhöht Fehleranfälligkeit von Skyguide

Weil sich alte und neue Systeme bei der Flugsicherung überlagern, kommt es am Flughafen Zürich immer wieder zu Störungen. Seit Ende Oktober waren es schon drei Stück.

publiziert am 27.2.2024
image

Sherpany in die USA verkauft

Das Zürcher SaaS-Startup wurde vom US-Unternehmen Datasite akquiriert. Über die Verkaufssumme ist nichts bekannt.

publiziert am 27.2.2024