Von Tanja Petersen.
EPFL-Forscher haben gerade Meditron veröffentlicht, das weltweit leistungsstärkste Open-Source-Large-Language-Modell, das auf den medizinischen Bereich zugeschnitten ist und als Leitfaden für die klinische Entscheidungsfindung dienen soll.
Grosse Sprachmodelle (LLMs) sind Deep-Learning-Algorithmen, die auf riesigen Textmengen trainiert werden, um Milliarden mathematischer Beziehungen zwischen Wörtern (auch „Parameter“ genannt) zu lernen. Sie sind den meisten von uns als algorithmische Grundlage für Chatbots wie ChatGPT von OpenAI und PaLM bekannt, die für Bard von Google verwendet werden. Die grössten Modelle von heute verfügen über Hunderte Milliarden Parameter, deren Training ebenfalls mehrere Milliarden Dollar kostet.
Während gross angelegte generalistische Modelle wie ChatGPT Benutzern bei einer Reihe von Aufgaben von E-Mails bis hin zu Gedichten helfen können, kann die Konzentration auf einen bestimmten Wissensbereich dazu führen, dass die Modelle kleiner und zugänglicher sind.
Es wurden bereits viele Anstrengungen unternommen, um das medizinische Wissen und die Denkfähigkeit von LLMs zu nutzen und zu verbessern, aber bis heute ist die daraus resultierende KI entweder eine geschlossene Quelle oder in ihrem Umfang auf etwa 13 Milliarden Parameter begrenzt und schränkt so ihre Fähigkeiten ein.
Um den Zugang und die Darstellung zu verbessern, haben Forscher der Fakultät für Computer- und Kommunikationswissenschaften der EPFL MEDITRON 7B und 70B entwickelt, ein Paar Open-Source-LLMs mit 7 bzw. 70 Milliarden Parametern, die an den medizinischen Bereich angepasst.
Aufbauend auf dem von Meta veröffentlichten Open-Access-Llama-2-Modell und mit kontinuierlichem Input von Klinikern und Biologen wurde MEDITRON auf sorgfältig kuratierten, hochwertigen medizinischen Datenquellen geschult. Dazu gehörten von Experten begutachtete medizinische Literatur aus Open-Access-Repositorien wie PubMed und ein einzigartiger Satz unterschiedlicher Leitlinien für die klinische Praxis, die mehrere Länder, Regionen, Krankenhäuser und internationale Organisationen abdecken.
„Nach der Entwicklung von MEDITRON haben wir es anhand von vier wichtigen medizinischen Benchmarks bewertet und dabei gezeigt, dass seine Leistung alle anderen verfügbaren Open-Source-Modelle sowie die geschlossenen GPT-3.5- und Med-PaLM-Modelle übertrifft. MEDITRON-70B liegt sogar innerhalb von 5 % von GPT-4 und 10 % von Med-PaLM-2, den beiden leistungsstärksten, aber geschlossenen Modellen, die derzeit auf medizinische Erkenntnisse zugeschnitten sind“,
sagte Zeming Chen, Hauptautor und Doktorand der Studie Natural Language Processing Lab (NLP) von Professor Antoine Bosselut, dem Hauptforscher des Projekts.
„Es besteht Transparenz darüber, wie MEDITRON geschult wurde und welche Daten verwendet wurden.»
Eine dieser Quellen für hochwertige Evidenz sind die Leitlinien für die klinische Praxis des Internationalen Komitees des Roten Kreuzes.
„Es kommt nicht oft vor, dass neue Gesundheitsinstrumente auf die Bedürfnisse humanitärer Kontexte eingehen“,
sagt Dr. Javier Elkin, der das Digital Health Program beim Internationalen Komitee vom Roten Kreuz leitet.
Autor: Tanya Petersen
Source: EPFL, 28. November 2023
Dieser Inhalt wurde (in englischer Sprache) gemäss den Bedingungen der Creative Commons-Lizenz CC BY-SA 4.0 verbreitet.
Lesen Sie auch:
Noser Engineering: Ärzte erweitern Fachkompetenz mit ChatGPT