Mid-Training von LLMs verbessert Zusammenfassung radiologischer Berichte

Radiologieberichte sind oft umfangreich und erfordern viel Zeit für die Interpretation. Eine präzise und schnelle Zusammenfassung kann den Arbeitsaufwand für Ärzte erheblich reduzieren.

Traditionell werden große Sprachmodelle (LLMs) zunächst in einem allgemeinen Kontext vortrainiert und anschließend für die Zusammenfassung feinabgestimmt. Dieser Ansatz hat zwar Fortschritte ermöglicht, stößt aber bei spezifischen medizinischen Texten an Grenzen.

In einer neuen Studie wurde ein zusätzlicher Schritt eingeführt: das sogenannte Mid‑Training innerhalb des Subdomains. Dabei wird das Modell nach dem allgemeinen Vortraining in einem klinischen Kontext weiter trainiert, bevor es für die eigentliche Zusammenfassung feinabgestimmt wird.

Die Forscher untersuchten drei Varianten: (1) allgemeines Vortraining, (2) klinisches Vortraining und (3) klinisches Vortraining gefolgt von Subdomain‑Mid‑Training. Für die Experimente nutzten sie umfangreiche klinische Texte der University of Florida Health.

Die Modelle wurden anschließend auf den etablierten Benchmark‑Datensätzen OpenI und MIMIC‑CXR getestet. Das Ergebnis zeigte, dass das Mid‑Trainierte Modell, GatorTronT5‑Radio, die besten Leistungen erzielte.

GatorTronT5‑Radio übertraf die Konkurrenz sowohl bei textbasierten Metriken wie ROUGE‑L als auch bei faktischer Genauigkeit gemessen mit RadGraph‑F1. Darüber hinaus zeigte es eine verbesserte Few‑Shot‑Lernfähigkeit und minderte das sogenannte „Cold‑Start“-Problem.

Die Autoren betonen, dass der Ansatz „Vortraining – Mid‑Training – Feinabstimmung“ gegenüber dem herkömmlichen direkten Feinabstimmen überlegen ist, insbesondere für spezialisierte medizinische Anwendungen.

Diese Erkenntnisse legen nahe, dass ein gezieltes Mid‑Training die Leistungsfähigkeit von LLMs in der radiologischen Berichts‑Zusammenfassung deutlich steigern kann und damit die klinische Praxis entlastet.