LLM-gestützte Analyse von Hirnnetzwerken: FCN-LLM setzt neue Maßstäbe

Große Sprachmodelle (LLMs) haben in den letzten Jahren enorme Fortschritte im Sprachverständnis und in multimodalen Anwendungen erzielt. Inspiriert von diesen Erfolgen wurden nun auch Modelle für Hirn‑Funktionsnetzwerke (Netzwerke funktionaler Konnektivität, FCNs), die aus Ruhe‑State‑fMRI‑Daten gewonnen werden, entwickelt. Diese Modelle zeigen vielversprechende Ergebnisse in klinischen Aufgaben, doch bislang fehlt die direkte Verbindung zwischen den Netzwerken und der Textmodalität, sodass LLMs die FCNs nicht unmittelbar verstehen können.

Um dieses Problem zu lösen, präsentiert die neue Studie das FCN‑LLM‑Framework. Es nutzt einen mehrstufigen Encoder, der Gehirnregionen, funktionale Teilnetzwerke und das gesamte Gehirn auf unterschiedlichen Skalen erfasst und die gewonnenen Features in den semantischen Raum eines LLM überträgt. Anschließend werden graph‑level, multi‑task Instruction‑Tuning‑Aufgaben eingesetzt, die 19 spezifische Attribute abdecken – von Demografie über Phänotypen bis hin zu klinischen Indikatoren.

Der Kern des FCN‑LLM‑Frameworks besteht darin, die FCN‑Features mithilfe eines Encoder‑Decoder‑Modells in ein Textformat zu übersetzen, das von LLMs verarbeitet werden kann. Durch die Kombination von graphen‑basierten und textbasierten Lernstrategien können die Modelle die komplexen Zusammenhänge zwischen Gehirnstrukturen und sprachlichen Ausdrücken besser erfassen.

Die Ergebnisse zeigen, dass das FCN‑LLM‑Framework die Leistung von LLMs in der Analyse von FCN‑Daten verbessert und gleichzeitig die Interpretierbarkeit der Modelle erhöht. Die Autoren betonen, dass die Kombination von graphen‑basierten und textbasierten Lernstrategien ein vielversprechender Ansatz ist, um die Kluft zwischen neurobiologischen Daten und natürlichen Sprachverarbeitungsmodellen zu überbrücken.

Die Studie liefert einen wichtigen Beitrag zur Entwicklung von multimodalen Modellen, die sowohl neurobiologische als auch sprachliche Informationen berücksichtigen. Die Autoren hoffen, dass ihre Arbeit die Grundlage für weitere Fortschritte in der Anwendung von LLMs in der medizinischen Diagnostik und Therapie bildet.