Med-CRAFT: Automatisierte Erstellung interpretierbarer Video-Benchmarks

Die Verfügbarkeit hochwertiger, logisch annotierter Video-Datensätze ist ein entscheidender Engpass für die Weiterentwicklung von multimodalen großen Sprachmodellen im medizinischen Bereich. Manuelle Annotationen sind kostenintensiv und nicht skalierbar, während synthetische Verfahren häufig zu Halluzinationen und fehlender logischer Nachvollziehbarkeit führen.

Med-CRAFT ist ein neuro-symbolisches Datenengineering-Framework, das die Erstellung von Benchmarks als deterministischen Graphen‑Traversal-Prozess formalisiert. Im Gegensatz zu Black‑Box‑Generierungsansätzen extrahiert Med‑CRAFT strukturierte visuelle Primitiven – etwa chirurgische Instrumente oder anatomische Grenzen – aus Rohvideostreams und integriert sie in einen dynamischen, spatiotemporalen Knowledge Graph. Durch die Verankerung der Abfrageerzeugung an gültige Pfade im Graphen wird eine rigorose Chain‑of‑Thought‑Provenienz für jedes synthetisierte Benchmark‑Element sichergestellt.

Die Implementierung von Med‑CRAFT liefert das große medizinische Video‑Reasoning‑Benchmark M3‑Med‑Auto, das feinkörnige zeitliche Selektivität und mehrstufige logische Komplexität aufweist. Umfangreiche Evaluierungen zeigen, dass die automatisierte Pipeline Abfragen erzeugt, die in ihrer Komplexität mit von Experten kuratierten Datensätzen vergleichbar sind. Eine Logik‑Alignment‑Analyse bestätigt zudem eine hohe Korrelation zwischen der vorgesehenen Graph‑Topologie und den Schritten der führenden multimodalen Sprachmodelle, was die Fähigkeit des Systems unterstreicht, verifizierbare Logik in visuell‑linguistische Benchmarks einzubetten.

Diese Arbeit ebnet den Weg für skalierbare, interpretierbare medizinische Videodaten und eröffnet neue Möglichkeiten für die Entwicklung und das Testen von multimodalen Modellen im Gesundheitswesen.