Training‑freies Framework verbessert multimodale Multi‑Hop‑Fragenantworten

Die Beantwortung von Fragen, die mehrere Modalitäten wie Bilder und Texte erfordern, stellt die KI‑Forschung vor große Herausforderungen. Traditionelle Ansätze bauen auf sequentieller Suche und schrittweiser Logik auf, wodurch Fehler in einem Zwischenschritt die gesamte Antwort gefährden. Zudem sind multimodale Modelle häufig mit aufwendigen Trainingsprozessen verbunden, die viel Rechenleistung kosten.

Die neue Methode, die im Preprint „MMAPG: A Training‑Free Framework for Multimodal Multi‑hop Question Answering via Adaptive Planning Graphs“ vorgestellt wird, setzt auf ein adaptives Planungsgraphen‑System. Der Graph besteht aus drei Modulen – Planung, Abruf und Logik – die gemeinsam die nächsten Schritte bestimmen und den Graphen dynamisch erweitern. Dadurch kann das System flexibel verschiedene Pfade erkunden, ohne auf ein festes Trainingsschema angewiesen zu sein.

Für den Abruf von Texten zu nicht vorgegebenen Zielmodalitäten entwickelt die Arbeit modulenspezifische Strategien, die sich automatisch an unterschiedliche Datenformate anpassen. Dadurch bleiben die einzigartigen Eigenschaften der multimodalen Informationen erhalten, während gleichzeitig die Notwendigkeit für aufwändiges, modell‑spezifisches Training entfällt. Das System lässt sich nahtlos in aktuelle Modelle integrieren.

Experimentelle Ergebnisse auf den Datensätzen MultimodalQA und WebQA zeigen, dass das Training‑freie Framework die Leistung bestehender, trainierter Modelle erreicht oder sogar übertrifft. Damit demonstriert die Arbeit, dass robuste multimodale Frage‑Antwortsysteme ohne umfangreiches Training realisiert werden können.