MMRAG-RFT: Zweistufiges Reinforcement Learning für erklärbare Retrieval-Generierung

Ein neues Verfahren namens MMRAG-RFT kombiniert multimodale Retrieval-gestützte Generierung mit Reinforcement Learning, um die Erklärbarkeit von KI‑Antworten zu erhöhen. Durch die Einbindung externer multimodaler Daten liefert das System glaubwürdige Antworten, doch bisher fehlte die Möglichkeit, den Denkprozess hinter Retrieval und Generierung transparent darzustellen.

MMRAG‑RFT löst dieses Problem mit einem zweistufigen Fine‑Tuning‑Ansatz. In der ersten Phase wird ein regelbasiertes Reinforcement Learning eingesetzt, um eine grobe, punktweise Rangfolge multimodaler Dokumente zu erstellen und stark irrelevante Inhalte auszuschließen. Die zweite Phase nutzt ein reasoning‑basiertes Reinforcement Learning, das gleichzeitig die feingranulare Listenrangfolge und die Antwortgenerierung optimiert. Dadurch wird das multimodale Sprachmodell dazu angeregt, nachvollziehbare Begründungen im Retrieval‑ und Generierungsprozess auszugeben.

Die Ergebnisse zeigen, dass MMRAG‑RFT die bisher besten Leistungen auf den Benchmark‑Datensätzen WebQA und MultimodalQA erzielt. Umfangreiche Ablationsstudien bestätigen die Wirksamkeit beider Stufen und unterstreichen die Bedeutung von erklärbaren KI‑Modellen in komplexen multimodalen Szenarien.