Agentenlernen mit wachsender multimodaler semantischer Erinnerung

Multimodale Large Language Models (MLLMs) zeigen beeindruckende Rechenfähigkeiten, doch sie lösen Aufgaben oft isoliert und wiederholen dabei dieselben Fehler. Traditionelle, speicherbasierte Agenten speichern lediglich vergangene Pfade, verlieren dabei jedoch wichtige Domänenkenntnisse und erfassen nur einseitige, ein‑Modality‑Spuren des Verhaltens.

Um diesem Problem entgegenzuwirken, präsentiert die neue Arbeit ViLoMem – ein dual‑Stream‑Speicher, der visuelle Ablenkungsmuster und logische Fehler getrennt erfasst. Durch die Kombination von kompakter, schema‑basierter Speicherung und einem „grow‑and‑refine“-Prinzip kann das System multimodales semantisches Wissen schrittweise erweitern, stabile Strategien bewahren und gleichzeitig katastrophales Vergessen verhindern.

In sechs multimodalen Benchmarks übertrifft ViLoMem die bisherigen Ansätze deutlich: Die Pass@1‑Genauigkeit steigt, während wiederholte visuelle und logische Fehler signifikant reduziert werden. Ablationsstudien zeigen, dass die getrennte Behandlung von Ablenkung und Halluzination entscheidend für den Erfolg ist.

Diese Ergebnisse unterstreichen die Bedeutung eines fehler‑sensiblen, multimodalen Speichers für die lebenslange Lernfähigkeit von MLLMs und markieren einen wichtigen Schritt hin zu menschenähnlicher, integrierter semantischer Erinnerung.