Dual Latent Memory löst Skalierungsproblem in visuellen Multi-Agenten-Systemen

Visuelle Multi-Agenten-Systeme (VMAS) versprechen, die Leistungsfähigkeit durch Zusammenarbeit zu steigern. In der Praxis zeigen jedoch Experimente, dass mehr Agenten nicht immer besser sind – die Leistung sinkt, während die Token-Kosten exponentiell ansteigen. Dieses Phänomen, das als „Scaling Wall“ bezeichnet wird, resultiert laut den Forschern aus einem Informationsengpass in textbasierten Kommunikationswegen. Die Umwandlung von Wahrnehmungen und Denkprozessen in natürliche Sprache führt zu einem Verlust an Semantik.

Um dieses Problem zu überwinden, wurde L2-VMAS entwickelt, ein modellunabhängiges Framework, das Agenten mit dualen latenten Speichern ausstattet. Dabei werden Wahrnehmung und Denken getrennt und die beiden Speicher dynamisch zusammengeführt. Zusätzlich wird ein von Entropie getriebener Triggermechanismus eingesetzt, der statt passiver Informationsübertragung gezielt und bedarfsgesteuert auf Speicher zugreift.

Umfangreiche Tests mit verschiedenen Grundmodellen, Größen und Agentenstrukturen zeigen, dass L2-VMAS die Scaling Wall effektiv durchbricht. Die durchschnittliche Genauigkeit steigt um 2,7 % bis 5,4 %, während der Token-Verbrauch um 21,3 % bis 44,8 % reduziert wird. Der Quellcode ist unter GitHub verfügbar.