Mehrschrittige Kontextlogik: Wie Multi-Agenten Mid-Scale-Modelle revolutionieren

In einer neuen Untersuchung von arXiv wird gezeigt, wie Multi-Hop‑Kontextlogik in mittelgroßen Sprachmodellen funktioniert. Die Studie demonstriert klar den Unterschied zwischen regelbasierten Suchmethoden und KI‑gestützten Multi‑Agenten: Während regelbasierte Mustererkennung bei strukturierten Informationsabrufen 100 % erreichen, liegt ihre Erfolgsquote bei Aufgaben, die über mehrere Dokumente hinweg verknüpft werden, lediglich bei 6,7 %. Im Gegensatz dazu erzielen Multi‑Agenten-Systeme bis zu 80 % bei genau diesen komplexen Aufgaben.

Die Analyse basiert auf 120 kontrollierten Tests an vier Modellen – LLaMA‑3 8 B, LLaMA‑2 13 B, Mixtral 8×7 B und DeepSeek‑V2 16 B. Drei zentrale Erkenntnisse stehen im Fokus: Erstens hängt die Leistungssteigerung durch Multi‑Agenten stark von der Grundfähigkeit des Modells ab; signifikante Verbesserungen (bis zu 46,7 Prozentpunkte) zeigen sich nur bei Modellen mit ausreichender Rechenbasis. Zweitens korreliert die Leistung von Mixtral mit etwa 12 B aktiven Parametern, nicht mit den 47 B Gesamtparametern, was die Rolle von Inferenzzeit‑Rechenleistung in Mixture‑of‑Experts‑Architekturen unterstreicht. Drittens übertrifft LLaMA‑3 8 B LLaMA‑2 13 B trotz weniger Parametern, was auf Qualitätsverbesserungen im Training hinweist.

Diese Ergebnisse liefern quantifizierbare Belege für die Intuition, dass Multi‑Agenten vor allem bei leistungsfähigen Basismodellen wirken und dass die Architekturqualität entscheidend ist. Sie zeigen, dass die Vorteile von Multi‑Agenten nicht einfach kompensieren, sondern die vorhandene Rechenkraft verstärken.

Zur Förderung weiterer Forschung stellt die Studie ein öffentliches Evaluierungsframework bereit, das Forschern und Entwicklern ermöglicht, die Multi-Hop‑Logik in eigenen Modellen zu testen und zu vergleichen.