SMAGDi: Kompaktes Modell distilliert Multi-Agenten-Debatte für hohe Genauigkeit

In der Forschung zu Multi-Agenten-Systemen (MAS) wird häufig festgestellt, dass mehrere Modelle gemeinsam über Debatten hinweg bessere Ergebnisse erzielen als einzelne Modelle. Diese Debatten sind jedoch rechenintensiv, weil sie viele Interaktionen zwischen den Agenten erfordern. Das neue Verfahren SMAGDi löst dieses Problem, indem es die Debatten eines fünf‑Agenten‑Llama‑basierten Systems in ein kompakteres Modell überträgt.

SMAGDi nutzt gerichtete Interaktionsgraphen, um Debattenverläufe abzubilden. Jeder Knoten im Graphen steht für einen Zwischenschritt der Argumentation und trägt eine Kennzeichnung, ob der Schritt korrekt ist. Die Kanten zeigen die Kontinuität der Argumentation sowie den Einfluss von Agent zu Agent an. Auf Basis dieser Graphen wird ein sogenannter „Socratic decomposer‑solver“ – ein kleineres Modell – trainiert.

Das Training kombiniert mehrere Ziele: Sprachmodellierung, graphbasierte Überwachung, kontrastive Argumentation und Einbettungsangleichung. Dadurch behält das Modell sowohl die Sprachflüssigkeit als auch die strukturierte Denkweise des ursprünglichen Systems bei. Auf den Benchmark‑Datensätzen StrategyQA und MMLU konnte SMAGDi ein 40‑Billionen‑Parameter‑MAS auf ein 6‑Billionen‑Parameter‑Modell reduzieren und dabei 88 % der ursprünglichen Genauigkeit beibehalten. Damit übertrifft es frühere Distillationsmethoden wie MAGDi, klassische Knowledge Distillation und einfach feinabgestimmte Baselines.

Die Ergebnisse zeigen, dass die explizite Modellierung von Interaktionsgraphen und die Socratic‑Decomposition es kleinen Modellen ermöglichen, die Genauigkeitsvorteile von Multi‑Agenten-Debatten zu übernehmen, ohne die Effizienz zu verlieren. Dies macht SMAGDi zu einer vielversprechenden Lösung für den Einsatz in realen Anwendungen, bei denen sowohl hohe Genauigkeit als auch geringe Rechenkosten erforderlich sind.