ACAR: Adaptive Routing für Multi-Model-Ensemble mit auditierbarem Entscheidungsweg

ACAR (Adaptive Complexity and Attribution Routing) ist ein neues Messframework, das die Orchestrierung mehrerer KI‑Modelle unter vollständig nachvollziehbaren Bedingungen untersucht. Durch die Berechnung der Selbstkonsistenz‑Varianz (σ) aus drei Probe‑Samples entscheidet ACAR, ob ein Task mit einem einzelnen Modell, einem Zwei‑Modell‑Ensemble oder einem Drei‑Modell‑Ensemble ausgeführt wird.

Die Implementierung läuft auf TEAMLLM, einer deterministischen Ausführungsplattform, die unveränderbare Artefakte und komplette Entscheidungs‑Traces liefert. ACAR nutzt die σ‑Metrik, um Aufgaben dynamisch zu routen, ohne dass lernbasierte Komponenten erforderlich sind.

In einer umfangreichen Evaluation wurden 1 510 Aufgaben aus vier Benchmarks – MathArena, Reasoning Gym, LiveCodeBench und SuperGPQA – mit den Modellen Claude Sonnet 4, GPT‑4o und Gemini 2.0 Flash getestet. ACAR erreichte 55,6 % Genauigkeit, was einen leichten, aber signifikanten Anstieg gegenüber dem Zwei‑Modell‑Baseline von 54,4 % darstellt. Gleichzeitig konnte bei 54,2 % der Aufgaben das vollständige Ensembling vermieden werden, was Rechenressourcen spart.

Die Studie dokumentiert auch negative Ergebnisse: Die Ergänzung von Retrieval‑Augmentation senkte die Genauigkeit um 3,4 % aufgrund niedriger semantischer Übereinstimmung. Außerdem zeigte sich ein „Agreement‑but‑Wrong“-Fehler, bei dem Modelle bei falschen Antworten vollständig übereinstimmen und keine Ensemble‑Korrektur möglich ist. Abschließend erwiesen sich Attributionsschätzungen, die auf Proxy‑Signalen wie Antwort‑Ähnlichkeit und Entropie basieren, als schwach korreliert.