CHIEF: Hierarchische Fehleranalyse für LLM-basierte Multi-Agenten

In der Forschung zu großen Sprachmodellen (LLM) haben Multi-Agenten-Systeme (MAS) beeindruckende Leistungen in komplexen Aufgabenbereichen gezeigt. Gleichzeitig bleiben ihre Fehlermechanismen oft undurchsichtig und anfällig. Traditionelle Ansätze zur Fehlerzuordnung, die auf flachen Ausführungsprotokollen basieren, können die komplexen kausalen Zusammenhänge in MAS nicht adäquat erfassen, was zu schwacher Beobachtbarkeit und unklaren Verantwortlichkeitsgrenzen führt.

Um diese Probleme zu lösen, wurde das neue Framework CHIEF entwickelt. CHIEF wandelt chaotische Ablaufspuren in ein strukturiertes, hierarchisches Kausalgraphen um. Anschließend nutzt es eine hierarchische, orakelgestützte Rückverfolgung, um den Suchraum effizient zu verkleinern, indem synthetisierte virtuelle Orakel eingesetzt werden. Durch eine fortschreitende kausale Screening-Strategie werden schließlich Gegenfaktische Attributionen durchgeführt, die wahre Grundursachen von Symptomen klar unterscheiden.

Experimentelle Tests am Who&When-Benchmark zeigen, dass CHIEF die Genauigkeit auf Agenten- und Schritt-Ebene gegenüber acht führenden Baselines deutlich verbessert. Ablationsstudien bestätigen, dass jedes einzelne Modul von CHIEF entscheidend zum Gesamterfolg beiträgt. Diese Fortschritte markieren einen wichtigen Schritt hin zu transparenten und robusten LLM-basierten Multi-Agenten-Systemen.