TraceSIR: Mehragenten-Framework für strukturierte Analyse von Agenten-Execution-Traces

Agentenbasierte Systeme kombinieren große Sprachmodelle mit externen Werkzeugen und iterativen Entscheidungsprozessen, um komplexe Aufgaben wie tiefgehende Forschung, Funktionsaufrufe und Programmierung zu bewältigen. Ihre ausführlichen Ausführungs‑Traces machen jedoch Fehlerdiagnosen und Ursachenanalysen extrem schwierig. Manuelle Prüfungen sind nicht skalierbar, und die direkte Anwendung von LLMs auf rohe Traces stößt an die Grenzen der Eingabelänge und liefert unzuverlässige Schlussfolgerungen. Wenn man sich ausschließlich auf das Endergebnis konzentriert, verliert man wichtige Verhaltensinformationen, die für eine präzise Fehlerlokalisierung nötig sind.

Um diese Probleme zu lösen, präsentiert TraceSIR ein Multi‑Agenten‑Framework, das die Analyse und Berichterstellung von Agenten‑Execution‑Traces strukturiert. Das System koordiniert drei spezialisierte Agenten: Der StructureAgent führt das neue Abstraktionsformat TraceFormat ein, um Traces zu komprimieren, ohne wesentliche Verhaltensdaten zu verlieren. Der InsightAgent führt eine feinkörnige Diagnose durch, lokalisiert Fehler, ermittelt die Ursachen und schlägt Optimierungen vor. Der ReportAgent fasst die Erkenntnisse über mehrere Aufgabeninstanzen zusammen und erstellt umfassende Analyseberichte.

Für die Bewertung von TraceSIR wurde die Benchmark‑Suite TraceBench entwickelt, die drei reale Anwendungsfälle abdeckt, sowie das Evaluationsprotokoll ReportEval, das die Qualität und Nutzbarkeit der Berichte anhand industrieller Anforderungen misst. Die Experimente zeigen, dass TraceSIR konsistente, informative und umsetzbare Berichte liefert und dabei bestehende Ansätze in allen Metriken deutlich übertrifft.