Signalbasierte Trajektorienauswahl verbessert Agenteninteraktionen

In der Forschung zu Agenten, die auf großen Sprachmodellen basieren, wird zunehmend auf mehrstufige Interaktionsschleifen gesetzt, die Planung, Ausführung und Rückmeldungen aus der Umgebung kombinieren. Obwohl solche Systeme bereits in großem Umfang eingesetzt werden, gestaltet sich die Optimierung nach dem Rollout als schwierig, weil Agentenpfade sehr umfangreich und nicht deterministisch sind. Eine manuelle Durchsicht jeder einzelnen Trajektorie – sei es durch Menschen oder zusätzliche Sprachmodelle – ist dabei zeitaufwendig und kostenintensiv.

Die neue Studie schlägt ein leichtgewichtiges, signalbasiertes Verfahren vor, um Agenteninteraktionen zu triagieren. Dabei werden aus laufenden Interaktionen kostengünstige, allgemein einsetzbare Signale berechnet und als strukturierte Attribute an die Trajektorien angehängt. Diese Signale ermöglichen es, Interaktionen zu identifizieren, die wahrscheinlich wertvolle Erkenntnisse liefern, ohne das Online-Verhalten der Agenten zu beeinflussen.

Die Signale sind in einer groben Taxonomie organisiert, die Interaktionsaspekte (wie Fehlanpassung, Stillstand, Desengagement, Zufriedenheit), Ausführungsaspekte (Fehler, Schleifen) und Umgebungsaspekte (Ermüdung) abdeckt. Sie sind so konzipiert, dass sie ohne Modellaufrufe berechnet werden können. In einer kontrollierten Annotationsstudie am Benchmark τ‑bench, der häufig zur Bewertung von tool‑unterstützten Agenten verwendet wird, zeigte sich, dass die signalbasierte Stichprobe eine 82 %ige Informativitätsrate erreicht – im Vergleich zu 74 % bei heuristischen Filtern und 54 % bei zufälliger Auswahl. Zudem ist die Effizienz pro informativer Trajektorie um das 1,52‑Fache höher.

Die Ergebnisse belegen, dass leichte Signale echte Mehrwerte bei der Bewertung von Agentenpfaden liefern, nicht nur offensichtliche Fehler überproportional hervorheben. Damit eröffnet die Methode einen praktikablen Ansatz, um Agenteninteraktionen gezielt zu analysieren und zu verbessern, ohne die laufende Leistung der Agenten zu beeinträchtigen.