LLM-basierte Agenten: Wie man mit Counterfactuals alternative Intentionen prüft

In der neuesten Forschung auf arXiv wird ein innovatives Verfahren vorgestellt, das es Nutzern ermöglicht, nach einem Ergebnis zu hinterfragen: „Was wäre passiert, wenn ich meine Absicht anders formuliert hätte?“ Das Konzept nutzt große Sprachmodelle (LLMs), um hochrangige Nutzerabsichten in konkrete Pläne und Aktionen zu übersetzen, und erweitert diese Fähigkeit um eine systematische Gegenfaktische Analyse.

Der Ansatz modelliert die Interaktion zwischen Nutzer, LLM-Agent und Umgebung als strukturelles kausales Modell (SCM). Durch Testzeit-Skalierung erzeugt er mehrere mögliche Gegenfaktische Ergebnisse mittels probabilistischer Abduktion. In einer Offline-Kalibrierungsphase liefert das sogenannte Conformal Counterfactual Generation (CCG) Ergebnis-Sets, die mit hoher Wahrscheinlichkeit das wahre Gegenfaktische Ergebnis enthalten.

Die Autoren demonstrieren die Leistungsfähigkeit von CCG anhand eines Anwendungsfalls in der drahtlosen Netzwerkkontrolle. Im Vergleich zu einfachen Re‑Execution‑Baselines zeigt sich ein deutlicher Vorteil: CCG liefert präzisere und zuverlässigere Alternativszenarien, was die Entscheidungsfindung in autonomen Systemen erheblich verbessert.