Neue Theorie erklärt Dynamik von Agenten-Loops in großen Sprachmodellen

Ein brandneues Papier aus dem arXiv‑Repository liefert einen klaren geometrischen Rahmen, um die Dynamik von Agenten‑Loops in großen Sprachmodellen (LLMs) zu verstehen. Diese Loops entstehen, wenn die Ausgabe eines Modells wieder als Eingabe für den nächsten Durchlauf verwendet wird – ein Prozess, der bisher wenig nachvollziehbar war.

Die Autoren unterscheiden zwischen dem „Artifact‑Space“, in dem sprachliche Transformationen stattfinden, und dem „Embedding‑Space“, in dem die geometrischen Messungen vorgenommen werden. Da die übliche Cosinus‑Ähnlichkeit durch Anisotropie der Embeddings verzerrt ist, führen sie eine isotone Kalibrierung ein, die diese Verzerrung eliminiert und die Ähnlichkeiten mit menschlichen semantischen Urteilen in Einklang bringt, ohne die lokale Stabilität zu verlieren.

Dank dieser Kalibrierung können Trajektorien, Cluster und Attraktoren präzise gemessen werden. In kontrollierten Experimenten identifizieren die Forscher zwei fundamentale Regime: Ein „contractive rewriting loop“ konvergiert zu einem stabilen Attraktor mit abnehmender Streuung, während ein „exploratory summarize and negate loop“ divergiert und keine Cluster bildet. Beide Regime zeigen deutlich unterschiedliche geometrische Signaturen von Kontraktion und Expansion.

Das Ergebnis ist klar: Die Gestaltung des Prompts bestimmt direkt das dynamische Verhalten des Agenten‑Loops. Damit eröffnet die Studie die Möglichkeit, Convergence, Divergence und die Struktur von Trajektorien in iterativen LLM‑Transformationen systematisch zu steuern.