ProxMO: Neue Methode für effizientes Training von LLM-Agenten

In modernen Produktionssystemen, von Kundenservice-Automatisierung bis hin zu interaktiven Einkaufsassistenten, gewinnen mehrstufige LLM‑Agenten immer mehr an Bedeutung. Damit diese Agenten schnell und zuverlässig lernen, ist es entscheidend, wertvolle Informationssignale von zufälligem Rauschen zu unterscheiden.

Derzeit basieren gängige Optimierungsansätze auf gruppenbasierten Statistiken, die innerhalb diskreter Batches arbeiten. Diese Methode führt häufig zu einer falschen Zuordnung von Belohnungen, wenn die Schwierigkeit einer Aufgabe schwankt – ein kleiner Fehler kann dabei als zufällige Instabilität interpretiert werden, während ein Erfolg bei einer komplexen Aufgabe als echter Fortschritt gewertet wird.

Die neue Technik namens Proximity‑Based Multi‑Turn Optimization (ProxMO) löst dieses Problem mit zwei schlanken Mechanismen. Erstens moduliert die „Success‑Rate‑Aware Modulation“ die Gradientengeschwindigkeit dynamisch anhand der Episoden‑Schwierigkeit. Zweitens nutzt die „Proximity‑Based Soft Aggregation“ kontinuierliche semantische Gewichtungen auf Schritt‑Ebene, um robuste Baselines zu erzeugen.

Umfangreiche Tests auf den Benchmarks ALFWorld und WebShop zeigen, dass ProxMO die Leistung gegenüber bestehenden Baselines deutlich steigert, ohne dabei die Rechenkosten zu erhöhen. Zusätzlich lässt sich ProxMO nahtlos in bestehende GRPO‑Frameworks integrieren, was einen sofortigen, problemlosen Einsatz in industriellen Trainingspipelines ermöglicht.

Mit ProxMO erhalten Entwickler ein praktisches, ressourcenschonendes Werkzeug, das die Effizienz und Genauigkeit von LLM‑Agenten in realen Anwendungen nachhaltig verbessert.