Hindsight Credit Assignment verbessert LLM-Agenten bei langen Aufgaben

Forscher haben ein neues Verfahren namens HCAPO vorgestellt, das große Sprachmodelle (LLM) dabei unterstützt, bei komplexen, mehrstufigen Aufgaben besser zu lernen. Durch die Nutzung des Modells selbst als „nachträglichen Kritiker“ kann HCAPO die Bewertung einzelner Schritte verfeinern und so die Belohnungszuweisung präziser gestalten.

Im Gegensatz zu bisherigen Methoden, die oft mit ungenauen Q‑Werten und falschen Basiswerten für Zwischenschritte kämpfen, kombiniert HCAPO eine mehrstufige Vorteilskomponente. Diese ergänzt die fehlerhaften Basiswerte an entscheidenden Punkten und fördert eine gezieltere Exploration.

Tests an drei anspruchsvollen Benchmarks – darunter WebShop und ALFWorld – zeigen, dass HCAPO die Erfolgsraten deutlich steigert. Auf WebShop verbesserte es die Erfolgsquote um 7,7 % und auf ALFWorld um 13,8 % gegenüber dem aktuellen Standard GRPO, wenn das Qwen2.5‑7B‑Instruct‑Modell eingesetzt wird.

Die Ergebnisse deuten darauf hin, dass HCAPO die Effizienz der Exploration erhöht, die Entscheidungsfindung prägnanter macht und die Skalierbarkeit bei langwierigen Aufgaben verbessert.