Spark: Policy‑bewusste Exploration für Agenten mit langen Zeithorizonten
Reinforcement‑Learning‑Modelle, insbesondere große Sprachmodelle, haben sich als leistungsfähige Agenten erwiesen, doch ihre Anwendung bei Aufgaben mit langen Zeithorizonten bleibt schwierig. Der Hauptgrund ist die Knappheit hochwertiger Trajektorien, die für das Training benötigt werden, insbesondere wenn die Ressourcen begrenzt sind.
Aktuelle Ansätze versuchen, die Rollout‑Größe zu erhöhen und Ressourcen gleichmäßig auf alle Zwischenschritte zu verteilen. Diese Strategie führt jedoch zu einem erheblichen Verschwendung von Rechenleistung, da triviale Schritte unnötig viel Zeit beanspruchen, während die Qualität der gesammelten Daten nicht garantiert wird.
Um diesem Problem entgegenzuwirken, wurde Spark entwickelt – ein neues Framework, das gezielt an kritischen Entscheidungspunkten des Agenten verzweigt. Durch adaptive, policy‑bewusste Exploration werden nur die vielversprechendsten Trajektorien untersucht, wodurch die Ressourcen gezielt dort eingesetzt werden, wo sie den größten Nutzen bringen. Der Ansatz nutzt die intrinsischen Signale des Agenten, um die Notwendigkeit menschlicher Priors zu reduzieren und ermöglicht eine autonome Erweiterung der Exploration.
Experimentelle Tests in verschiedenen Szenarien, darunter auch in der embodied‑Planning‑Umgebung, zeigen, dass Spark mit deutlich weniger Trainingsproben höhere Erfolgsraten erzielt. Die Agenten demonstrieren zudem eine robuste Generalisierung, selbst in bislang unbekannten Situationen, was Spark zu einer vielversprechenden Lösung für langfristige, agentenbasierte Lernaufgaben macht.