Hierarchisches Lernen von Agenten: Effiziente Umgebungsgestaltung ohne Überwachung

Unsupervised Environment Design (UED) hat sich als vielversprechender Ansatz etabliert, um generalistische Agenten durch automatisierte Curriculum‑Generierung zu entwickeln. Traditionelle UED‑Methoden setzen stark auf Open‑Endedness, wobei Lehralgorithmen auf stochastische Prozesse angewiesen sind, um unendlich viele nützliche Umgebungen zu erzeugen. In ressourcenbeschränkten Szenarien, in denen die Interaktionsmöglichkeiten zwischen Lehrer und Schüler begrenzt sind, wird diese Annahme jedoch schnell unpraktisch.

Um diesem Problem zu begegnen, präsentiert die neue Studie einen hierarchischen Markov‑Decision‑Process‑Ansatz für die Umgebungsgestaltung. Der Lehrer nutzt dabei die Policy‑Repräsentationen des Schülers, die aus bereits entdeckten Evaluierungsumgebungen gewonnen wurden, um gezielt Trainingsumgebungen zu erzeugen, die den Fähigkeiten des Schülers entsprechen. Durch die Integration eines generativen Modells wird das Trainings‑Set des Lehrers mit synthetischen Daten angereichert, wodurch die Notwendigkeit für Lehrer‑Schüler‑Interaktionen deutlich reduziert wird.

Experimentelle Ergebnisse in mehreren Domänen zeigen, dass dieser Ansatz die Leistung gegenüber herkömmlichen Baselines übertrifft und gleichzeitig weniger Interaktionen pro Episode erfordert. Die Ergebnisse deuten darauf hin, dass das hierarchische Lernmodell besonders in Situationen mit begrenzten Trainingsmöglichkeiten eine attraktive Lösung darstellt.