Meta entwickelt DreamGym: KI-Agenten lernen in simulierten Welten, Kosten sinken

Meta, die University of Chicago und UC Berkeley haben ein neues Framework namens DreamGym vorgestellt, das die hohen Kosten, die komplexe Infrastruktur und die unzuverlässigen Rückmeldungen beim Einsatz von Reinforcement Learning (RL) zur Ausbildung großer Sprachmodelle (LLM) reduziert.

DreamGym simuliert ein RL‑Umfeld, in dem Agenten für komplexe Aufgaben trainiert werden. Während des Trainings passt das System die Schwierigkeit der Aufgaben dynamisch an, sodass die Agenten schrittweise anspruchsvollere Probleme lösen können, sobald sie sich verbessern. Experimente zeigen, dass DreamGym die RL‑Trainingseffizienz sowohl in vollständig synthetischen Szenarien als auch in Situationen, in denen das Modell sein simuliertes Wissen auf die reale Welt übertragen muss, deutlich steigert.

In Anwendungsfällen, in denen RL möglich, aber teuer ist, erreicht DreamGym die Leistung populärer Algorithmen ausschließlich mit synthetischen Interaktionen. Dadurch werden die Kosten für Datensammlung und Umgebungsinteraktion erheblich gesenkt. Für Unternehmen bedeutet das, dass sie maßgeschneiderte Agenten trainieren können, ohne die Komplexität und die Kosten eines Live‑RL‑Umfelds zu tragen.

Reinforcement Learning bleibt ein zentrales Werkzeug, um LLMs komplexe Aufgaben wie Web‑Navigation, Werkzeuggebrauch und Robotik beizubringen. DreamGym bietet einen vielversprechenden Ansatz, um die Herausforderungen von RL zu überwinden und die Entwicklung von KI-Agenten effizienter und kostengünstiger zu gestalten.