Neues RL-Modell nutzt Gehirn-Strategien für bessere Generalisierung

Ein neues Forschungsprojekt zeigt, wie neuronale Planungsmechanismen des menschlichen Gehirns in Reinforcement‑Learning‑Agenten integriert werden können, um die Generalisierung auf unbekannte Umgebungen zu verbessern. Die Autoren stellen fest, dass herkömmliche RL‑Systeme bei realen Aufgaben oft versagen, weil sie sich zu stark an die Trainingsbedingungen anpassen.

Der erste Ansatz ist ein top‑down‑Aufmerksamkeitsmechanismus, der es dem Agenten ermöglicht, bei jeder Entscheidung gezielt die für die aktuelle Intention relevanten Teile des Zustands zu fokussieren – ein Prozess, den die Forscher „räumliche Abstraktion“ nennen. Durch diese gezielte Fokussierung steigt die Fähigkeit des Agenten, Aufgaben zu lösen, die außerhalb des Trainingsbereichs liegen.

Aufbauend auf dieser räumlichen Abstraktion wurde das Skipper‑Framework entwickelt, das komplexe Aufgaben automatisch in überschaubare Teilaufgaben zerlegt. Skipper erhöht die Robustheit gegenüber Verteilungssprüngen und unterstützt langfristige, zusammengesetzte Planungen, indem es sich auf die wichtigsten räumlichen und zeitlichen Elemente konzentriert.

Schließlich identifizierten die Autoren einen häufigen Fehler bei Planungsagenten, die generative Modelle nutzen, um Zustandsziele zu erzeugen. Diese Modelle neigen dazu, Halluzinationen zu vertrauen, was zu unrealistischen Planungen führt. Inspiriert von der menschlichen Fähigkeit, falsche Absichten abzulehnen, schlagen die Forscher vor, die Machbarkeit von Zielvorstellungen zu lernen, um solche delusionalen Planungen zu verhindern.