Cerebellar‑inspiriertes Residual‑Control: Schnelle Fehlerbehebung ohne Retraining

arXiv – cs.LG Original ≈1 Min. Lesezeit
Anzeige

Roboter, die in der realen Welt eingesetzt werden, stoßen häufig auf unerwartete Fehler, die nach dem Training auftreten. Ein neues Verfahren nutzt dabei die Funktionsweise des Kleinhirns, um diese Probleme sofort zu beheben, ohne die ursprüngliche Lernpolicy zu verändern.

Das System ergänzt eine eingefrorene Reinforcement‑Learning‑Policy um einen „Residual‑Control“-Layer, der online korrigierende Aktionen berechnet. Dabei werden hochdimensionale Muster durch feste Feature‑Erweiterungen getrennt, parallele Mikrozone‑ähnliche Pfade genutzt und lokale, fehlergetriebene Plastizität mit excitatorischen und inhibitorischen Lernspuren in unterschiedlichen Zeitskalen eingesetzt. Diese Mechanismen ermöglichen schnelle, gezielte Anpassungen bei Störungen, ohne die globale Policy zu destabilisieren.

Ein konservativer, leistungsorientierter Meta‑Adaptationsmechanismus steuert die Autorität des Residual‑Controls und die Plastizität, sodass das System nur dann eingreift, wenn es wirklich nötig ist. Auf den MuJoCo‑Benchmarks zeigte das Verfahren bei Aktuator‑, Dynamik‑ und Umgebungsstörungen Verbesserungen von bis zu 66 % bei HalfCheetah‑v5 und 53 % bei Humanoid‑v5 unter moderaten Fehlern. Bei schwereren Störungen degradierte die Leistung sanft, während persistente Residual‑Korrekturen später in die Policy selbst integriert wurden, um zusätzliche Robustheit zu gewährleisten.

Ähnliche Artikel