Neues RL-Framework steigert menschenähnliches Verhalten durch Trajektorienoptimierung

In einer aktuellen Veröffentlichung auf arXiv wird ein innovatives Verfahren vorgestellt, das Reinforcement‑Learning‑Agenten menschenähnlicher macht. Das Ziel ist klar: Agenten sollen nicht nur hohe Belohnungen erzielen, sondern auch Verhaltensmuster zeigen, die für Menschen nachvollziehbar und vertrauenswürdig sind.

Traditionelle RL‑Agenten folgen oft rein belohnungsorientierten Strategien, was zu unnatürlichen und schwer interpretierbaren Aktionen führt. Diese Diskrepanz zwischen künstlichem und menschlichem Verhalten hat die Forschung dazu veranlasst, neue Ansätze zu entwickeln, die menschliche Trajektorien als Leitfaden nutzen.

Der Ansatz basiert auf Trajektorienoptimierung, bei der die optimale Aktionssequenz so gewählt wird, dass sie menschlichen Demonstrationen möglichst nahekommt und gleichzeitig die Belohnung maximiert. Zentral dafür ist die Einführung von Macro Action Quantization (MAQ), einem Framework, das menschliche Demonstrationen in sogenannte Makroaktionen überführt. Durch die Kombination eines Vector‑Quantized VAE mit klassischer Rekursiv‑Horizon‑Kontrolle entsteht ein effizientes Verfahren, das leicht in bestehende RL‑Algorithmen integriert werden kann.

Experimentelle Ergebnisse auf den D4RL Adroit Benchmarks zeigen, dass MAQ die Trajektorienähnlichkeit signifikant steigert und in einer menschlichen Bewertung die höchste Platzierung aller getesteten Agenten erreicht. Damit demonstriert die Methode nicht nur eine Verbesserung der menschenähnlichen Leistung, sondern eröffnet auch einen vielversprechenden Pfad für die Entwicklung vertrauenswürdiger KI‑Agenten.

Der komplette Code ist öffentlich zugänglich unter https://rlg.iis.sinica.edu.tw/papers/MAQ.