Neue Methode für personalisiertes Multi-Agenten-TD-Lernen mit linearer Beschleunigung

In einer kürzlich veröffentlichten Studie auf arXiv wird ein innovativer Ansatz für das personalisierte Multi-Agenten‑Average‑Reward‑TD‑Lernen vorgestellt. Dabei arbeiten mehrere Agenten in unterschiedlichen Umgebungen zusammen und lernen gemeinsam ihre jeweiligen Wertfunktionen.

Der Fokus liegt auf einer gemeinsamen linearen Repräsentation, deren optimale Gewichtungen in einem unbekannten linearen Unterraum liegen. Inspiriert von den Erfolgen im Bereich der personalisierten Federated Learning‑Methoden, untersucht die Arbeit die Konvergenz eines kooperativen, einzeitlichen TD‑Lernalgorithmus. Dabei schätzen die Agenten iterativ sowohl den gemeinsamen Unterraum als auch lokale „Heads“.

Durch die Zerlegung der Lernaufgabe können widersprüchliche Signale herausgefiltert werden, was die negativen Effekte von „nicht ausgerichteten“ Signalen reduziert und eine lineare Beschleunigung ermöglicht. Die wichtigsten technischen Herausforderungen liegen in der Heterogenität der Agenten, der Markov‑basierten Stichprobe und der komplexen Wechselwirkung dieser Faktoren in der Fehlerentwicklung. Besonders auffällig ist, dass es keine direkte Kontraktion für den Winkel zwischen dem optimalen und dem geschätzten Unterraum gibt.

Die Autoren hoffen, dass ihre analytischen Techniken weitere Forschungen zur Nutzung gemeinsamer Strukturen anregen. Experimentelle Ergebnisse zeigen deutlich, dass das Lernen über eine geteilte Struktur Vorteile für allgemeinere Kontrollprobleme bietet.