Neues Framework zeigt, wie Lokalität in skalierbarem MARL funktioniert

In der Forschung zu skalierbarem Multi-Agenten‑Reinforcement Learning (MARL) stellt die Dimensionenfluch ein zentrales Hindernis dar. Ein bewährter Ansatz ist die Nutzung von Lokalität, die auf einer Exponential‑Decay‑Eigenschaft (EDP) der Wertfunktion beruht. Bisherige Bedingungen, die diese Eigenschaft garantieren, sind jedoch oft zu konservativ, weil sie ausschließlich Worst‑Case‑Grenzen des Umfelds berücksichtigen und die regulierende Wirkung der eigenen Policy vernachlässigen.

Die neue Studie zeigt, dass Lokalität auch ein policy‑abhängiges Phänomen sein kann. Durch eine innovative Zerlegung der policy‑induzierten Interdependenzmatrix Hπ in die Umweltsensitivitäten Es und Ea sowie die Policiesensitivität Π(π) wird deutlich, dass eine sanfte Policy (kleines Π(π)) Lokalität erzeugen kann, selbst wenn das Umfeld stark action‑gekoppelt ist. Damit wird ein fundamentaler Kompromiss zwischen Lokalität und Optimalität aufgedeckt.

Auf Basis dieses Rahmens wird eine allgemeine Spektralkondition ρ(Es + EaΠ(π)) < 1 für den Exponential‑Decay abgeleitet, die deutlich präziser ist als frühere normbasierte Bedingungen. Die Theorie wird anschließend genutzt, um ein proviert sicheres, lokales Block‑Koordinaten‑Policy‑Verbesserungsframework zu analysieren, dessen Garantien direkt an die Spektralradius‑Bedingung gekoppelt sind.