Bi-Level Online-Optimierung: Neue Lernmethode für Netzwerkressourcen

In einem neuen Beitrag auf arXiv wird ein innovatives Lernverfahren vorgestellt, das die Planung von Netzwerkressourcen in Echtzeit revolutioniert. Das Verfahren kombiniert ein Upper-Level Online Convex Optimization (OCO) mit einem Lower-Level Constrained Markov Decision Process (CMDP), um die langsamen Provisionierungsentscheidungen und die schnellen, zustandsabhängigen Scheduling-Entscheidungen optimal zu koordinieren.

Traditionelle OCO-Modelle gehen von zustandslosen Entscheidungen aus und können daher die dynamische Entwicklung von Warteschlangen nicht berücksichtigen. Gleichzeitig setzen klassische CMDP-Algorithmen auf feste Grenzwerte, während in realen Systemen die zulässigen Budgets durch die Provisionierungsentscheidungen selbst bestimmt werden. Das neue bi‑level Lernmodell schließt diese Lücken, indem es Wechselkosten für Budget‑Reprovisionierung und systemweite Rekonfiguration sowie Querschnitts‑Constraints einführt, die Budgets und Scheduling‑Entscheidungen miteinander verknüpfen.

Der Kern des Ansatzes ist ein clever gestaltetes Dual‑Feedback, das dem Upper‑Level die Sensitivität des Budget‑Multiplikators liefert, und ein Lower‑Level, das ein budget‑adaptives, sicheres Exploration‑Problem mittels eines erweiterten Occupancy‑Measure‑Linear‑Programms löst. Mit dieser Kombination erreicht das Verfahren nahezu optimale Regret‑Raten und garantiert mit hoher Wahrscheinlichkeit die Einhaltung der Querschnitts‑Constraints.