Meta-Hierarchisches RL steigert O‑RAN-Ressourcenmanagement um 20 %

Die zunehmende Komplexität moderner Anwendungen verlangt von drahtlosen Netzwerken eine Echtzeit‑Anpassungsfähigkeit und ein effizientes Ressourcen‑Management. In diesem Kontext hat die Open Radio Access Network (O‑RAN)-Architektur mit ihren RAN Intelligent Controller (RIC)-Modulen eine zentrale Rolle eingenommen, um dynamische Ressourcenzuteilung und Netzwerk‑Slicing zu ermöglichen.

Obwohl KI‑gestützte Ansätze vielversprechend sind, kämpfen viele Verfahren damit, unter unvorhersehbaren und stark dynamischen Bedingungen stabile Leistungen zu erbringen. Das neue Meta‑Hierarchische Reinforcement Learning (Meta‑HRL) adressiert dieses Problem, indem es die Prinzipien des Model‑Agnostic Meta‑Learning (MAML) nutzt, um sowohl globale als auch lokale Anpassungen zu ermöglichen.

Der Meta‑HRL‑Framework kombiniert hierarchische Steuerung mit Meta‑Learning: Ein hochrangiger Controller verteilt Ressourcen über die verschiedenen Slices, während niedrigstufige Agenten innerhalb jedes Slices die eigentliche Terminierung vornehmen. Durch einen adaptiven Meta‑Update‑Mechanismus, der Aufgaben nach der Varianz des Temporal‑Difference‑Fehlers gewichtet, wird die Stabilität erhöht und komplexe Netzwerkszenarien priorisiert.

Eine theoretische Analyse liefert sublineare Konvergenz‑ und Regret‑Garantie‑Ergebnisse für den zweistufigen Lernprozess, was die Robustheit des Ansatzes unterstreicht. Simulationen zeigen, dass Meta‑HRL die Effizienz des Netzwerkmanagements um 19,8 % gegenüber herkömmlichen RL‑ und Meta‑RL‑Methoden steigert, die Anpassungszeit verkürzt und die QoS‑Zufriedenheit in eMBB, URLLC und mMTC‑Slices verbessert.

Zusätzliche Ablations- und Skalierbarkeitsstudien belegen die Robustheit des Modells: In besonders anspruchsvollen Szenarien kann die Anpassungszeit um bis zu 40 % reduziert werden, während gleichzeitig die Gesamtleistung des Netzwerks erhalten bleibt.