Neuer Algorithmus optimiert Reinforcement-Learning bei unendlichen Constraints

Ein neuer Ansatz namens Exchange Policy Optimization (EPO) verspricht, die Sicherheit von Reinforcement-Learning-Algorithmen in Anwendungen mit unendlich vielen Einschränkungen zu verbessern. Der Algorithmus arbeitet, indem er iterativ sichere RL-Subprobleme mit endlich vielen Constraints löst und dabei die aktive Constraintmenge dynamisch anpasst.

In vielen realen Szenarien, etwa bei der Ressourcenverteilung über einen kontinuierlichen Raum, müssen Sicherheitsbedingungen für jedes einzelne Parameter‑Punkt erfüllt werden. Diese unendlichen Constraints stellen ein großes Problem dar, weil sie die klassische Optimierung überfordern.

EPO löst das Problem, indem es bei jeder Iteration nur die Constraints berücksichtigt, die gegen einen festgelegten Toleranzwert verstoßen. Diese werden zur Constraintmenge hinzugefügt, während Constraints mit einem Lagrange‑Multiplikator von Null entfernt werden. Durch diese Austauschregel wächst die Arbeitsmenge nicht unkontrolliert, was die Trainingseffizienz erhöht.

Die theoretische Analyse zeigt, dass unter milden Annahmen die durch EPO trainierten Strategien eine Leistung erreichen, die der optimalen Lösung mit globalen Constraint‑Verletzungen nahekommt, wobei die Verletzungen stets innerhalb eines vorgegebenen Schranks bleiben.

Der Ansatz eröffnet neue Möglichkeiten für sichere KI‑Anwendungen in Bereichen wie autonomes Fahren, Robotik und Energie‑Management, wo kontinuierliche Sicherheitsgarantien erforderlich sind.