Offline RL steuert CPU-Leistung für energieeffiziente Parallelanwendungen

Die Energieeffizienz hat sich zu einem entscheidenden Faktor im Design moderner Recheninfrastrukturen entwickelt. Durch die Integration von Leistungssteuerung und Sensorik in CPU‑Architekturen können Betriebssysteme nun aktiv den Energieverbrauch und die Performance in Echtzeit überwachen und anpassen.

Reinforcement Learning (RL) erscheint als naheliegende Lösung für solche Steuerungssysteme, doch die Durchführung von Online‑Training auf einem laufenden System birgt erhebliche Risiken. Fehlende Modelle für simulierte Umgebungen, Störungen durch Rauschen und Zuverlässigkeitsprobleme machen Online‑RL in der Praxis problematisch.

Die vorgestellte Arbeit nutzt stattdessen Offline‑RL, bei dem ein Datensatz von Zustandsübergängen, der aus beliebigen Policies vor dem Training gesammelt wurde, verwendet wird. Durch die Kombination von anwendungsagnostischen Leistungsdaten (z. B. Heartbeats) und Hardware‑Performance‑Countern entsteht ein Gray‑Box‑Ansatz, der die wissenschaftlichen Ziele erreicht, ohne die Performance der Anwendungen stark zu beeinträchtigen.

In umfangreichen Tests mit rechen- und speicherintensiven Benchmarks sowie der Live‑Steuerung von CPU‑Leistung zeigte die Methode eine signifikante Steigerung der Energieeffizienz bei minimaler Performance‑Verlust. Damit demonstriert das Konzept, dass Offline‑RL eine praktikable Alternative zu Online‑Training darstellt und die Energieeffizienz von Parallelanwendungen nachhaltig verbessern kann.