Graph-basiertes Reinforcement Learning für Co-Design thermodynamischer Zyklen

In der Energieumwandlung spielen thermodynamische Zyklen eine zentrale Rolle. Traditionelle Entwurfsansätze, die auf Expertenwissen oder umfangreichen Aufzählungen beruhen, sind ineffizient und skalieren kaum, was die Entdeckung leistungsstarker Zyklen behindert. Forscher haben deshalb eine neue Methode entwickelt, die graphbasierte Hierarchisches Reinforcement Learning nutzt, um gleichzeitig Strukturparameter und globale Einstellungen zu optimieren.

Die Zyklen werden als Graphen dargestellt, wobei Bauteile und Verbindungen Knoten und Kanten bilden und dabei grammatikalische Regeln einhalten. Ein tiefes Lernmodell fungiert als thermophysikalischer Surrogat, das stabile Graph-Decodierungen ermöglicht und gleichzeitig globale Parameter löst. Auf dieser Basis entsteht ein Manager‑Worker-Framework: Der Manager erkundet strukturelle Entwicklungen und schlägt Kandidaten vor, während der Worker die Parameter feinjustiert und Leistungsbelohnungen liefert, um die Suche gezielt in Hochleistungsbereiche zu lenken.

Durch die Kombination von Graphrepräsentation, thermophysikalischem Surrogat und hierarchischem Lernen entsteht ein vollständig automatisierter Pipeline, die Encoding, Decoding und Co‑Optimierung integriert. Anwendungsbeispiele mit Wärmepumpen und Wärmekraftwerken zeigen, dass die Methode klassische Konfigurationen repliziert und gleichzeitig 18 bzw. 21 neue Zyklen entdeckt, die die Leistung um bis zu 4,6 % steigern.