Graphbasiertes RL steigert Effizienz bei gerichteter Controller‑Synthese

Controller‑Synthese ist ein formaler Ansatz, um automatisch Labeled Transition System‑Controller zu erzeugen, die vorgegebene Eigenschaften erfüllen. Die Geschwindigkeit dieses Prozesses hängt stark von den verwendeten Explorationsstrategien ab.

Traditionell basieren diese Strategien auf festen Regeln oder Reinforcement‑Learning‑Modellen, die lediglich einen eingeschränkten Satz aktueller Features berücksichtigen. Dadurch bleiben wichtige Zusammenhänge im Lernprozess oft ungenutzt.

Die neue Methode GCRL kombiniert Reinforcement Learning mit Graph Neural Networks. Dabei wird die gesamte Historie der LTS‑Erkundung in eine Graphstruktur eingebettet, sodass ein vielschichtiges, nicht nur aktuelles, Kontextwissen genutzt werden kann.

In Vergleichsstudien zeigte GCRL eine deutlich höhere Lern‑ und Generalisierungseffizienz in vier von fünf Testdomänen. Nur in einer Domäne mit hoher Symmetrie und ausschließlich lokalen Interaktionen blieb die Leistung hinter den Erwartungen zurück.