AutoSpec: Automatisierte Verfeinerung von Logik‑Spezifikationen für RL

In einer neuen Veröffentlichung auf arXiv wird AutoSpec vorgestellt, ein automatisiertes Framework, das grobe logische Spezifikationen für Reinforcement‑Learning‑Aufgaben verfeinert. Durch gezielte Erweiterungen und Präzisierung der Spezifikationen liefert AutoSpec zusätzliche Hinweise, die es Lernagenten erleichtern, nützliche Strategien zu entwickeln.

AutoSpec arbeitet mit der SpectRL‑Logik, die sich durch ihre kompositorische Struktur auszeichnet. Das System nutzt vier Verfahren, um die abstrakte Graphstruktur einer Spezifikation zu modifizieren – entweder durch Verfeinerung bestehender Kanten oder durch Einführen neuer Kanten. Für jedes Verfahren wird bewiesen, dass die resultierende Spezifikation stets die ursprüngliche Spezifikation erfüllt, sodass die Korrektheit erhalten bleibt.

Durch die nahtlose Integration in bestehende Reinforcement‑Learning‑Algorithmen ermöglicht AutoSpec die Nutzung der verfeinerten Spezifikationen beim Lernen von Policies. Experimentelle Ergebnisse zeigen, dass Aufgaben mit höherer Komplexität erfolgreich gelöst werden können, wenn die von AutoSpec erzeugten Spezifikationen verwendet werden. Die Arbeit demonstriert damit einen vielversprechenden Ansatz, um die Leistungsfähigkeit von RL-Systemen durch automatisierte Spezifikationsverbesserung zu steigern.