LLM-gestützte Evolution liefert Steuerungsprogramme autonome Systeme

Die Entwicklung effektiver Steuerungsstrategien für autonome Systeme bleibt eine zentrale Herausforderung. Traditionell werden dafür entweder Reinforcement‑Learning‑Algorithmen eingesetzt, die jedoch hohe Datenanforderungen, Schwierigkeiten bei der Belohnungsformulierung und schwer interpretierbare neuronale Netzwerke mit sich bringen. Alternativ erfordert die manuelle Konstruktion von Steuerungen umfangreiches Fachwissen und skaliert kaum über verschiedene Aufgaben hinweg.

In der vorliegenden Arbeit wird gezeigt, dass eine evolutionäre Suche, die von großen Sprachmodellen (LLMs) unterstützt wird, in der Lage ist, verständliche Steuerungsprogramme in Form von ausführbarem Code zu erzeugen. Durch die Behandlung der Policy‑Synthese als Code‑Evolution‑Problem nutzt das Verfahren das Vorwissen der LLMs zu Programmiermustern und Steuerungsheuristiken, während die evolutionäre Suche systematisch den Lösungsraum erkundet. Der Ansatz wird mit dem EvoToolkit‑Framework umgesetzt, das LLM‑gestützte Evolution nahtlos mit anpassbaren Fitness‑Evaluierungen verbindet.

Der iterative Prozess erzeugt Populationen von Kandidatenprogrammen, die anhand von aufgaben­spezifischen Zielen bewertet und die besten Individuen für die Reproduktion ausgewählt werden. Das Ergebnis sind kompakte, menschenlesbare Steuerungsprogramme, die direkt inspiziert, angepasst und formal verifiziert werden können. Diese Programme sind nicht nur effizient, sondern auch transparent und nachvollziehbar.

Die Studie unterstreicht das Potenzial, Foundation‑Modelle mit evolutionärer Berechnung zu kombinieren, um vertrauenswürdige Steuerungsstrategien für autonome Systeme zu synthetisieren. Der komplette Code steht auf GitHub zur Verfügung: https://github.com/pgg3/EvoControl.