Selbstverbessernde Agenten: Erfahrungsbasiertes Lernen steigert LLM-Erfolg

Neuste Fortschritte bei großen Sprachmodellen (LLMs) haben autonome Agenten hervorgebracht, die komplexe Logik und mehrstufige Problemlösungen meistern können. Trotz dieser Fähigkeiten stoßen die Agenten häufig an Grenzen, wenn sie in spezialisierten Umgebungen arbeiten, und nutzen ihre bisherigen Erfahrungen nicht aus – jeder neue Auftrag wird von Grund auf neu angegangen.

Um dieses Problem zu lösen, wurde Experiential Reflective Learning (ERL) entwickelt. ERL ist ein schlankes Selbstverbesserungsframework, das Agenten erlaubt, sich rasch an neue Umgebungen anzupassen. Dabei reflektiert der Agent über die komplette Auftragsverlauf und die erzielten Ergebnisse, um daraus heuristische Regeln abzuleiten. Diese Regeln fassen handlungsrelevante Erkenntnisse zusammen, die über verschiedene Aufgaben hinweg einsetzbar sind.

Im Einsatz werden die relevanten Heuristiken anhand der aktuellen Aufgabe selektiv abgerufen und in den Kontext des Agenten eingebettet, um die Ausführung gezielt zu steuern. Auf dem Gaia2-Benchmark erzielte ERL eine Erfolgsrate, die um 7,8 % höher ist als bei einem ReAct-Baseline. Besonders auffällig sind die deutlichen Verbesserungen in der Zuverlässigkeit der Aufgabenerfüllung, während ERL bestehende experientielle Lernmethoden übertrifft.

Systematische Ablationsstudien zeigen, dass die gezielte Auswahl der Heuristiken entscheidend ist und dass heuristische Abstraktionen über das Few‑Shot‑Trajectory‑Prompting hinaus übertragbarer sind. Diese Erkenntnisse demonstrieren, dass das Reflektieren einzelner Versuche zur Gewinnung übertragbarer Heuristiken eine effektive Selbstverbesserung von Agenten ermöglicht.