AutoRefine: Agenten lernen aus Erfahrung – Schritte um bis zu 73 % reduziert

Large‑Language‑Model‑Agenten haben lange damit zu kämpfen, aus ihren Erfahrungen zu lernen. Traditionelle Ansätze speichern das Wissen lediglich als flache Texte, wodurch die komplexen Abläufe von Unteraufgaben nicht erfasst werden. Zudem verschlechtert sich die Qualität der Wissensdatenbank, wenn sie ohne Pflege weiter wächst.

AutoRefine löst dieses Problem, indem es aus den Ausführungsprotokollen der Agenten zwei Arten von Erfahrungsmustern extrahiert. Für prozedurale Unteraufgaben werden spezialisierte Subagenten mit eigenem Denk- und Speichermechanismus erstellt. Für statisches Wissen werden Skill‑Muster in Form von Richtlinien oder Code‑Snippets generiert.

Ein kontinuierlicher Wartungsmechanismus bewertet, kürzt und fusioniert diese Muster, sodass die Wissensdatenbank nicht degradiert. Dadurch bleibt das Repository stets aktuell und effizient.

In Tests auf ALFWorld, ScienceWorld und TravelPlanner erzielte AutoRefine Erfolgsraten von 98,4 %, 70,4 % bzw. 27,1 % und reduzierte die benötigten Schritte um 20 % bis 73 %. Besonders bei TravelPlanner übertraf die automatische Extraktion manuell entworfene Systeme (27,1 % vs. 12,1 %), was die Fähigkeit von AutoRefine zur Erfassung prozeduraler Koordination unterstreicht.

AutoRefine demonstriert damit, wie kontinuierliche Agentenverbesserung mit wiederverwendbarer Expertise realisiert werden kann, und ebnet den Weg für effizientere und lernfähigere KI-Agenten.