PhGPO: Pheromonbasierte Politikoptimierung für langfristige Tool-Planung

Neuste Fortschritte bei Large Language Model (LLM)-Agenten zeigen, dass komplexe Aufgaben durch den Einsatz von Werkzeugen erfolgreich ausgeführt werden können. Das Problem bleibt jedoch die Planung von Tool-Strategien über lange Zeiträume, bei der die mögliche Handlungssumme exponentiell wächst. Selbst wenn ein Agent einen korrekten Werkzeugwechsel findet, wird dieser Erfolg häufig nur als sofortige Belohnung behandelt und liefert keine wiederverwendbaren Erkenntnisse für zukünftige Trainingsschritte.

In diesem Beitrag wird argumentiert, dass aus historisch erfolgreichen Pfaden wiederverwendbare Muster für Werkzeugwechsel abgeleitet werden können. Inspiriert von der Ameisenkolonie-Optimierung, bei der erfolgreiche Wege durch Pheromone markiert werden, wird die Methode „Pheromone-Guided Policy Optimization“ (PhGPO) vorgestellt. PhGPO lernt aus vergangenen Trajektorien ein Trajektorien-basiertes Übergangsmuster – die Pheromone – und nutzt dieses Muster, um die Politikoptimierung gezielt zu lenken.

Durch die explizite und wiederverwendbare Führung der Pheromone wird die Politik stärker auf historisch erfolgreiche Werkzeugwechsel ausgerichtet, was die Effizienz der langfristigen Tool-Planung deutlich verbessert. Umfangreiche Experimente belegen die Wirksamkeit von PhGPO und zeigen, dass die Methode die Leistungsfähigkeit von LLM-Agenten in komplexen, mehrstufigen Werkzeugaufgaben nachhaltig steigert.