SEAM: Strukturierte Erfahrung verbessert LLM‑Leistung ohne Freeze

In einer neuen Veröffentlichung auf arXiv wird SEAM – der Structured Experience Adapter Module – vorgestellt, ein schlanker Plug‑In, der die Leistung von großen Sprachmodellen (LLMs) ohne zusätzliche Latenz steigert. SEAM speichert Erfahrungen direkt in seinen Parametern und erzeugt in einem einzigen Forward‑Pass ein strukturiertes, auf das jeweilige Problem zugeschnittenes Erfahrungs‑Entry, das einen eingefrorenen LLM‑Executor anleitet.

Traditionelle Methoden zur Wiederverwendung von Erfahrungen beruhen meist auf externen Retrieval‑Systemen, die auf Ähnlichkeit basieren. Diese können Rauschen einführen und die Reaktionszeit erhöhen. SEAM hingegen bleibt intern und nutzt Rollouts sowie das Gradient‑Based Reinforcement Policy Optimization (GRPO), um die Nützlichkeit der generierten Erfahrungen zu maximieren, während der Executor selbst unverändert bleibt.

Ein weiterer Vorteil von SEAM ist die Möglichkeit, nach dem Einsatz durch supervised fine‑tuning auf geloggten erfolgreichen Trajektorien weiter zu optimieren. In umfangreichen Experimenten auf mathematischen Reasoning‑Benchmarks zeigte SEAM konsistente Genauigkeitssteigerungen über verschiedene Executor‑Typen hinweg, wobei der Overhead minimal blieb.

Die Autoren führen zudem ausführliche Ablationsstudien durch, die die Mechanismen hinter SEAMs Effektivität und Robustheit beleuchten. Diese Erkenntnisse legen nahe, dass strukturierte, auf das Modell zugeschnittene Erfahrungen ein vielversprechender Ansatz sind, um die Leistungsfähigkeit eingefrorener LLMs nachhaltig zu verbessern.