ExecTune: Optimierung von Black-Box-LLMs durch Guide-Modelle

In der Welt der großen Sprachmodelle, die über Black‑Box‑APIs bereitgestellt werden, übersteigen die wiederkehrenden Inferenzkosten häufig die einmaligen Trainingskosten. Um diese Kosten zu amortisieren, setzen Forscher auf agentische Systeme, die das teure Denken in wiederverwendbare Zwischendarstellungen verlagern. Ein besonders vielversprechender Ansatz ist die Klasse der Guide‑Core‑Policies (GCoP), bei denen ein Guide‑Modell eine strukturierte Strategie erzeugt, die anschließend von einem Black‑Box‑Core ausgeführt wird.

GCoP umfasst bereits etablierte Varianten wie Basis‑, Supervised‑ und Advisor‑Stile und differenziert sich hauptsächlich in der Art der Guide‑Schulung. Die Autoren formalisierten GCoP unter einem kosten‑sensitiven Nutzenziel und zeigten, dass die Gesamtleistung maßgeblich von der „guide‑averaged executability“ bestimmt wird – der Wahrscheinlichkeit, dass eine vom Guide generierte Strategie vom Core zuverlässig ausgeführt werden kann. In der Praxis führen bestehende GCoP‑Implementierungen häufig zu unzureichender Ausführbarkeit, was zu spröden Strategien und ineffizienter Rechenleistung führt.

Um diese Schwächen zu beheben, stellen die Forscher ExecTune vor: ein systematisches Trainingsrezept, das teacher‑guided Acceptance‑Sampling, supervised Fine‑Tuning und struktur‑bewusste Reinforcement‑Learning kombiniert. Durch die direkte Optimierung von syntaktischer Gültigkeit, Ausführungs­erfolg und Kosten­effizienz erzielt GCoP mit ExecTune bis zu 9,2 % höhere Genauigkeit und senkt die Inferenzkosten um bis zu 22,4 % im Vergleich zu bisherigen State‑of‑the‑Art‑Methoden. Besonders beeindruckend ist, dass Claude Haiku 3.5 dank ExecTune Sonnet 3.5 bei mathematischen und Code‑Generierungsaufgaben übertrifft und sich nur 1,7 % von der besten Genauigkeit entfernt.