LLM-Interaktion neu gedacht: Dynamische Präzisionswahl spart Kosten

Ein neuer Ansatz aus dem arXiv-Preprint 2602.02711v1 zeigt, wie große Sprachmodelle (LLMs) bei komplexen Entscheidungsaufgaben effizienter arbeiten können. Durch die Kombination von Hoch- und Niedrigpräzision wird die Rechenlast bei mehrstufigen Interaktionen drastisch reduziert, ohne die Erfolgsrate zu gefährden.

Traditionell wird angenommen, dass ein höherer Erfolg bei Entscheidungsaufgaben nur mit einem größeren, leistungsstärkeren LLM erreicht werden kann. Doch die Kosten für mehrstufige Inferenz steigen exponentiell, wenn das Modell immer wieder aufgerufen wird. Die Autoren nutzen quantisierte, niedrigpräzise LLMs, um diese Kosten zu senken, und stellen fest, dass die Sensitivität der einzelnen Interaktionsschritte stark variiert.

Auf dieser Basis wurde ein dynamisches Routing-Framework entwickelt, das zu jedem Entscheidungsschritt entscheidet, ob ein Hoch- oder ein Niedrigpräzisionsmodell eingesetzt wird. Der Router wird in zwei Schritten trainiert: Zunächst identifiziert ein KL‑Divergenz-basiertes Supervised Learning die präzisionssensitiven Schritte. Anschließend verbessert ein Group‑Relative Policy Optimization (GRPO) die Erfolgsrate weiter.

Experimentelle Ergebnisse auf der ALFWorld-Plattform demonstrieren, dass dieser Ansatz die Balance zwischen Genauigkeit und Kosten deutlich verbessert. Im Vergleich zu einheitlichen Präzisionsmodellen und heuristischen Routing‑Methoden erzielt das dynamische System einen erheblichen Leistungsgewinn, ohne die Rechenressourcen unnötig zu belasten.