Neue Methode optimiert lokale Sprachmodelle und Cloud‑Nutzung bei Budgetgrenzen

In der Forschung zu kleinen Sprachmodellen (SLMs), die lokal auf Geräten laufen, ist es entscheidend, dass diese Modelle kontinuierlich neue Aufgaben bewältigen können, ohne dabei die begrenzten Speicher- und Rechenressourcen zu überschreiten. Gleichzeitig muss die Nutzung von Cloud‑Large Language Models (LLMs) gesteuert werden, da ein zu häufiger Cloud‑Aufruf die Leistung beeinträchtigen und Kosten erhöhen kann.

Die neue Technik namens DA‑GRPO (Dual‑Advantage Group Relative Policy Optimization) integriert die Beschränkungen für Cloud‑Nutzung direkt in die Berechnung der Belohnung. Dadurch entfällt die Notwendigkeit, separate Routing‑Modelle oder feste Belohnungsformen zu verwenden. Stattdessen lernt das lokale Modell gleichzeitig, welche Aufgaben es selbstständig lösen kann und wann es sinnvoll ist, auf die Cloud zurückzugreifen.

Durch Experimente in Bereichen wie mathematischem Problemlösen und Code‑Generierung konnte gezeigt werden, dass DA‑GRPO die Genauigkeit nach dem Wechsel zu neuen Aufgaben verbessert, das Vergessen alter Aufgaben deutlich reduziert und die Cloud‑Nutzung stabil hält. Im Vergleich zu bisherigen Ansätzen, die auf reinen Routing‑Modellen oder einfachen Belohnungs‑Shaping‑Methoden basieren, bietet DA‑GRPO einen robusteren und effizienteren Weg, lokale Modelle unter strengen Budgetbedingungen zu betreiben.