LLMdoctor: Token‑basierte Optimierung für effiziente Test‑Zeit‑Anpassung von LLMs

Die Herausforderung, große Sprachmodelle (LLMs) an menschliche Präferenzen anzupassen, bleibt ein zentrales Thema in der KI-Forschung. Traditionelle Feinabstimmungsverfahren sind dabei oft rechenintensiv und wenig flexibel. LLMdoctor bietet eine vielversprechende Alternative: eine effiziente Test‑Zeit‑Anpassung, die ohne umfangreiche Re‑Training‑Schritte auskommt.

Im Kern nutzt LLMdoctor ein „Patient‑Doctor“-Paradigma. Ein großer, unveränderter Patient‑LLM liefert token‑weise Belohnungsinformationen, während ein kleiner, spezialisierter Doctor‑Modell diese Signale mit token‑basiertem Flow‑Guided Preference Optimization (TFPO) nutzt. Durch die Aufteilung in Token‑Level‑Signals und die Gewährleistung von Flow‑Konsistenz über alle Teiltrajektorien hinweg kann das System präzise, token‑für‑token Ausrichtungen vornehmen, ohne die generative Vielfalt des Ausgangsmodells zu verlieren.

Experimentelle Ergebnisse zeigen, dass LLMdoctor bestehende Test‑Zeit‑Anpassungsmethoden deutlich übertrifft und sogar die Leistung von vollständig feinabgestimmten Ansätzen wie DPO übersteigt. Damit demonstriert die Methode, dass effiziente, token‑basierte Optimierung nicht nur schneller, sondern auch qualitativ überlegen sein kann.

LLMdoctor markiert einen wichtigen Schritt in Richtung praktikabler, ressourcenschonender KI‑Anpassung. Durch die Kombination von Token‑Level‑Belohnungen und Flow‑Guided Optimierung eröffnet die Methode neue Möglichkeiten für die Entwicklung von LLMs, die sowohl leistungsfähig als auch anpassungsfähig bleiben.