RTTC: Belohnungsbasierte, kollaborative Testzeit-Optimierung für LLMs

Im Zeitalter der großen Sprachmodelle (LLMs) hat sich die Testzeit-Optimierung (TTC) als wirkungsvolles Mittel etabliert, um die Inferenzleistung zu steigern. Dabei kommen Techniken wie Testzeit-Training (TTT) und Retrieval‑Augmented Generation (RAG) zum Einsatz. Doch die optimale Anpassungsstrategie ist je nach Anfrage unterschiedlich, und eine einheitliche Anwendung von TTC führt zu unnötigem Rechenaufwand. In dieser Arbeit wird RTTC – Reward‑Guided Test‑Time Compute – vorgestellt, ein innovatives Framework, das mithilfe eines vortrainierten Belohnungsmodells für jede Anfrage die effektivste TTC‑Strategie auswählt. Dadurch wird die Genauigkeit in verschiedensten Domänen und Aufgaben maximiert.

RTTC arbeitet in einer verteilten Server‑Client‑Architektur. Der Server holt relevante Stichproben aus einer entfernten Wissensdatenbank, während die Clients RAG oder leichtes Fine‑Tuning nur dann ausführen, wenn es wirklich nötig ist. Um redundante Berechnungen weiter zu reduzieren, wird Query‑State Caching eingesetzt, das historische Anfragezustände sowohl auf Abruf- als auch auf Anpassungsebene effizient wiederverwendet.

Umfangreiche Experimente mit mehreren LLM‑Modellen und Benchmarks zeigen, dass RTTC konsequent höhere Genauigkeiten erzielt als herkömmliches RAG oder TTT. Die Ergebnisse unterstreichen die Notwendigkeit einer adaptiven, belohnungsbasierten TTC‑Auswahl und demonstrieren das Potenzial von RTTC für skalierbare, leistungsstarke Sprachmodell‑Anpassungen.