Testzeit-Training steigert Leistung von LLMs mit langen Kontexten

Mit den neuesten Fortschritten in Training und Architektur können große Sprachmodelle inzwischen Millionen von Tokens im Kontext verarbeiten. In der Praxis nutzen sie jedoch oft nur einen Bruchteil dieser Kapazität. Forscher haben gezeigt, dass Rechenleistung während der Inferenz – etwa durch das Erzeugen von „Thinking‑Tokens“ – die Leistung bei komplexen Aufgaben steigern kann. Bei kontrollierten Experimenten mit langen Kontexten zeigte sich jedoch, dass diese Strategien schnell an ihre Grenzen stoßen und bei sehr langen Eingaben versagen. Der Grund liegt in der „Score‑Dilution“, einem inhärenten Problem statischer Selbstaufmerksamkeit, sowie in der Unfähigkeit, relevante Kontextsignale unter bestimmten Bedingungen abzurufen.

Um diese Schwächen zu überwinden, schlagen die Autoren eine einfache Methode vor: gezielte Gradientenupdates auf dem gegebenen Kontext, also Testzeit‑Training. Durch diese Anpassungen wird die statische Selbstaufmerksamkeit effektiv umgangen. Die Ergebnisse sind beeindruckend: Für das Modell Qwen3‑4B wurden durchschnittlich 12,6 % bzw. 14,1 % Verbesserungen auf den LongBench‑v2‑ und ZeroScrolls‑Benchmarks erzielt.

Die Kernaussage ist praktisch orientiert: Für lange Kontexte ist ein kleiner Anteil an kontextspezifischem Training eine viel effizientere Nutzung der Inferenzrechenleistung als die derzeit üblichen Skalierungsstrategien, die auf das Erzeugen zusätzlicher Thinking‑Tokens setzen.