Neues Skalierungsparadigma: Input Time Scaling verbessert LLM-Leistung

In der Welt der großen Sprachmodelle (LLMs) wird bislang viel Wert auf die sorgfältige Auswahl von Trainingsdaten und auf die Optimierung der Inferenzzeit gelegt. Das neue Konzept „Input Time Scaling“ richtet den Fokus jedoch auf die Abfrage selbst und verteilt Ressourcen auf die Eingaben, um die Leistung zu steigern.

Die Autoren kombinieren während Training und Testen Meta-Wissen aus LLMs, um die Eingaben mit unterschiedlichen Strategien zu verfeinern. Sie zeigen, dass ein gemeinsames Design von Training und Test – also die Anwendung der Strategien in beiden Phasen – entscheidend ist. Wenn die Strategien nur im Training oder nur im Test eingesetzt werden, verschlechtert sich die Leistung erheblich.

Ein überraschendes Ergebnis ist, dass Datensätze mit scheinbar niedriger Qualität – zum Beispiel durch zufällige Auswahl von Beispielen aus kaum gefilterten Daten – die besten Ergebnisse liefern. Das widerspricht dem üblichen „Garbage‑in, Garbage‑out“-Prinzip. Auch das Hinzufügen irrelevanter Informationen kann die Leistung verbessern. Diese Erkenntnisse deuten darauf hin, dass die sorgfältige Kuratierung von Daten die Leistungsgrenze möglicherweise einschränkt und dass mehr Daten nicht zwangsläufig besser sind.

Die Ergebnisse passen zum „Less is More“-Phänomen: Mit einer kleinen Auswahl an Beispielen lassen sich hochgradige Denkfähigkeiten aktivieren. In Experimenten mit dem Modell Qwen2.5‑32B‑Instruct erreichte die Methode den aktuellen Spitzenwert bei den Wettbewerben AIME24 (76,7 %) und AIME25, was die Wirksamkeit von Input Time Scaling unterstreicht.