S³: Stratifizierte Skalierungssuche verbessert Diffusions‑Sprachmodelle bei Testzeit

Die Forschung zur Test‑Time‑Scaling von Diffusions‑Sprachmodellen (DLMs) hat einen neuen Ansatz vorgestellt, der die Qualität der generierten Texte ohne zusätzliche Trainingsschritte steigert. Traditionelle Methoden wie das wiederholte Ziehen von Samples aus derselben Basisverteilung – das sogenannte Best‑of‑K‑Sampling – stoßen an Grenzen, weil sie häufig in Regionen hoher Wahrscheinlichkeit landen, die nicht unbedingt zu hochwertigen Ausgaben führen.

Der neue Ansatz, genannt S³ (Stratifizierte Skalierungssuche), nutzt eine klassische, verifier‑gesteuerte Suchstrategie. Bei jedem Denoising‑Schritt werden mehrere mögliche Trajektorien erzeugt, von denen ein leichtgewichtiger, referenzfreier Verifier bewertet. Nur die vielversprechendsten Kandidaten werden anschließend erneut gezielt abgetastet, während gleichzeitig die Vielfalt im Suchfeld erhalten bleibt. Auf diese Weise nähert sich die Methode einer belohnungsorientierten Stichprobenverteilung, die qualitativ bessere Ergebnisse fördert, ohne die zugrunde liegende Modellpriorität zu verlassen.

In umfangreichen Tests mit dem LLaDA‑8B‑Instruct‑Modell auf den Benchmarks MATH‑500, GSM8K, ARC‑Challenge und TruthfulQA zeigte S³ konsistente Verbesserungen. Besonders auffällig waren die größten Fortschritte bei mathematischen Denkaufgaben, während die Grundstruktur des Modells und die Decodierungsstrategie unverändert blieben. Diese Ergebnisse demonstrieren, dass klassische Suchalgorithmen über Denoising‑Trajektorien ein praktikabler Mechanismus für die Test‑Time‑Scaling von Diffusions‑Sprachmodellen darstellen.