ThreadWeaver: Mit adaptiver Parallelisierung LLMs schneller und genauso genau

Ein neues Forschungsprojekt namens ThreadWeaver verspricht, die Rechenzeit großer Sprachmodelle drastisch zu reduzieren, ohne dabei die Genauigkeit zu opfern. Durch die intelligente Aufteilung von Denkprozessen in mehrere parallele Threads kann das System komplexe Aufgaben schneller lösen als herkömmliche sequentielle Ansätze.

Die Idee hinter ThreadWeaver ist, dass die meisten LLMs bei der Inferenz noch immer sequentiell arbeiten – ein Ansatz, der bei anspruchsvollen Aufgaben zu erheblichen Verzögerungen führt. Das neue Framework nutzt adaptive Parallelisierung, um die Rechenlast gleichmäßig auf mehrere Threads zu verteilen, wenn dies vorteilhaft ist.

ThreadWeaver stützt sich auf drei zentrale Innovationen: Erstens erzeugt ein zweistufiger Paralleltrajektorengenerator hochwertige Daten mit parallelen Anmerkungen, die für das supervised Fine‑Tuning verwendet werden. Zweitens ermöglicht ein trie‑basierter Trainings‑ und Inferenz‑Co‑Design die Parallelisierung auf jedem Standard‑Autoregressiven Inferenz‑Engine, ohne Position‑Embeddings oder KV‑Caches zu verändern. Drittens lehrt ein reinforcement‑learning‑Framework das Modell, die Balance zwischen Genauigkeit und Parallelisierung optimal zu steuern.

In Tests auf sechs anspruchsvollen mathematischen Reasoning‑Benchmarks zeigte ThreadWeaver, dass ein Qwen3‑8B‑Modell, das mit ThreadWeaver trainiert wurde, Genauigkeiten erreicht, die mit den besten sequenziellen Modellen vergleichbar sind, während die Inferenzzeit deutlich verkürzt wurde. Damit bietet ThreadWeaver eine praktikable Lösung für die schnelle und zuverlässige Nutzung großer Sprachmodelle in realen Anwendungen.