NVIDIA präsentiert TiDAR: Hybrid-Architektur für schnelle LLM-Inferenz

NVIDIA hat mit TiDAR einen neuen Ansatz vorgestellt, der die Geschwindigkeit von großen Sprachmodellen deutlich steigert, ohne dabei die Qualität der autoregressiven Ausgabe zu opfern.

TiDAR kombiniert Diffusionsmodelle und autoregressive Sampling-Methoden auf Sequenzebene. Dabei werden Tokens zunächst in einem Diffusionsschritt skizziert und anschließend in einem einzigen Vorwärtspass autoregressiv ausgewählt. Dieser hybride Ablauf ermöglicht die Nutzung von „freier“ GPU-Rechenleistung und reduziert die Anzahl der notwendigen Durchläufe.

Das Ziel der Forschung ist es, die Durchsatzrate von LLM‑Inference zu erhöhen, während die Ausgabequalität auf dem Niveau traditioneller autoregressiver Modelle bleibt. NVIDIA’s Ansatz könnte damit die Effizienz von KI‑Anwendungen in Bereichen wie Chatbots, Textgenerierung und Datenanalyse nachhaltig verbessern.