Evo: Neues Modell vereint autoregressive und Diffusions-LLM für bessere Leistung

Die Forschung der letzten Woche hat ein neues Sprachmodell namens Evo vorgestellt, das die beiden bislang getrennten Ansätze der autoregressiven (AR) und der Diffusionsgenerierung in einem einzigen, kontinuierlichen Rahmen zusammenführt. Durch die Idee einer „latent flow“ wird jeder Token mit einem mehrdimensionalen Embedding verknüpft, das sich über eine Fortschrittsvariable \(t_i \in [0,1]\) entwickelt und damit die semantische Reife des Tokens widerspiegelt.

Bei niedrigen \(t_i\)-Werten agiert Evo wie ein klassisches AR-Modell und verfeinert die Ausgabe mit hoher Zuversicht. Sobald \(t_i\) steigt, übernimmt das Modell diffusionsähnliche Planungsmechanismen, die besonders bei Unsicherheit helfen, die richtige Wortwahl zu treffen. Theoretisch lässt sich zeigen, dass sowohl AR- als auch Diffusionsmodelle lediglich diskrete Approximationen derselben gemeinsamen Wahrscheinlichkeitsströmung sind, und die Trainingsformulierung von Evo basiert auf einer einheitlichen variationalen ELBO.

Technisch ist Evo ein zeitabhängiger Transformer, der von einem gemeinsamen Vektorfeld geleitet wird. Das Modell wird end-to-end trainiert, um gleichzeitig die latenten Codes und ihre jeweiligen Fortschrittszeiten zu bestimmen. Während der Decodierung führt Evo eine effiziente, semantisch bewusste Verfeinerung durch, die qualitativ hochwertige Ergebnisse liefert, ohne die Geschwindigkeit zu beeinträchtigen.

In praktischen Tests erreicht Evo 8B auf 15 unterschiedlichen Benchmarks, darunter komplexe Rechenaufgaben (GSM8K, ARC‑C), Codegenerierung (HumanEval, MBPP) und allgemeine Sprachverständnisaufgaben, entweder den aktuellen Stand der Technik oder sehr konkurrenzfähige Leistungen. Gleichzeitig bleibt die Inferenzzeit schnell, was Evo zu einem vielversprechenden neuen Paradigma für die Entwicklung leistungsfähiger, vielseitiger Sprachmodelle macht.