ATLAS von Together AI beschleunigt KI‑Inferenz um 400 % durch Echtzeit‑Lernanpassung

Unternehmen, die ihre KI‑Anwendungen ausbauen, stoßen zunehmend auf eine unsichtbare Leistungsbarriere: statische Spekulationsmodelle, die nicht mit wechselnden Arbeitslasten Schritt halten können. Spekulationsmodelle sind kleinere KI‑Netze, die parallel zu großen Sprachmodellen arbeiten und mehrere Tokens vorhersagen, bevor das Hauptmodell sie verifiziert. Diese Technik, bekannt als speculative decoding, reduziert Kosten und Latenz, indem sie mehrere Tokens gleichzeitig verarbeitet.

Together AI hat mit der Einführung von ATLAS (AdapTive‑LeArning Speculator System) eine Lösung vorgestellt, die sich selbstständig an die sich verändernden Arbeitslasten anpasst. Durch kontinuierliches Lernen aus laufenden Inferenzaufgaben kann ATLAS die Geschwindigkeit der KI‑Inference um bis zu 400 % steigern – ein signifikanter Fortschritt gegenüber bestehenden Technologien wie vLLM. Das System adressiert ein zentrales Problem: bei wachsendem Einsatz von KI-Anwendungen verschlechtern sich die Inferenzgeschwindigkeiten, selbst wenn spezialisierte Spekulationsmodelle eingesetzt werden.

Das 2023 gegründete Unternehmen hat sich auf die Optimierung von Inferenzprozessen für seine Enterprise‑AI-Plattform konzentriert. Im vergangenen Jahr sammelte es 305 Millionen US-Dollar an Kapital, da die Nachfrage nach effizienteren KI‑Lösungen weiter zunimmt. Der Chief Scientist von Together AI betonte, dass Unternehmen bei zunehmender Skalierung oft feststellen, dass die bisherige Beschleunigung durch spekulative Ausführung nicht mehr den gleichen Nutzen bringt – ein Problem, das ATLAS gezielt löst.