Amazon SageMaker AI beschleunigt KI-Inferenz mit EAGLE-Spekulation

Amazon SageMaker AI hat seine Fähigkeiten erweitert, indem es jetzt EAGLE‑basierte adaptive Spekulations-Decodierung unterstützt. Diese Technik kann die Inferenz großer Sprachmodelle um bis zu 2,5‑mal beschleunigen, ohne die Qualität der generierten Texte zu beeinträchtigen.

Die neue Funktion umfasst die Varianten EAGLE 2 und EAGLE 3, die sich nahtlos in die bestehende SageMaker‑Architektur einfügen. Entwickler können ihre Modelle in einem Container bereitstellen, die Spekulationslogik aktivieren und die Pipeline so konfigurieren, dass die Decodierung dynamisch an die aktuelle Last angepasst wird.

Für die Optimierung stehen flexible Workflows zur Verfügung: Nutzer können eigene Datensätze hochladen oder auf die in SageMaker integrierten Daten zurückgreifen. Durch gezielte Hyperparameter‑Tuning‑Sitzungen lässt sich die Spekulationsrate feinjustieren, um die Balance zwischen Geschwindigkeit und Genauigkeit zu maximieren.

Benchmark‑Tests zeigen, dass die Durchsatzrate bei Standard‑Latenzbedingungen um bis zu 2,5‑mal steigt, während die Antwortzeit um mehr als 40 % reduziert wird. Diese Verbesserungen gelten sowohl für EAGLE 2 als auch für EAGLE 3 und gelten als bedeutender Fortschritt für die Echtzeit‑Generierung von KI‑Inhalten.