Amazon SageMaker AI beschleunigt KI-Inferenz mit EAGLE-Spekulation
Amazon SageMaker AI hat seine Fähigkeiten erweitert, indem es jetzt EAGLE‑basierte adaptive Spekulations-Decodierung unterstützt. Diese Technik kann die Inferenz großer Sprachmodelle um bis zu 2,5‑mal beschleunigen, ohn…