Amazon SageMaker HyperPod: KV-Cache & Routing senken Latenz um 40 %
Amazon hat die neuesten Funktionen Managed Tiered KV Cache und Intelligent Routing für SageMaker HyperPod vorgestellt. Diese Neuerungen ermöglichen es, die Zeit bis zum ersten Token um bis zu 40 % zu verkürzen und die R…