Amazon setzt mit Trainium-Chips und vLLM Rufus auf Multi-Node-Inference
Amazon hat eine neue Multi-Node-Inferrer-Lösung für seinen generativen AI‑Shopping‑Assistenten Rufus entwickelt. Dabei kommen die eigenen Trainium‑Chips und die Open‑Source‑Bibliothek vLLM zum Einsatz, um große Sprachmo…