Open-Weight-LLMs zeigen stark unterschiedliche Leistungen je Anbieter

Artificial Analysis hat kürzlich einen neuen Benchmark veröffentlicht, der die Leistung des OpenAI‑Modells gpt-oss-120b auf verschiedenen Hosting‑Anbietern untersucht. Die Ergebnisse überraschten mit deutlichen Leistungsunterschieden, insbesondere bei der Auswertung der 2025 AIME (American Invitational Mathematics Examination) mit 32 Durchläufen pro Modell und einer hohen Rechenintensität.

Die höchste Trefferquote von 93,3 % erreichten Cerebras, Nebius Base, Fireworks, Deepinfra, Novita, Together.ai und vLLM 0.1.0. Parasail folgte mit 90 %, Groq mit 86,7 %, Amazon mit 83,3 %, Azure mit 80 % und CompactifAI mit 36,7 %. Die meisten Anbieter, die 93,3 % erzielten, setzten die neueste vLLM‑Version ein – Cerebras nutzt jedoch einen eigenen Serving‑Stack.

CompactifAI, ein neuer Player, wurde erst im Juni 2025 vorgestellt. Laut ihrer Pressemitteilung sind ihre Modelle stark komprimiert, behalten aber die ursprüngliche Genauigkeit bei, sind 4‑12 mal schneller und senken die Inferenzkosten um 50‑80 %. Diese Komprimierung erklärt die deutlich niedrigere Punktzahl.

Microsoft Azure bestätigte, dass die 80‑Prozent‑Ergebnis auf eine ältere vLLM‑Version zurückzuführen war, die das reasoning_effort-Flag ignorierte und daher standardmäßig auf „medium“ setzte. Der Fehler wurde gestern Nachmittag in allen Hosting‑Instanzen des 120‑B‑Services behoben. Für die AWS Bedrock‑Version liegen bislang keine Informationen vor.

Für Kunden von Open‑Weight‑Modellen bedeutet dies, dass die Wahl des Hosting‑Anbieters und der eingesetzten vLLM‑Version entscheidend für die Leistung ist. Anbieter müssen sicherstellen, dass ihre Infrastruktur die neuesten Optimierungen unterstützt, um konsistente Ergebnisse zu liefern.