Neuer Benchmark KAMI zeigt, dass Unternehmens-LLMs nicht immer besser sind

Ein neues Benchmark-Tool namens Kamiwaza Agentic Merit Index (KAMI) v0.1 wurde vorgestellt, um die Leistungsfähigkeit von KI-Systemen in realen Unternehmensumgebungen genauer zu messen. Im Gegensatz zu herkömmlichen LLM-Benchmarks, die oft durch Trainingsdatenkontamination beeinflusst werden, konzentriert sich KAMI auf agentische Fähigkeiten wie mehrstufiges Tool‑Einsatz und Entscheidungsfindung unter Unsicherheit.

Die Studie analysierte 170.000 Testaufgaben, die über 5,5 Milliarden Tokens in 35 Modellkonfigurationen verarbeitet wurden. Die Ergebnisse zeigen, dass traditionelle Benchmarks die praktische Agentenleistung von Modellen schlecht vorhersagen. Besonders auffällig ist, dass neuere Generationen wie Llama 4 oder Qwen 3 nicht zwangsläufig die älteren Varianten in unternehmensrelevanten Aufgaben übertreffen.

Darüber hinaus liefert KAMI wertvolle Einblicke in Kosten‑Leistungs‑Abwägungen, modell­spezifische Verhaltensmuster und den Einfluss von Rechenfähigkeiten auf die Token‑Effizienz. Diese Erkenntnisse sind entscheidend für Unternehmen, die entscheiden, welche KI‑Modelle sie in ihre Produktionsumgebungen integrieren wollen.