Neue Benchmark zeigt Energieeffizienz von LLMs in realen Einsatzbedingungen

Die Verbreitung großer Sprachmodelle (LLMs) hat einen wachsenden Einfluss auf das Klima, da ihre Nutzung erhebliche Energie erfordert. Um Entwickler für die Implementierung von LLMs in ihren Produkten zu sensibilisieren, ist es entscheidend, mehr Daten zur Energieeffizienz dieser Modelle zu sammeln.

Vorhandene Studien haben zwar die Energieeffizienz verschiedener Modelle untersucht, jedoch spiegeln die meisten Benchmarks nicht die realen Produktionsbedingungen wider. In der vorliegenden Arbeit wird der LLM Efficiency Benchmark vorgestellt, der reale Einsatzszenarien simuliert.

Der Benchmark nutzt vLLM, ein hochleistungsfähiges, produktionsreifes Backend für die Bereitstellung von LLMs, das sowohl die Modellleistung als auch die Effizienz optimiert. Dabei werden Faktoren wie Modellgröße, Architektur und gleichzeitige Anfragen untersucht, um deren Einfluss auf die Inferenzenergieeffizienz zu bestimmen.

Die Ergebnisse zeigen, dass es möglich ist, Energieeffizienz-Benchmarks zu entwickeln, die praktikable Einsatzbedingungen besser abbilden. Diese Erkenntnisse liefern wertvolle Einblicke für Entwickler, die nachhaltigere KI-Systeme bauen wollen.