Neue Messgröße: Effizienz von LLMs anhand von Textkompression bewertet
In den letzten Jahren haben große Sprachmodelle (LLMs) enorme Fortschritte gemacht und finden in immer mehr Bereichen Anwendung. Gleichzeitig steigt der Bedarf an Rechenressourcen, insbesondere wenn Modelle zur Laufzeit skaliert werden. Diese Entwicklung verdeutlicht die Notwendigkeit, die Inferenzeffizienz von LLMs genauer zu messen.
