Bench360: Vollständiges Benchmarking lokaler LLM‑Inferenz aus 360°

Die Ausführung großer Sprachmodelle (LLMs) auf eigenen Rechnern wird immer üblicher. Trotz der Verfügbarkeit kleiner Open‑Source‑Modelle und moderner Inferenz‑Engines stehen Anwender vor einer Vielzahl von Konfigurationsoptionen, die manuell abgestimmt werden müssen. Bench360 bietet hierfür eine umfassende Lösung, die sowohl systembezogene als auch aufgabenbezogene Kennzahlen in einem einheitlichen Rahmen zusammenführt.

Mit Bench360 können Nutzer eigene Aufgaben definieren, passende Datensätze auswählen und relevante Metriken festlegen. Anschließend werden die gewählten LLMs, Inferenz‑Engines und Quantisierungsstufen automatisch in verschiedenen Einsatzszenarien – Einzelstream, Batch und Server – getestet. Dabei werden sowohl Leistungsdaten wie Latenz, Durchsatz und Energieverbrauch als auch spezifische Qualitätsmaße wie ROUGE, F1‑Score oder Genauigkeit erfasst.

Die Autoren demonstrieren die Plattform anhand von vier gängigen LLM‑Aufgaben: Allgemeinwissen & Logik, Frage‑Antwort, Zusammenfassung und Text‑zu‑SQL. Die Tests wurden auf drei unterschiedlichen Hardware‑Plattformen und vier führenden Inferenz‑Engines durchgeführt, um die Vielseitigkeit von Bench360 zu zeigen.

Bench360 soll die bisherige Fragmentierung von Benchmarks überwinden und Anwendern ein leicht zugängliches, umfassendes Werkzeug bieten, um optimale Konfigurationen für lokale LLM‑Inference zu finden und zu vergleichen.