Klein, aber oho: GPT‑OSS 20B dominiert Finanz‑LLM‑Benchmark
Die rasante Verbreitung großer Sprachmodelle im Finanzsektor erfordert ein rigoroses Bewertungssystem, um Leistung, Effizienz und praktische Anwendbarkeit zu prüfen. In einer neuen Studie wird die GPT‑OSS‑Familie gegen aktuelle LLM‑Modelle auf zehn vielfältigen Finanz‑NLP‑Aufgaben getestet.
Durch umfangreiche Experimente mit den 120 B‑ und 20 B‑Varianten von GPT‑OSS zeigt sich ein überraschendes Ergebnis: Das kleinere GPT‑OSS‑20B erreicht eine Genauigkeit von 65,1 % – fast gleichwertig zu 66,5 % bei größeren Modellen – und überzeugt gleichzeitig mit einer Token‑Effizienz‑Score von 198,4 sowie einer Verarbeitungsgeschwindigkeit von 159,80 Tokens pro Sekunde.
Die Bewertung nutzt reale Finanzdatensätze wie Financial PhraseBank, FiQA‑SA und FLARE FINERORD und umfasst Sentiment‑Analyse, Frage‑Antwort und Entitätserkennung. Zusätzlich werden neue Effizienzmetriken vorgestellt, die den Kompromiss zwischen Modellleistung und Ressourcenverbrauch transparent machen.
Das Benchmark‑Ergebnis zeigt, dass GPT‑OSS‑Modelle regelmäßig die größeren Konkurrenten – darunter Qwen3‑235B – übertreffen. Dies widerspricht der weit verbreiteten Annahme, dass größere Modelle immer bessere Ergebnisse liefern. Die architektonischen Innovationen und Trainingsstrategien von GPT‑OSS ermöglichen es kleineren Modellen, konkurrenzfähige Leistungen bei deutlich geringerem Rechenaufwand zu erzielen.
Die Erkenntnisse eröffnen einen Weg zu nachhaltigen und kosteneffizienten LLM‑Deployments im Finanzbereich, indem sie zeigen, dass weniger nicht zwangsläufig weniger gut bedeutet.