JudgeBoard: Benchmark für kleine Sprachmodelle in Rechen‑ und Wissensaufgaben

Die neue Plattform JudgeBoard bietet ein innovatives Verfahren, um die Richtigkeit von Antworten kleiner Sprachmodelle (SLMs) direkt zu bewerten, ohne auf externe Vergleichsdaten zurückgreifen zu müssen. Durch das direkte Abfragen der Modelle wird die Bewertung automatisiert und gleichzeitig präziser, was besonders bei komplexen Rechen‑ und Wissensaufgaben von Vorteil ist.

JudgeBoard konzentriert sich auf zwei zentrale Bereiche: mathematisches Denken und wissenschaftliches bzw. commonsense‑Rechnen. Für jedes dieser Felder wurden spezielle Leaderboards erstellt, die sowohl auf Genauigkeitswerten als auch auf einem Elo‑basierten Bewertungssystem beruhen. Dadurch lassen sich Modelle konsistent vergleichen, wobei die Modelle selbst als „Richter“ fungieren, anstatt nur als „Antwortgeber“.

Um die Bewertungskapazität leichterer Modelle zu erhöhen, wurde das MAJ‑Framework (Multi‑Agent Judging) entwickelt. Dabei arbeiten mehrere SLMs mit unterschiedlichen Denkprofilen zusammen und diskutieren gemeinsam, um die Genauigkeit von LLM‑Level-Judgmenten zu erreichen. Experimente zeigen, dass MAJ die Zuverlässigkeit und Konsistenz der SLMs deutlich steigert, obwohl ein deutlicher Leistungsunterschied zu großen Modellen noch besteht.

Insgesamt demonstriert JudgeBoard, dass kleine Sprachmodelle mit gezielter Evaluierung und kollaborativer Entscheidungsfindung erheblich verbessert werden können. Die Plattform stellt damit ein wertvolles Werkzeug für Forschung und Praxis dar, um die Leistungsfähigkeit moderner KI‑Modelle im Bereich des logischen Denkens zu messen und zu optimieren.