Kleine LLMs zeigen 50‑80 % Konsistenz bei Mehrfachfragen

Eine neue Studie auf arXiv untersucht, wie zuverlässig kleine Sprachmodelle (2 B bis 8 B Parameter) dieselbe Frage mehrfach beantworten. Dabei wurden zehn Wiederholungen von Fragen aus den Standard‑Multiple‑Choice‑Benchmarks MMLU‑Redux und MedQA getestet. Die Forscher haben verschiedene Faktoren berücksichtigt, darunter unterschiedliche Inferenztemperaturen, die Größe der Modelle (klein vs. mittel), sowie den Unterschied zwischen Basis‑ und feinabgestimmten Versionen.

Die Ergebnisse sind deutlich: Für kleine Modelle liegt die Konsistenz – also die Anzahl der Fragen, die bei allen Wiederholungen gleich beantwortet werden – typischerweise zwischen 50 % und 80 % bei niedrigen Temperaturen. Interessanterweise korreliert die Genauigkeit der konsistenten Antworten gut mit der Gesamtgenauigkeit des Modells. Bei mittelgroßen Modellen (50 B bis 80 B Parameter) steigt die Konsistenz deutlich an, was auf eine stabilere Entscheidungsfindung hindeutet.

Zur Analyse wurden neue grafische und analytische Werkzeuge entwickelt, die es ermöglichen, die Balance zwischen Genauigkeit und Konsistenz besser zu verstehen. Die Studie liefert damit wichtige Erkenntnisse für die Auswahl von Modellen, die sowohl präzise als auch zuverlässig sein sollen, und legt nahe, dass kleinere Modelle bei sorgfältiger Parameterwahl durchaus konkurrenzfähig sein können.