LLM-Judge-Vorhersage: Kleinmodelle entscheiden selbst, wann sie Hilfe brauchen

In der Welt der großen Sprachmodelle (LLMs) gilt ein klassisches Dilemma: Je mehr Parameter ein Modell besitzt, desto besser die Qualität der Antworten, aber desto höher auch der Rechenaufwand. Für Geräte mit begrenzter Rechenleistung – etwa Smartphones oder Laptops – ist dieser Kompromiss besonders problematisch.

Eine innovative Lösung, die in der neuen Studie von arXiv:2604.12634v1 vorgestellt wird, lässt Modelle selbst entscheiden, ob sie eine Frage alleine beantworten oder einen „LLM-Judge“ um Hilfe bitten. Dabei werden zwei neue Paradigmen – Predict‑Answer/Act (PA) und Reason‑Predict‑Reason‑Answer/Act (RPRA) – eingesetzt, bei denen das Modell vor dem eigentlichen Antwortschreiben vorhersagt, wie ein externer LLM-Judge seine Antwort bewerten würde.

Die Autoren untersuchten drei Vorgehensweisen: eine reine Zero‑Shot‑Vorhersage, die Nutzung eines kontextuellen „Report Cards“ und das gezielte Feintuning. Die Ergebnisse zeigen, dass große Modelle – besonders solche mit ausgeprägter Rechenfähigkeit – bereits bei Zero‑Shot die Bewertungen zuverlässig vorhersagen können. Kleinere Modelle hingegen profitieren enorm von Report Cards oder Feintuning, wobei die Vorhersagegenauigkeit um bis zu 55 % bzw. 52 % gesteigert werden konnte.

Diese Erkenntnisse deuten darauf hin, dass LLMs lernen können, ihre eigenen Leistungsgrenzen einzuschätzen und bei Bedarf Hilfe zu holen. Damit eröffnet sich ein Weg zu effizienteren, selbstbewussten Inferenzprozessen, die sowohl die Rechenkosten senken als auch die Antwortqualität erhalten.