Brittlebench: Wie Prompt-Varianten die Robustheit von LLMs messen

Die meisten Bewertungssysteme für Sprachmodelle beruhen auf sauberen, statischen Testdatensätzen. Dadurch wird die tatsächliche Leistungsfähigkeit oft überschätzt, weil sie die Fehler, Tippfehler und unterschiedlichen Formulierungen, die in realen Nutzeranfragen vorkommen, nicht berücksichtigt.

In der neuen Studie wird ein theoretischer Rahmen vorgestellt, der die Empfindlichkeit von Modellen gegenüber Prompt-Varianten – also deren „Brittelheit“ – quantifiziert. Auf dieser Basis wurde Brittlebench entwickelt, ein Evaluationsverfahren, das die Reaktionsfähigkeit von Spitzentechnologien systematisch untersucht.

Durch semantisch unveränderte Störungen an einer Reihe populärer Benchmarks zeigte sich, dass die Modellleistung um bis zu 12 % sinken kann. Ein einzelnes Prompt-Änderung kann die Rangfolge der Modelle in 63 % der Fälle verschieben, was die Vergleichbarkeit von Modellen stark beeinflusst. Die Analyse der Gesamtvarianz ergab, dass bis zu die Hälfte der Leistungsabweichung durch solche Eingabevariationen erklärt werden kann.

Brittlebench unterstreicht damit die Notwendigkeit robusterer Evaluationsmethoden und Modelle. Gleichzeitig liefert es ein Werkzeug, um die Schwachstellen von LLMs gezielt zu identifizieren und zu verbessern.