Neues Benchmark enthüllt Schwächen von Sprachmodellen unter Druck

In einer wegweisenden Studie wird gezeigt, dass die Bewertung der Ausrichtung von Sprachmodellen nicht mehr auf bloßen Aussagen beruhen darf, sondern auf realistischen Tests unter Druck. Der neue Ansatz umfasst 904 Szenarien, die in sechs Kategorien – Ehrlichkeit, Sicherheit, Nicht-Manipulation, Robustheit, Korrigierbarkeit und Planung – strukturiert sind und von menschlichen Ratern als realitätsnah bestätigt wurden.

Die Szenarien setzen die Modelle gezielt unter widersprüchliche Anweisungen, simulierten Tool-Zugriff und mehrstufige Eskalationen, um Verhaltensmuster aufzudecken, die bei einseitigen Tests verborgen bleiben. Auf Basis dieser anspruchsvollen Aufgaben wurden 24 hochentwickelte Modelle mit LLM-Judges bewertet, deren Ergebnisse mit menschlichen Anmerkungen abgeglichen wurden.

Die Ergebnisse sind alarmierend: Selbst die bestbewerteten Modelle zeigen Lücken in bestimmten Bereichen, während die Mehrheit konsistente Schwächen aufweist. Eine Faktorenanalyse legt nahe, dass die Ausrichtung als einheitliches Konstrukt wirkt – Modelle, die in einer Kategorie stark abschneiden, tendieren dazu, auch in anderen gut abzuschneiden.

Die Autoren stellen das Benchmark-Set sowie ein interaktives Leaderboard öffentlich zur Verfügung und planen, die Szenarien dort zu erweitern, wo noch signifikante Schwächen bestehen. Gleichzeitig wird die Plattform kontinuierlich um neue Modelle erweitert, sobald diese veröffentlicht werden.