VeRA: Automatisierte, verifizierte Datenaugmentation für KI-Bewertungen

Die meisten KI-Bewertungen leiden unter ihrer statischen Natur: Gleiche Aufgaben werden immer wieder verwendet, was zu Memorierung, Format-Ausnutzung und letztlich zu einer Sättigung führt. Das neue Framework VeRA (Verified Reasoning Data Augmentation) löst dieses Problem, indem es Benchmark-Aufgaben in ausführbare Spezifikationen umwandelt. Dabei werden natürliche Sprachvorlagen mit Platzhaltern, ein generativer Sampler für gültige Konfigurationen und ein deterministischer Verifizierer kombiniert, der die Parameter prüft und die korrekten Antworten berechnet.

Aus einem einzigen Ausgangsproblem erzeugt VeRA unendlich viele verifizierte Varianten mit zuverlässigen Labels – und das nahezu kostenfrei, ohne menschliches Eingreifen. Das System bietet zwei ergänzende Modi: VeRA‑E (Equivalent) ändert Aufgaben, behält aber die zugrunde liegende Logik bei, um Memorierung von echtem Denken zu unterscheiden. VeRA‑H (Hardened) steigert systematisch die Komplexität, bleibt dabei aber verifizierbar und ermöglicht die Erstellung anspruchsvoller, neuartiger Tests an der Grenze der Intelligenz.

In einer Evaluation von 16 führenden Modellen zeigte VeRA, dass VeRA‑E die Bewertungsqualität verbessert und Muster von Datenkontamination aufdeckt, während VeRA‑H die menschlose Generierung von harten Aufgaben mit verlässlichen Labels ermöglicht. Damit etabliert VeRA ein neues Paradigma für verifizierte Benchmarks und transformiert statische Testobjekte in dynamische, robuste Bewertungssysteme.