BEAVER: Effizienter deterministischer Verifikator für große Sprachmodelle

Mit dem Aufstieg von großen Sprachmodellen (LLMs) aus der Forschung in produktive Systeme wird die Notwendigkeit zuverlässiger Prüfmethoden immer dringlicher. BEAVER, ein neues Framework, liefert erstmals deterministische und nachweislich sichere Wahrscheinlichkeitsgrenzen dafür, ob LLM-Ausgaben bestimmte Anforderungen erfüllen.

BEAVER nutzt innovative Token-Trie- und Frontier-Datenstrukturen, um den Generierungsraum systematisch zu erkunden. Bei jedem Schritt werden provable sound Bounds berechnet, sodass die Einhaltung semantischer, prefix‑abgeschlossener Constraints garantiert wird. Der Ansatz ist formal definiert, die Soundness mathematisch bewiesen und praktisch erprobt.

In umfangreichen Tests auf Aufgaben wie Korrektheits‑, Datenschutz‑ und sicherheitsrelevanter Code‑Generierung über mehrere moderne LLM‑Modelle hinweg zeigte BEAVER beeindruckende Ergebnisse: Die berechneten Wahrscheinlichkeitsgrenzen sind 6 bis 8 Mal enger als bei bestehenden Methoden, und die Anzahl der identifizierten Hochrisikofälle steigt um 3 bis 4 Mal – alles unter identischen Rechenbudgets. Damit ermöglicht BEAVER eine präzise Risiko‑ und Qualitätsbewertung, die mit lockeren Schätzungen oder rein empirischen Ansätzen nicht erreichbar ist.