Neuro-symbolische Verifikation prüft, ob LLMs Befehle korrekt befolgen

Die Nutzung großer Sprachmodelle (LLMs) in kritischen Anwendungen stößt häufig an die Grenze, dass die Modelle nicht immer den vorgegebenen Anweisungen folgen. Solche Verstöße sind schwer zu erkennen und können in agentenbasierten Workflows zu Ketten von Fehlern führen, die letztlich Aufgaben scheitern lassen.

Um dieses Problem zu lösen, stellt das neue Framework NSVIF vor, das die Einhaltung von Anweisungen neuro-symbolisch überprüft. Dabei werden die Nutzeranweisungen als Constraints formuliert und in einem einheitlichen Solver gelöst, der sowohl logische als auch semantische Aspekte berücksichtigt. Dadurch kann NSVIF unabhängig von Modelltyp und Anweisungstyp verifizieren, ob die Ausgabe eines LLM tatsächlich den Vorgaben entspricht.

Zur Bewertung des Ansatzes wurde VIFBENCH entwickelt – ein Benchmark mit fein abgestuften Datenlabels, der speziell für die Messung von Anweisungsverifikatoren konzipiert ist. Die Experimente zeigen, dass NSVIF deutlich bessere Ergebnisse erzielt als reine LLM-basierte Methoden und gleichzeitig verständliche Rückmeldungen liefert.

Ein zusätzlicher Nutzen von NSVIF besteht darin, dass das erhaltene Feedback die Fähigkeit von LLMs zur Befolgen von Anweisungen verbessern kann, ohne dass ein erneutes Training erforderlich ist. Damit bietet das Framework einen praktischen Weg, die Zuverlässigkeit von Sprachmodellen in sicherheitskritischen Anwendungen zu erhöhen.