VeriSpecGen: KI generiert nachvollziehbare, korrekte Spezifikationen für Code

In der Welt der Softwareentwicklung wird die Nutzung von großen Sprachmodellen zur Codegenerierung immer üblicher. Doch die Gewährleistung von Korrektheit bleibt eine Herausforderung. Formalverifikation bietet einen systematischen Ansatz, um sicherzustellen, dass ein Programm einer formalen Spezifikation entspricht. Das Problem ist, dass in vielen realen Codebasen Spezifikationen fehlen und deren Erstellung teuer und fachlich anspruchsvoll ist.

VeriSpecGen ist ein neues, nachvollziehbares Verfeinerungsframework, das darauf abzielt, Absicht ausgerichtete Spezifikationen in Lean zu synthetisieren. Das System zerlegt natürliche Sprache in atomare Anforderungen, erzeugt testspezifische Prüfungen und legt explizite Rückverfolgbarkeitskarten an, um die generierten Spezifikationen zu validieren. Scheitert eine Validierung, weist die Karte die Fehler auf einzelne Anforderungen hin, sodass gezielte Reparaturen auf Klauselebene möglich sind.

In Tests erreichte VeriSpecGen eine Genauigkeit von 86,6 % bei der VERINA SpecGen-Aufgabe, wenn Claude Opus 4.5 eingesetzt wurde. Das Ergebnis übertrifft die Basislinien um bis zu 31,8 Punkte über verschiedene Modellfamilien und -größen hinweg. Darüber hinaus generiert das System 343 000 Trainingsbeispiele aus den Verfeinerungswegen und zeigt, dass das Training mit diesen Daten die Spezifikationssynthese um 62 – 106 % verbessert und auch die allgemeinen Beweisfähigkeiten steigert.