LLM-Training neu: PRoSFI steigert Zuverlässigkeit von Schritt-für-Schritt-Logik

In einer kürzlich veröffentlichten Arbeit auf arXiv (2603.29500v1) wird ein neues Verfahren vorgestellt, das die Zuverlässigkeit von großen Sprachmodellen (LLMs) bei komplexen, mehrstufigen Logikaufgaben deutlich verbessert. Während aktuelle Modelle dank belohnungsbasierter Verstärkungslernen oft korrekte Endergebnisse liefern, bleiben die Zwischenschritte häufig unzuverlässig, weil die Belohnung nur das Endergebnis berücksichtigt.

Das vorgeschlagene System, PRoSFI (Process Reward over Structured Formal Intermediates), nutzt strukturierte Zwischenschritte, die dem natürlichen Sprachverhalten des Modells entsprechen. Jeder Schritt wird anschließend von einem formalen Beweiser überprüft. Nur wenn die gesamte Kette von Schritten formal verifiziert wird, erhält das Modell eine hohe Belohnung. Auf diese Weise wird das Modell gezielt dazu angeregt, prüfbare, maschinenlesbare Beweise zu erzeugen, ohne dass die Genauigkeit der Endantworten leidet.

PRoSFI bietet damit einen einfachen und effektiven Ansatz, um vertrauenswürdige, nachvollziehbare Logikmodelle zu trainieren. Durch die Kombination von natürlicher Sprachverarbeitung und formaler Verifikation können LLMs künftig nicht nur korrekte, sondern auch nachvollziehbare Lösungen liefern.