Neue Methode steigert Genauigkeit strukturierter LLM-Ausgaben um bis zu 24 %

Moderne Sprachmodelle werden zunehmend eingesetzt, um ausführbare Ausgaben wie JSON‑Objekte oder API‑Aufrufe zu erzeugen. Dabei kann ein einziger Syntaxfehler das gesamte Ergebnis unbrauchbar machen.

Traditionelles „constrained decoding“ sichert die syntaktische Gültigkeit, indem Tokens einzeln maskiert und neu normalisiert werden. Dieses Vorgehen kann jedoch die Qualität beeinträchtigen, wenn das Modell für gültige Fortsetzungen nur geringe Wahrscheinlichkeiten vergibt. Dann wird die Ausgabe zu einer lokal gültigen, aber semantisch falschen Folge von Tokens.

Die neue Technik namens Draft‑Conditioned Constrained Decoding (DCCD) löst dieses Problem in zwei einfachen, trainingsfreien Schritten. Zuerst wird ein ungefilterter Entwurf generiert; anschließend wird das konstruierte Modell unter Berücksichtigung dieses Entwurfs erneut dekodiert, wobei die Gültigkeit garantiert wird. So trennt DCCD die semantische Planung von der strukturellen Durchsetzung.

Eine Analyse aus Sicht der KL‑Projection zeigt, dass die Entwurf‑Bedingung die mögliche Lösungsmenge vergrößert und die „Projection‑Tax“, die durch harte Einschränkungen entsteht, reduziert. Optional kann man aus mehreren Entwürfen den besten auswählen (Best‑of‑K), um die Leistung weiter zu steigern.

In umfangreichen Benchmarks für strukturierte Logikaufgaben verbessert DCCD die strikte Genauigkeit um bis zu 24 Prozentpunkte gegenüber herkömmlichem constrained decoding. Auf dem GSM8K‑Datensatz steigt die Trefferquote eines 1‑Billionen‑Parameter‑Modells von 15,2 % auf 39,0 %. Darüber hinaus ermöglichen kleinere Modellpaare mit DCCD, die Leistungen großer Modelle zu erreichen oder zu übertreffen, was die Parameter‑Effizienz deutlich erhöht.

Die Ergebnisse zeigen, dass Draft‑Conditioned Constrained Decoding ein wirkungsvolles Werkzeug für die zuverlässige Erzeugung strukturierter Inhalte in Sprachmodellen darstellt und sowohl Genauigkeit als auch Effizienz signifikant steigert.