RL-Struct: Leichtgewichtiges RL-Framework für strukturierte Ausgaben in LLMs

Large Language Models (LLMs) haben beeindruckende Fähigkeiten in der Textgenerierung und beim logischen Denken gezeigt, doch ihre Nutzung in automatisierten Softwaresystemen wird häufig durch die sogenannte „Structure Gap“ behindert. Diese Lücke entsteht, weil LLMs tokenweise probabilistisch arbeiten, während strukturierte Datenformate wie JSON oder XML deterministische Regeln verlangen. Traditionelle Supervised Fine‑Tuning‑Ansätze können diese syntaktischen Anforderungen nicht zuverlässig durchsetzen, was zu „halluzinierten“ Schlüsseln oder fehlerhaften Strukturen führt. Gleichzeitig erhöhen konstruierte Decodierungsverfahren die Inferenzlatenz erheblich.

RL-Struct adressiert dieses Problem mit einem schlanken Reinforcement‑Learning‑Framework. Es nutzt einen mehrdimensionalen Reward, der die Aufgabe in vier Ebenen unterteilt: strukturelle Integrität, Formatkorrektheit, Inhaltstreue und Gültigkeit. Durch Gradient Regularized Policy Optimization (GRPO) kann das Modell diese Regeln internalisieren, ohne einen separaten Kritiker zu benötigen. Dadurch sinkt der Spitzen‑VRAM‑Verbrauch um 40 % im Vergleich zu herkömmlichen PPO‑Methoden.

Die Wirksamkeit von RL‑Struct wurde an mehreren Aufgaben getestet, darunter die Generierung komplexer Rezepte und strukturierter mathematischer Probleme (GSM8K‑JSON). Die Ergebnisse zeigen eine strukturelle Genauigkeit von 89,7 % und eine JSON‑Gültigkeit von 92,1 %, was sowohl Zero‑Shot‑Baselines wie GPT‑3.5 als auch SFT‑Ansätze auf größeren Modellen wie LLaMA‑3‑8B deutlich übertrifft. Zusätzlich liefert die Arbeit eine detaillierte Analyse der Trainingsdynamik, die Einblicke in die Lernfortschritte und die Stabilität des Modells gibt.