LLM-Wiederholungsproblem in Produktion gelöst: Studie mehrerer Lösungen

In der Praxis stürzen sich große Sprachmodelle (LLMs) immer wieder in endlose Wiederholungen, was die Leistung von Produktionssystemen stark beeinträchtigt. Ein neues Papier aus dem arXiv‑Repository (ArXiv‑ID 2512.04419v1) untersucht dieses Phänomen systematisch und liefert dafür mehrere praktikable Lösungen.

Die Autoren identifizieren drei typische Wiederholungsmuster, die bei der Interpretation von Batch‑Code auftauchen: (1) die Wiederholung von Geschäftsregeln, (2) die zyklische Analyse von Methodennamenbeziehungen und (3) die ständige Erzeugung von PlantUML‑Diagrammsyntax. Durch die Anwendung von Markov‑Modellen wird klar, dass das Problem auf die „gierige“ Decodierung zurückzuführen ist, die nicht in der Lage ist, aus selbstverstärkenden Schleifen auszubrechen.

Die Studie testet drei wirksame Gegenmaßnahmen:

• Beam‑Search‑Decodierung mit early_stopping=True – ein universeller Nachbearbeitungsmechanismus, der alle drei Muster zuverlässig stoppt.
• Der Hyperparameter presence_penalty – speziell wirksam gegen das erste Muster.
• Direct Preference Optimization (DPO) – ein Modell‑level‑Ansatz, der alle drei Probleme gleichzeitig adressiert.

Die Ergebnisse zeigen, dass die Kombination aus theoretischer Analyse und umfangreichen Experimenten einen klaren Mehrwert bietet. Die Arbeit liefert nicht nur ein tieferes Verständnis der Wiederholungsmechanismen, sondern auch eine praktische Anleitung, welche Lösung für welchen Anwendungsfall am besten geeignet ist.