LoopGuard verhindert Wiederholungszyklen in KI-Textgeneratoren

In einer neuen Studie, veröffentlicht auf arXiv (2604.10044v1), wird ein bislang wenig beachtetes Problem bei der Textgenerierung mit großen Sprachmodellen aufgedeckt: bei langen Kontexten kann die Decodierung in selbstverstärkende Wiederholungszyklen abgleiten. Diese Loops entstehen, wenn bestimmte Aufmerksamkeitsköpfe sich auf einen schmalen Suffix des bisherigen Textes fixieren und durch die Wiederverwendung des KV‑Caches während der Inferenz weiter verstärkt werden.

Um dieses Phänomen systematisch zu untersuchen, haben die Forscher LoopBench entwickelt – ein Benchmark, das gezielt Loop‑Induktion auslöst und Messgrößen zur Quantifizierung von Wiederholungsintensität und Generierungsinstabilität bereitstellt. LoopBench ermöglicht es, die Auswirkungen von Wiederholungen über reine Task‑Scores hinaus zu bewerten.

Auf Basis dieser Erkenntnisse wurde LoopGuard vorgestellt, ein leichtgewichtiges Plug‑in für den KV‑Cache. LoopGuard erkennt den Beginn eines Wiederholungsloops in Echtzeit und unterbricht den Feedback‑Kreislauf, indem es wiederholte Endspannen innerhalb eines festen Cache‑Budgets entfernt. Experimente auf LoopBench zeigen, dass LoopGuard die Auftretensrate von Loops um mehr als 90 Prozentpunkte senkt, die Vielfalt der Ausgaben erhöht und den Token‑Verbrauch reduziert.