Neue Methode: Textual Equilibrium Propagation verbessert Tiefe von KI‑Pipelines

Large Language Models (LLMs) werden zunehmend in komplexen KI‑Systemen eingesetzt, die mehrere Module wie Retriever, Werkzeuge und Verifikatoren über lange Arbeitsabläufe koordinieren. Bei diesen „compound AI“-Systemen treten jedoch bei zunehmender Tiefe zwei gravierende Probleme auf: Der Textgrad explodiert exponentiell, was zu extrem langen Nachrichten und verstärkten Bewertungsfehlern führt, und er verschwindet, wenn die Modelle die langen Kontexte nicht vollständig erfassen können, sodass spätere Nachrichten an Genauigkeit verlieren.

Um diese Schwächen zu überwinden, präsentiert die Forschung die Methode Textual Equilibrium Propagation (TEP). TEP basiert auf einem lokalen Lernprinzip, das von der Equilibrium Propagation in energiebasierten Modellen inspiriert ist. Der Ansatz gliedert sich in zwei Phasen: In der freien Phase überarbeitet ein lokaler LLM‑Kritiker die Eingabeaufforderungen schrittweise, bis keine weiteren Verbesserungen mehr möglich sind. Anschließend folgt die „nudged“ Phase, in der gezielte, begrenzte Prompt‑Änderungen vorgenommen werden, die auf Aufgaben‑Level‑Zielen beruhen und sich durch Vorwärts‑Signalübertragung statt rückwärtsgerichteter Feedbackketten auswirken.

Durch diese Kombination aus lokaler Optimierung und kontrollierter globaler Anpassung kann TEP die Leistung von tiefen KI‑Pipelines stabilisieren, ohne die Rechenlast und die Signalverluste, die bei herkömmlichen globalen Text‑Feedback‑Methoden auftreten. Die Methode verspricht damit eine robuste Grundlage für die Weiterentwicklung von Agenten, die über viele Verarbeitungsschritte hinweg arbeiten müssen.