Neuer generativer Ansatz reduziert Prompt-Länge für LLMs effizient

Forscher haben einen innovativen Weg entwickelt, um die Eingabeaufforderungen großer Sprachmodelle (LLMs) zu verkürzen, ohne dabei an Qualität zu verlieren. Der neue Ansatz nutzt anstelle des üblichen Token‑Entfernens ein „Chunking‑und‑Zusammenfassungs“-Verfahren. Dabei wird der Prompt in semantisch zusammenhängende Abschnitte aufgeteilt und jeder Abschnitt wird kompakt neu formuliert. Anschließend werden die überarbeiteten Segmente zu einer zusammenhängenden, kürzeren Prompt‑Version zusammengeführt.

Um die Effektivität zu steigern, wurden mehrere Optimierungstechniken eingebaut: eine verbesserte semantische Chunking‑Logik, der Umgang mit Ausreißer‑Chunks, ein dynamisches Kompressionsverhältnis, Priorisierung wichtiger Inhalte und die Bewahrung von Schlüsselwörtern. Diese Maßnahmen sorgen dafür, dass kritische Informationen erhalten bleiben und die Kohärenz der Texte erhalten bleibt.

In umfangreichen Tests, die sowohl Frage‑Antwort‑ als auch Zusammenfassungsaufgaben aus verschiedenen Fachbereichen abdeckten, zeigte der neue Ansatz deutlich bessere Kompressionsqualität und höhere Stabilität als die bisherigen Token‑Entfernungs‑Methoden. Damit eröffnet sich ein vielversprechender Weg, die Effizienz von LLMs zu steigern und gleichzeitig die Kosten zu senken.