CORE: Verlustlose Kompression für Retrieval-Augmented LLMs mit RL

Die neueste Studie präsentiert CORE, eine Methode, die Retrieval‑Augmented Generation (RAG) auf ein neues Level hebt, indem sie die Größe der abgerufenen Dokumente ohne Qualitätsverlust reduziert. RAG hat sich als vielversprechender Ansatz erwiesen, um die Aktualität und Faktenkonsistenz von großen Sprachmodellen zu verbessern, doch die zunehmende Eingabelänge führt zu höheren Rechenkosten.

Frühere Ansätze haben versucht, die abgerufenen Texte zu komprimieren, bevor sie in das Modell eingespeist werden. Diese Verfahren verlustbehaftet und oft mit einem Leistungsabfall verbunden, weil sie auf festen Heuristiken basieren, die nicht garantieren, dass die komprimierten Inhalte die Endaufgabe unterstützen. CORE löst dieses Problem, indem es keine vorgegebenen Kompressionslabels benötigt.

Der Kern von CORE ist ein Reinforcement‑Learning‑Framework, das die Kompression anhand der tatsächlichen Leistung der Endaufgabe belohnt. Durch die Anwendung von Generalized Reinforcement Learning Policy Optimization (GRPO) wird der Kompressor end‑to‑end trainiert, sodass die erzeugten Zusammenfassungen die Genauigkeit der vom LLM generierten Antworten maximieren.

In umfangreichen Experimenten auf vier unterschiedlichen Datensätzen zeigte CORE eine herausragende Performance. Mit einem Kompressionsverhältnis von 3 % konnte die Methode die Leistung der Modelle nicht nur erhalten, sondern sogar um durchschnittlich 3,3 % in der Exact‑Match‑Metrik steigern – ein signifikanter Gewinn gegenüber der Verwendung der vollständigen Dokumente.

Die Autoren geben an, den Code in Kürze öffentlich zugänglich zu machen, sodass die Forschungsgemeinschaft die Methode weiterentwickeln und in eigenen Projekten einsetzen kann.