Robuste abstrakte Kompression: Mehr Genauigkeit bei Retrieval-gestützter KI

In einer neuen Studie von Forschern aus dem Bereich der Sprachmodelle wird gezeigt, wie abstrakte Kompression – das Zusammenfassen von Texten mit kleineren Modellen – die Effizienz von Retrieval-gestützten Generationssystemen (RAG) deutlich steigern kann. Dabei liegt der Fokus auf der Reduktion von Rechenaufwand, ohne die Qualität der Antworten zu gefährden.

Ein zentrales Problem bei RAG ist, dass die abgerufenen Dokumente häufig Informationen enthalten, die zwar relevant erscheinen, aber letztlich irrelevante oder sogar fehlerhafte Inhalte liefern. Diese „Rausch“-Dokumente führen dazu, dass die Kompressionsmodelle wichtige Details übersehen, besonders wenn der Kontext sehr lang ist und die Aufmerksamkeit des Modells über viele Tokens verteilt wird.

Um diesem Problem entgegenzuwirken, haben die Autoren ein neues Verfahren namens ACoRN (Abstractive Compression Robust against Noise) entwickelt. ACoRN nutzt zwei innovative Trainingsschritte: Erstens wird das Trainingsset durch Offline-Datenaugmentation erweitert, um die Robustheit gegenüber zwei Arten von Retrieval-Rauschen zu erhöhen. Zweitens erfolgt ein gezieltes Feintuning, bei dem das Modell lernt, Zusammenfassungen zu erzeugen, die sich auf die Schlüsselinformationen konzentrieren, die die korrekte Antwort direkt unterstützen.

Die Experimente zeigen, dass ein T5‑Large-Modell, das mit ACoRN trainiert wurde, sowohl die Exact-Match (EM)- als auch die F1‑Scores signifikant verbessert, während die Antwortzeichenkette erhalten bleibt – ein wertvolles Merkmal für die Nachvollziehbarkeit von KI-Entscheidungen. Besonders beeindruckend ist die Leistung von ACoRN auf Datensätzen, die viele fehlerhafte Dokumente enthalten, was die Anwendbarkeit in realen Szenarien deutlich erhöht.