Moderate Summary Injection Boosts RAG Recall, Excessive Lowers Precision

In einer kürzlich veröffentlichten Studie zum Thema Retrieval‑Augmented Generation (RAG) wurde gezeigt, dass die Technik des „Contextualized Chunking“ – bei der Zusammenfassungen in die Vektoren eingebettet werden – das Erinnerungsvermögen der Modelle signifikant steigern kann. Durch die gezielte Injektion moderater Zusammenfassungen konnte die Recall‑Rate um 18 % erhöht werden.

Allerdings wurde auch ein kritischer Schwellenwert identifiziert: Sobald die Injektionsrate einen bestimmten Punkt überschreitet (CIR > 0,4), führt die damit einhergehende „Vektor‑Dilution“ dazu, dass lokale Inhalte verdrängt werden. In diesem Bereich sinkt die Präzision um 22 % bei spezifischen Anfragen, was die Effektivität der RAG‑Modelle stark beeinträchtigt.

Die Autoren schlagen ein theoretisches Rahmenwerk vor, das es ermöglicht, das optimale Verhältnis zwischen Injektion und Präzision zu berechnen. Damit soll ein Gleichgewicht gefunden werden, das sowohl die Recall‑Rate maximiert als auch die Präzision schützt.