CAR: Dynamische Dokumentenauswahl verbessert Retrieval-Augmented Generation

Retrieval-Augmented Generation (RAG) nutzt externe Dokumente, um große Sprachmodelle mit aktuellem Wissen zu versorgen. Dabei ist die Anzahl der abgerufenen Texte entscheidend: Für präzise Fragen reicht oft ein kleines, hochrelevantes Set, während breitere Anfragen mehr Kontext benötigen. Das herkömmliche, feste Top‑k‑Retrieval kann diese Variabilität nicht berücksichtigen und führt häufig zu unzureichendem oder überflüssigem Kontext.

Um dieses Problem zu lösen, wurde Cluster-based Adaptive Retrieval (CAR) entwickelt. CAR analysiert die Abstände der nach Relevanz sortierten Query‑Document‑Paarungen und erkennt den Punkt, an dem stark zusammenhängende, relevante Dokumente in weniger passende Kandidaten übergehen. Dieser Übergangspunkt dient als dynamischer Cut‑off, der die optimale Anzahl abgerufener Dokumente automatisch bestimmt.

In Tests mit dem CDP‑Korpus von Coinbase und dem öffentlichen MultiHop‑RAG‑Benchmark wählt CAR konsequent die ideale Retrieval‑Tiefe und erzielt damit die höchste TES‑Bewertung aller festen Top‑k‑Baselines. In nachgelagerten RAG‑Evaluierungen senkt CAR die Token‑Verwendung um 60 %, reduziert die End‑zu‑End‑Latenz um 22 % und verringert Halluzinationen um 10 %, ohne die Relevanz der Antworten zu beeinträchtigen.

CAR demonstriert, dass eine adaptive Dokumentenauswahl nicht nur die Effizienz von RAG‑Systemen steigert, sondern auch die Qualität der generierten Antworten verbessert. Diese Fortschritte legen den Grundstein für leistungsfähigere, ressourcenschonendere KI‑Anwendungen in der Zukunft.