Adaptive komplexe Abfrageoptimierung mittels Reinforcement Learning

In der heutigen Welt der Retrieval‑Augmented‑Generation (RAG) Systeme spielt die Optimierung von Suchanfragen eine entscheidende Rolle. Während Reinforcement‑Learning‑basierte Ansätze in letzter Zeit vielversprechende Fortschritte bei der Verbesserung einzelner Abfragen erzielt haben, bleiben komplexe, mehrteilige Nutzeranfragen weitgehend unerforscht. Solche Anfragen erfordern oft mehrere parallele und sequentielle Suchstrategien, um Mehrdeutigkeiten zu klären und die Anfrage sinnvoll zu zerlegen.

Die direkte Anwendung von Reinforcement Learning auf diese komplexen Fälle führt zu erheblichen Problemen: Die Bestimmung der optimalen Anzahl von Unteranfragen, das effektive Re‑Ranking und die Zusammenführung der zurückgegebenen Dokumente vergrößern den Suchraum enorm und erschweren die Gestaltung von Belohnungsfunktionen. Das Ergebnis ist häufig eine instabile Trainingsphase.

Um diesen Herausforderungen zu begegnen, wurde das neue Framework Adaptive Complex Query Optimization (ACQO) vorgestellt. ACQO besteht aus zwei Kernkomponenten:

• Adaptive Query Reformulation (AQR) – entscheidet dynamisch, wann eine Anfrage in mehrere Teilanfragen zerlegt werden soll.
• Rank‑Score Fusion (RSF) – sorgt für robuste Ergebnisaggregation und liefert stabile Belohnungssignale für den Lernagenten.

Zur Stabilisierung des Trainingsprozesses nutzt ACQO einen Curriculum‑Reinforcement‑Learning‑Ansatz. Dabei werden die Agenten schrittweise mit zunehmend komplexeren Anfragen konfrontiert, wodurch die Lernkurve geglättet und die Konvergenz verbessert wird.

Umfangreiche Experimente zeigen, dass ACQO die Leistung von RAG‑Systemen signifikant steigert, indem es die Notwendigkeit für manuelle Query‑Engineering‑Schritte reduziert und gleichzeitig die Qualität der zurückgegebenen Dokumente erhöht.