Kompakte Modelle meistern Suchaufgaben: Orion zeigt, dass Lernen reicht

Die Suche nach relevanten Informationen muss mehr als nur Mustererkennung sein – sie erfordert das Durchdenken von Teilbeweisen und das Anpassen der Strategie, sobald neue Daten auftauchen. Traditionelle neuronale Retriever fehlen diese Denkfähigkeit, große Sprachmodelle bieten zwar semantische Tiefe, sind aber kostenintensiv, und Methoden wie Query‑Rewriting beschränken sich auf statische Transformationen. Dadurch bleiben bestehende Ansätze hinter den Anforderungen komplexer Nutzeranfragen zurück.

Mit dem neuen Trainingsframework Orion wird gezeigt, dass kompakte Modelle (350 M–1,2 B Parameter) durch gezieltes Lernen effektive Suchstrategien entwickeln können. Orion kombiniert drei Schlüsselschritte: erst synthetische Suchpfade erzeugen und das Modell mit Supervised‑Fine‑Tuning dazu bringen, vielfältige Erkundungsmuster zu nutzen; zweitens ein Reinforcement‑Learning‑Signal, das gezielt die Verbesserung von Suchanfragen und das Zurückverfolgen von Fehlern belohnt; drittens eine inference‑time Beam‑Search, die die während des RL erlernten Selbstreflexion nutzt.

Erstaunlich ist, dass das 1,2‑B‑Modell, das lediglich 3 % der verfügbaren Trainingsdaten verwendet, bei SciFact bereits 77,6 % Erfolge erzielt – im Vergleich zu 72,6 % der bisherigen Retriever. Auf BRIGHT erreicht es 25,2 % (gegen 22,1 %) und auf NFCorpus 63,2 % (gegen 57,8 %). Auch bei FEVER, HotpotQA und MSMarco bleibt es konkurrenzfähig. In fünf von sechs Benchmarks übertrifft Orion Retriever, die bis zu 200‑400 mal größer sind.

Diese Ergebnisse verdeutlichen, dass die Leistungsfähigkeit von Suchsystemen nicht allein vom Modellumfang abhängt. Stattdessen kann sie durch das Training von Modellen zum Suchen, Reflektieren und Überarbeiten entstehen – ein vielversprechender Ansatz für die Zukunft der Information Retrieval‑Technologie.