Ein Kopf, viele Modelle: Cross‑Attention‑Routing für kostenbewusste LLM‑Auswahl

Die rasante Verbreitung von großen Sprachmodellen (LLMs) mit unterschiedlichen Rechenkosten und Leistungsprofilen stellt Entwickler vor die Herausforderung, skalierbare und kosteneffiziente Lösungen zu realisieren. Ein neues Routing‑Framework nutzt einen einzigen Cross‑Attention‑Kopf, um Anfrage‑ und Modell‑Embeddings gleichzeitig zu modellieren und so das optimale LLM für jede Eingabe dynamisch auszuwählen.

Der Ansatz wurde auf RouterBench getestet, einem umfangreichen Benchmark, der vielfältige LLM‑Pools und Anwendungsdomänen abdeckt. Durch die präzise Erfassung von Anfrage‑Modell‑Interaktionen kann der Router sowohl die Antwortqualität als auch die Generierungskosten vorhersagen. Das Ergebnis: bis zu 6,6 % Verbesserung der durchschnittlichen Qualitätssteigerung (AIQ) und 2,9 % höhere Spitzenleistung im Vergleich zu bestehenden Routern.

Um Leistung und Kosten ausgewogen zu halten, wird eine exponentielle Belohnungsfunktion eingesetzt, die die Stabilität bei unterschiedlichen Nutzerpräferenzen erhöht. Die Architektur bleibt dabei leichtgewichtig, generalisiert über verschiedene Domänen hinweg und übertrifft frühere Methoden in Effizienz – ein neuer Maßstab für kostenbewusste LLM‑Routing‑Lösungen.