ZeroRouter: Kosten‑effiziente, Zero‑Shot-LLM-Routing-Lösung ohne Modell‑Lock‑In

Die rasante Verbreitung von Large Language Models (LLMs) hat ein fragmentiertes und ineffizientes Ökosystem geschaffen, in dem die nahtlose Integration neuer Modelle zu einem erheblichen Engpass wird – ein Zustand, den die Autoren als „Model Lock‑In“ bezeichnen.

Aktuelle Routing‑Frameworks verlangen umfangreiches, kostenintensives Retraining, was die Skalierbarkeit und Anpassungsfähigkeit stark einschränkt. Diese Notwendigkeit für vollständige Neuausrichtung behindert die schnelle Einführung neuer Modelle und führt zu unnötigen Kosten und Verzögerungen.

ZeroRouter stellt ein neues Paradigma vor, das dieses Problem löst. Durch die Nutzung eines universellen latenten Raums – einer modellunabhängigen Darstellung der Schwierigkeit einer Anfrage – trennt das System die Charakterisierung der Anfrage von der Modellprofilierung. Dadurch können neue Modelle ohne vollständiges Retraining in das System aufgenommen werden, was einen Zero‑Shot‑Onboarding-Prozess ermöglicht.

Das Framework kombiniert einen kontextsensitiven Prädiktor, der Anfragen in den universellen Raum abbildet, mit einem Dual‑Mode‑Optimizer, der Genauigkeit, Kosten und Latenz ausbalanciert. In umfangreichen Tests übertrifft ZeroRouter sämtliche Vergleichsmodelle, indem es höhere Genauigkeit bei gleichzeitig geringeren Kosten und kürzeren Antwortzeiten liefert.