PROTEUS: SLA‑orientiertes Routing mit Lagrange‑RL für Multi‑LLM‑Systeme
In modernen LLM‑Deployments variieren Kosten und Qualitätsanforderungen stark je nach Kundensegment, Tageszeit und Anfragekritikalität. Während die Systeme selbst Latenz‑SLOs direkt akzeptieren, fehlt es den LLM‑Routern bislang an einer Möglichkeit, Genauigkeitsziele in Echtzeit zu steuern. PROTEUS (Polymorphic Router for Operational Target Enforcement with Unified SLA) löst dieses Problem, indem es Genauigkeitsziele (tau) als Laufzeitparameter akzeptiert und sie in konkrete Routing‑Entscheidungen übersetzt.
