PROTEUS: SLA‑orientiertes Routing mit Lagrange‑RL für Multi‑LLM‑Systeme
In modernen LLM‑Deployments variieren Kosten und Qualitätsanforderungen stark je nach Kundensegment, Tageszeit und Anfragekritikalität. Während die Systeme selbst Latenz‑SLOs direkt akzeptieren, fehlt es den LLM‑Routern…