SAIR: Multi-Stage ML Autoscaling mit In-Context Reinforcement Learning

SAIR ist ein neu entwickeltes Autoscaling‑Framework, das Multi‑Stage‑ML‑Inference‑Pipelines effizient skaliert. Dabei nutzt es ein großes Sprachmodell als in‑Context‑Reinforcement‑Learning‑Controller, der seine Policy online aus belohnungsmarkierten Interaktionsverläufen anpasst – ohne Gradientupdates.

Das System kombiniert Pareto‑Dominanz‑Reward‑Shaping mit einer nachweisbaren Trennschwelle, nutzt surprisal‑gesteuerte Erfahrungssuche für kontextuelle Effizienz und steuert GPU‑Raten fein granular über eine benutzer‑space CUDA‑Interception.

Die Autoren liefern eine Regret‑Analyse, die den Fehler in Retrieval‑Coverage und LLM‑Auswahl aufteilt, und zeigen damit die theoretische Basis der Methode auf.

In Experimenten mit vier ML‑Serving‑Pipelines und drei Lastmustern erzielt SAIR die besten oder gleichwertigen P99‑Latenzen und effektiven Ressourcenkosten im Vergleich zu allen getesteten Baselines. Die P99‑Latenz wird um bis zu 50 % verbessert, die effektiven Kosten um bis zu 97 % reduziert (unter GPU‑Rate‑Control‑Annahmen), die Erkennungsgenauigkeit von Engpässen liegt bei 86 % und es ist kein Offline‑Training erforderlich.