SAIR: Multi-Stage ML Autoscaling mit In-Context Reinforcement Learning
SAIR ist ein neu entwickeltes Autoscaling‑Framework, das Multi‑Stage‑ML‑Inference‑Pipelines effizient skaliert. Dabei nutzt es ein großes Sprachmodell als in‑Context‑Reinforcement‑Learning‑Controller, der seine Policy online aus belohnungsmarkierten Interaktionsverläufen anpasst – ohne Gradientupdates.