Cold‑RL: KI‑gesteuerte Cache‑Entfernung für NGINX verbessert Trefferquote um 146 %

Cold‑RL ist die erste Offline‑Reinforcement‑Learning‑Lösung, die die klassische LRU‑Cache‑Entfernung in NGINX ersetzt. Durch den Einsatz eines duellierenden Deep‑Q‑Netzwerks, das in einem ONNX‑Sidecar läuft, kann Cold‑RL innerhalb eines strengen Mikrosekunden‑Budgets entscheiden, welche Objekte aus dem Cache entfernt werden sollen.

Bei jeder Eviction‑Anfrage wählt Cold‑RL die K am wenigsten zuletzt genutzten Objekte aus, sammelt sechs leichtgewichtige Merkmale – Alter, Größe, Trefferzähler, Inter‑Arrival‑Zeit, verbleibende TTL und letzte RTT zum Ursprung – und liefert ein Bit‑Mask‑Set von zu löschenden Objekten. Sollte die Berechnung 500 µs überschreiten, greift sofort die native LRU‑Strategie zurück, sodass die Service‑Level‑Objectives (SLOs) stets eingehalten werden.

Die Policy wird offline trainiert, indem NGINX‑Zugriffsprotokolle durch einen Cache‑Simulator replayed werden. Für jedes Objekt, das vor Ablauf der TTL erneut angefragt wird, erhält es einen Punkt. In Tests gegen LRU, LFU, größenbasierte und adaptive LRU‑Strategien zeigte Cold‑RL bei einem 25 MB‑Cache eine Trefferquote von 0,3538 gegenüber 0,1436 der besten klassischen Methode – ein Gewinn von 146 %. Bei 100 MB stieg die Quote von 0,7530 auf 0,8675 (15 % mehr), und bei 400 MB erreichte Cold‑RL die gleiche Leistung wie die traditionellen Ansätze.

Die Inferenz verursacht weniger als 2 % CPU‑Überschuss und hält die 95‑Perzentil‑Eviction‑Latenz innerhalb des vorgegebenen Budgets. Damit demonstriert Cold‑RL, dass Reinforcement‑Learning nicht nur theoretisch, sondern praktisch in produktiven Web‑Proxy‑Umgebungen mit strengen Leistungsanforderungen einsetzbar ist.