SLOFetch: Komprimierte, hierarchische Instruktionsvorhersage für Cloud‑Mikroservices

In modernen Rechenzentren, in denen vernetzte Dienste auf komplexen Softwareschichten und Mikroservice‑Orchestrierung bauen, steigen die Anweisungs­spuren und verursachen Front‑End‑Stalls, die die End‑zu‑End‑Latenz und den Energieverbrauch erhöhen. Mit SLOFetch wird dieses Problem angegangen, indem ein neues Prefetch‑Design vorgestellt wird, das speziell auf Service‑Level‑Objectives (SLOs) und selbstoptimierende Systeme zugeschnitten ist.

Das Konzept baut auf dem bereits existierenden Entangling Instruction Prefetcher (EIP) auf und erweitert ihn um einen komprimierten Eintrag, der bis zu acht Zieladressen um eine Basisadresse in nur 36 Bit zusammenfasst. Durch die Ausnutzung räumlicher Clusterung wird die Speichergöße drastisch reduziert, ohne die Präzision zu verlieren.

Ein weiteres Schlüsselelement ist die hierarchische Metadatenspeicherung: Nur die am häufigsten abgefragten Einträge verbleiben im L1‑Cache, während der Großteil der Metadaten in tieferen Ebenen virtualisiert wird. Ergänzt wird das System durch einen leichtgewichtigen Online‑ML‑Controller, der die Rentabilität von Prefetches anhand von Kontextmerkmalen bewertet und einen bandit‑angepassten Schwellenwert verwendet.

In Tests mit typischen Datenzentrenanwendungen liefert SLOFetch die gleichen Geschwindigkeitsvorteile wie EIP, benötigt jedoch deutlich weniger On‑Chip‑Speicher. Gleichzeitig steigert es die Effizienz von vernetzten Diensten in der heutigen KI‑gestützten Umgebung, indem es die Latenz senkt und den Energieverbrauch reduziert.