xGR: Effiziente Generative Empfehlung bei hoher Skalierung

Empfehlungssysteme liefern enorme wirtschaftliche Vorteile, indem sie Nutzern maßgeschneiderte Vorhersagen anbieten. Die neueste Variante, die generative Empfehlung (GR), nutzt große Sprachmodelle (LLMs), um lange Nutzer‑Item‑Sequenzen besser zu verstehen und relevantere Vorschläge zu generieren.

GR unterscheidet sich jedoch deutlich von herkömmlichen LLM‑Serving‑Workloads. Während LLMs meist kurze Prompts verarbeiten, erzeugen GR‑Modelle lange Eingabe‑Sequenzen und liefern kurze, feste Ausgaben. Der Decode‑Prozess ist besonders kostenintensiv, da ein breiter Beam‑Search‑Algorithmus eingesetzt wird. Zusätzlich wird bei der Sortierung der riesigen Item‑Pool‑Größe viel Zeit verbraucht, was die Latenz stark erhöht.

Um diese Herausforderungen zu meistern, präsentiert die neue Plattform xGR ein speziell auf generative Empfehlung zugeschnittenes Serving‑System. Es vereint die Vorverarbeitung (Prefill) und den Decode‑Schritt in einer gestaffelten Berechnung und trennt die KV‑Cache‑Speicherung. Durch frühzeitiges Beenden der Sortierung, maskenbasierte Filterung von Items und die Wiederverwendung von Datenstrukturen reduziert xGR den Overhead erheblich. Darüber hinaus wird die gesamte Pipeline neu strukturiert, um mehrschichtiges Overlap und Multi‑Stream‑Parallelität zu nutzen.

Tests mit realen Empfehlungsdaten zeigen, dass xGR bei strengen Latenzanforderungen mindestens 3,49‑fachen Durchsatz im Vergleich zum aktuellen Stand der Technik erzielt. Damit setzt xGR einen neuen Maßstab für effizientes, skalierbares Serving von generativen Empfehlungssystemen.