MPZCH: Zero‑Collision‑Hash verbessert Embedding‑Qualität in Recommender‑Systemen

In großen Empfehlungssystemen sind Embedding‑Tabellen entscheidend, um hochdimensionale kategoriale Merkmale in dichte Vektoren zu übersetzen. Mit wachsendem ID‑Spektrum führen klassische hashbasierte Indizierungsmethoden jedoch zu Kollisionen, die die Modellleistung und Personalisierung mindern. Die neue Technik Multi‑Probe Zero Collision Hash (MPZCH) nutzt lineares Probing, um diese Kollisionen effektiv zu vermeiden und oft vollständig zu eliminieren – ohne die Effizienz zu beeinträchtigen.

MPZCH arbeitet mit Hilfstensoren und leistungsstarken CUDA‑Kernen, um konfigurierbare Probe‑ und Eviction‑Strategien umzusetzen. Durch das gezielte Entfernen veralteter IDs und das Zurücksetzen neu zugewiesener Slots verhindert die Methode das typische „stale‑Embedding“-Problem, das bei herkömmlichen Hash‑Ansätzen auftritt. So können neue Features von Grund auf lernen, ohne von alten Werten beeinflusst zu werden.

Trotz des zusätzlichen Overheads hält MPZCH die Trainings‑QPS und die Inferenz‑Latenz auf einem Niveau, das mit bestehenden Lösungen vergleichbar ist. Umfangreiche Online‑Tests zeigen, dass MPZCH bei Benutzer‑Embeddings tatsächlich keine Kollisionen mehr erzeugt und die Frische sowie Qualität der Item‑Embeddings deutlich steigert.

Die Lösung ist bereits als Teil der Open‑Source‑Bibliothek TorchRec verfügbar und steht der Community zur Verfügung, um die Performance von Empfehlungssystemen weiter zu verbessern.