Hi‑SAM: Hierarchisches multimodales System steigert Kaltstart‑Performance

Das neue Framework Hi‑SAM löst zwei zentrale Probleme der multimodalen Empfehlung: die ineffiziente Tokenisierung von Text‑ und Bilddaten sowie die fehlende Berücksichtigung hierarchischer Strukturen in bestehenden Transformer‑Architekturen. Durch die Kombination eines disentangled Semantic Tokenizers (DST) und eines Hierarchical Memory‑Anchor Transformers (HMAT) erreicht Hi‑SAM eine kompaktere und aussagekräftigere Repräsentation von Nutzern, Items und deren Modalitäten.

Der DST nutzt eine geometrie‑bewusste Ausrichtung, um Text‑ und Bildfeatures in einen gemeinsamen Raum zu bringen. Anschließend erfolgt eine stufenweise Quantisierung: Gemeinsame Codebooks fassen die übergreifenden Semantik‑Konsenspunkte zusammen, während modality‑spezifische Codebooks die feinen Details aus den Residuen extrahieren. Durch die Minimierung der gegenseitigen Information wird sichergestellt, dass die gemeinsamen und spezifischen Komponenten klar voneinander getrennt bleiben.

Der HMAT adressiert die Architektur‑Daten‑Diskrepanz, indem er die Positionskodierung in inter‑ und intra‑Item‑Subräume aufteilt und Hierarchical RoPE einsetzt. Anchor‑Tokens komprimieren jedes Item zu einer kurzen, aber informativen Repräsentation. Dadurch bleibt die Detailtreue für das aktuelle Item erhalten, während frühere Interaktionen nur über komprimierte Zusammenfassungen abgerufen werden. Experimente auf realen Datensätzen zeigen, dass Hi‑SAM die Leistung gegenüber aktuellen State‑of‑the‑Art‑Modellen verbessert, insbesondere bei Kaltstart‑Szenarien.

Hi‑SAM wurde bereits in einer großen sozialen Plattform eingesetzt und demonstriert, wie hierarchische Strukturen und multimodale Tokenisierung die Empfehlungsqualität nachhaltig steigern können. Die Ergebnisse unterstreichen die Bedeutung einer strukturierten Datenverarbeitung für skalierbare, hochpräzise Empfehlungssysteme.