Space‑Filling‑Kurven: Einfache, kommunikationsvermeidend Matrixmultiplikation

Die allgemeine Matrixmultiplikation (GEMM) bildet das Herzstück von Deep‑Learning‑ und Hochleistungsrechenanwendungen. Trotz intensiver Optimierungen in Forschung und Industrie bleibt die Feinabstimmung von Layouts, Parallelisierungsstrategien und Cache‑Blocking stark von der jeweiligen Hardware und den Matrixformen abhängig. Diese Abhängigkeit führt häufig zu „Glas‑Kiefern“ im Performance‑Profil, weil eine vollständige Abstimmung praktisch unmöglich ist.

In der vorliegenden Arbeit wird die Idee der Space‑Filling‑Kurven (SFC) neu beleuchtet. SFCs wandeln mehrdimensionale Koordinaten in eine eindimensionale Reihenfolge um und halten benachbarte Punkte im Hochdimensionalen nahe beieinander. Durch die Anwendung modernster Generalized‑Hilbert‑Kurven partitionieren die Autoren den Rechenraum der Matrixmultiplikation so, dass die resultierenden Algorithmen unabhängig von Plattform und Matrixgröße bleiben und gleichzeitig eine hohe Datenlokalität erreichen.

Darüber hinaus erweitern sie die SFC‑basierte Aufteilung auf Kommunikations‑Vermeidung (Communication‑Avoiding, CA). Durch gezielte Replikation der Eingabetensoren minimieren sie nachweislich den Datenverkehr zwischen den Speicherhierarchien. Das Ergebnis ist ein universelles, leicht einsetzbares GEMM‑Schema, das die Notwendigkeit aufwändiger, hardware‑spezifischer Tuning‑Sitzungen drastisch reduziert.