ScaleGNN: 4D-Parallelität ohne Kommunikation beschleunigt GNN-Training auf GPUs

Die neueste Veröffentlichung von ScaleGNN präsentiert einen 4D‑Parallelitätsansatz, der das Training von Graph Neural Networks (GNNs) auf extrem großen Graphen ohne Kommunikationsaufwand beschleunigt. Durch die Kombination von kommunikationsfreier, verteilter Sampling‑Strategie, 3D‑Parallel‑Matrix‑Multiplikation (PMM) und klassischem Data‑Parallelismus ermöglicht ScaleGNN eine effiziente Mini‑Batch‑Verarbeitung auf Tausenden von GPUs.

Der Kern der Innovation ist ein einheitlicher Vertex‑Sampling‑Algorithmus, der jedem GPU-Prozess erlaubt, eigenständig einen lokalen Mini‑Batch – also eine Teilgraph‑Partition – zu erzeugen, ohne dass Daten zwischen den Prozessen ausgetauscht werden müssen. Diese Eigenschaft eliminiert einen der größten Engpässe in bestehenden verteilten Mini‑Batch‑Ansätzen und reduziert die Kommunikationskosten drastisch.

Zusätzlich nutzt ScaleGNN 3D‑PMM, um die Skalierbarkeit weit über das hinaus zu treiben, was mit reinem Data‑Parallelismus möglich ist. Durch gezielte Optimierungen wie das Überlappen von Sampling und Training, die Übertragung von Daten in niedrigerer Präzision, Kernel‑Fusion und das gleichzeitige Ausführen von Kommunikation und Rechenoperationen wird die Effizienz weiter gesteigert.

In umfangreichen Tests auf fünf realen Graph‑Datensätzen zeigte ScaleGNN eine starke Skalierung bis zu 2048 GPUs auf dem Perlmutter‑Cluster, 2048 GCDs auf Frontier und 1024 GPUs auf Tuolumne. Besonders beeindruckend war die 3,5‑fach höhere End‑zu‑End‑Trainingsgeschwindigkeit gegenüber dem aktuellen Stand‑der‑Kunst auf dem Dataset ogbn‑products. Diese Ergebnisse unterstreichen das Potenzial von ScaleGNN, die Grenzen des GNN‑Trainings in verteilten Umgebungen neu zu definieren.