Rudder: LLM-Agenten steuern Prefetching in verteiltem GNN-Training

In der Welt der Graph Neural Networks (GNNs) ist das Training großer Modelle ein komplexes Unterfangen. Traditionell werden dabei Nachbarn eines Knotens bis zu einer festen Distanz gezogen, was bei verteilten Graphen zu häufigen, unregelmäßigen Kommunikationsanforderungen führt. Diese Störungen bremsen den Fortschritt des Trainings und werden zusätzlich durch sich ständig ändernde Graphstrukturen, Verteilungsmuster, Stichproben- und Batchparameter sowie Caching-Strategien noch verschärft.

Um diesen Herausforderungen zu begegnen, präsentiert das neue Modul Rudder, das in das führende AWS DistDGL-Framework integriert ist. Rudder nutzt autonome Large Language Model (LLM)-Agenten, um entfernte Knoten intelligent vorab zu laden und so die Kommunikation drastisch zu reduzieren. Im Gegensatz zu herkömmlichen Heuristiken oder statischen Prefetching-Methoden kann das System dank der in LLMs beobachteten In-Context-Learning-Fähigkeiten dynamisch auf wechselnde Bedingungen reagieren.

Die Leistungsfähigkeit von Rudder wurde auf dem NERSC Perlmutter-Supercomputer unter Einsatz verschiedener Standard-Datensätze und unbekannter Konfigurationen getestet. Die Ergebnisse sind beeindruckend: Im Vergleich zum Basis-Setup von DistDGL ohne Prefetching konnte die End-to-End-Trainingsleistung um bis zu 91 % gesteigert werden. Im Vergleich zu statischem Prefetching verbesserte sich die Performance um 82 % und die Kommunikationslast sank um mehr als die Hälfte.

Der Quellcode von Rudder ist öffentlich zugänglich und kann unter GitHub eingesehen werden. Diese Entwicklung markiert einen bedeutenden Schritt in Richtung effizienterer, skalierbarer GNN-Trainingsprozesse, die sich selbst an die dynamischen Anforderungen großer Graphen anpassen können.