EDGC: Dynamische Gradientenkompensation steigert LLM-Trainingseffizienz um bis zu 46 %
Das Training großer Sprachmodelle (LLMs) erfordert enorme Rechenleistung und Speicher. Trotz verteilter Trainingsmethoden bleibt die Kommunikation zwischen den Knoten ein erheblicher Engpass. Traditionelle Kompressionsv…