ZorBA: Federiertes Feintuning von LLMs ohne Gradienten – VRAM und Kommunikation optimiert
In der Welt der großen Sprachmodelle (LLMs) eröffnet federiertes Feintuning die Möglichkeit, Modelle über verteilte Clients hinweg gemeinsam zu optimieren. Doch die enorme Größe der Modelle führt zu hohen VRAM-Anforderu…