tLoRA: Effizientes Multi-LoRA-Training mit elastischen Shared Super-Modellen
In der Welt der großen Sprachmodelle (LLMs) hat sich die Low‑Rank‑Adaptation (LoRA) als Standardverfahren etabliert, um Modelle kostengünstig zu verfeinern. Immer mehr Rechencluster führen gleichzeitig zahlreiche LoRA‑Trainingsjobs auf demselben, eingefrorenen Backbone aus. Diese heterogenen Jobs unterscheiden sich in Adapter‑Rank, Batch‑Größe und Ressourcenbedarf, sodass herkömmliche Batch‑Ansätze häufig Synchronisations‑Staus, Kommunikations‑Overhead und langsame Jobs verursachen.
