TOAST: Schnelles, skalierbares Auto-Partitionieren von ML-Modellen

Die neueste Veröffentlichung auf arXiv (2508.15010v1) stellt TOAST vor – ein automatisiertes Partitionierungssystem, das große Machine‑Learning‑Modelle schnell und skalierbar über verteilte Beschleuniger hinweg verteilt.

Herkömmliche Auto‑Partitioner kämpfen häufig mit Speicher‑Grenzen oder einer exponentiell wachsenden Suchraumgröße. TOAST löst dieses Problem, indem es eine statische Compiler‑Analyse kombiniert mit einem Monte‑Carlo‑Tree‑Search. Die Analyse reduziert den Entscheidungsraum, indem sie Tensor‑Dimensionen identifiziert, die identisch aufgeteilt werden müssen, und Konflikte aufzeigt, die gelöst werden müssen.

Durch diese gezielte Reduktion entdeckt TOAST bislang unbekannte, überlegene Partitionierungen und übertrifft damit führende industrielle Methoden auf einer Vielzahl von Hardware‑Plattformen und Modellarchitekturen. Der gesamte Prozess ist vollständig automatisiert, sodass selbst sehr komplexe und große Modelle ohne manuellen Eingriff optimal verteilt werden können.

Die Ergebnisse zeigen, dass TOAST nicht nur schneller arbeitet, sondern auch Speicher‑Fehler vermeidet und die Leistung der Modelle verbessert – ein bedeutender Fortschritt für die Praxis der verteilten KI‑Inferenz und -Training.