Neue Skalierungsformeln für Diffusionsmodelle: Energieverbrauch exakt berechnen

In einer wegweisenden Studie haben Forscher neue Skalierungsformeln entwickelt, die den Energieverbrauch von Diffusionsmodellen für die Bildgenerierung präzise vorhersagen. Durch die Anpassung der Kaplan‑Skalierungs­gesetze an die GPU‑Rechenleistung lassen sich die FLOPs (Floating‑Point Operations) in konkrete Stromkosten umrechnen.

Die Autoren zerlegen den Inferenzprozess in drei Hauptschritte: Text‑Encoding, wiederholtes Denoising und Decoding. Dabei wird die Annahme getestet, dass die Denoising‑Operationen – die über viele Schritte hinweg ausgeführt werden – den größten Energieanteil ausmachen. Die Experimente umfassen vier führende Modelle (Stable Diffusion 2, Stable Diffusion 3.5, Flux und Qwen) auf drei NVIDIA‑GPU‑Architekturen (A100, A4000, A6000).

Mit einer Vielzahl von Konfigurationen – Auflösungen von 256 × 256 bis 1024 × 1024, Präzisionen fp16 und fp32, 10 bis 50 Iterationsschritte und unterschiedlichen Guidance‑Einstellungen – erreichte die neue Skalierungsformel innerhalb jeder Architektur ein R‑Quadrat von über 0,9. Noch beeindruckender ist die starke Generalisierung über verschiedene GPUs hinweg: die Rangkorrelationen bleiben hoch, sodass Energieabschätzungen für bislang nicht getestete Modell‑Hardware‑Kombinationen zuverlässig möglich sind.

Die Ergebnisse bestätigen, dass die Inferenz von Diffusionsmodellen stark rechnerintensiv ist und liefern ein praktisches Werkzeug, um sowohl den Rechenaufwand als auch die damit verbundenen CO₂‑Emissionen exakt zu quantifizieren. Damit bietet die Studie einen wichtigen Beitrag zur nachhaltigen Entwicklung und Optimierung von KI‑Anwendungen im Bereich der Bildgenerierung.