KI News: Kurz und klar.

Large Language Models (LLMs) verschieben den Energiebedarf zunehmend von der Trainingsphase in die Inferenz. In einer neuen Untersuchung auf der Plattform arXiv wird gezeigt, wie systemweite Designentscheidungen – etwa die Wahl der numerischen Präzision, die Batchgröße und die Anforderungsscheduling-Strategie – den Stromverbrauch eines Modells um ein Vielfaches verändern können.

In einer bahnbrechenden Studie von arXiv (2512.02056v1) wird gezeigt, wie große Sprachmodelle (LLMs) dank reversibler Architekturen deutlich speicherfreundlicher und schneller trainiert werden können. Anstatt sämtliche Zwischenergebnisse zu speichern, nutzen die neuen Modelle zeitreversible Dynamiken, um die versteckten Zustände während des Backpropagationsschritts wiederherzustellen. Dadurch entfällt der Speicherbedarf für Aktivierungen, was die Verarbeitung größerer Batchgrößen bei gleichem RAM ermöglicht und die Durchsatzrate erhöht.

Ein neues Verfahren namens DEBA (Dynamic Efficient Batch Adaptation) zeigt, dass die Wahl der Batch‑Größe beim Training von neuronalen Netzen stark von der jeweiligen Architektur abhängt. Statt einer einheitlichen Anpassungsstrategie nutzt DEBA Kennzahlen wie die Varianz der Gradienten, die Variation des Gradienten­norms und die Verlust­variation, um die Batch‑Größe dynamisch zu steuern.

Aktuelle Verfahren zur stochastischen Hyperparameter‑Optimierung von Gaußschen Prozessen (GPs) beruhen meist auf Annäherungen, etwa auf verzerrten stochastischen Gradienten oder auf der Verwendung von Induktionspunkten in der stochastischen variationalen Inferenz. Diese Ansätze garantieren jedoch nicht, dass man ein stationäres Minimum der wahren marginalen Likelihood erreicht.