DEBA: Architekturabhängiges Batch‑Scheduling steigert Trainingseffizienz
Ein neues Verfahren namens DEBA (Dynamic Efficient Batch Adaptation) zeigt, dass die Wahl der Batch‑Größe beim Training von neuronalen Netzen stark von der jeweiligen Architektur abhängt. Statt einer einheitlichen Anpassungsstrategie nutzt DEBA Kennzahlen wie die Varianz der Gradienten, die Variation des Gradientennorms und die Verlustvariation, um die Batch‑Größe dynamisch zu steuern.