Gating in RNNs wirkt wie adaptive Lernrate – neue dynamische Einsicht
Forscher haben herausgefunden, dass die Gating‑Mechanismen in rekurrenten neuronalen Netzwerken (RNNs) selbstständig ein adaptives Lernverhalten erzeugen, obwohl die Trainingsphase mit einer festen, globalen Lernrate du…