Logistische Regression: Größere Lernrate liefert schnellere Konvergenz in 2D

In einer kürzlich veröffentlichten Studie auf arXiv wird gezeigt, dass die klassische Gradient‑Descent‑Methode (GD) für die logistische Verlustfunktion bei binärer Klassifikation mit separablen Daten deutlich schneller konvergiert, wenn ein sehr großer Schritt­größen­parameter gewählt wird. Trotz der damit einhergehenden nicht‑monotonen Verlustentwicklung erreicht GD ein 1/T²‑Raten‑Verhalten, wenn die Lernrate proportional zu γ²T gewählt wird – γ sei dabei die Margin des Datensatzes.

Der neue Beitrag liefert eine besonders präzise Analyse für den Fall, dass die Daten nur zwei Dimensionen besitzen. Dort zeigt sich, dass GD mit einer ausreichend großen Lernrate einen Punkt findet, dessen Verlust kleiner als O(1/(η T)) ist, sofern die Anzahl der Iterationen T mindestens Ω(n/γ + 1/γ²) beträgt, wobei n die Stichprobengröße ist. Diese Resultate beruhen auf einer feinen Untersuchung der oszillierenden Dynamik von GD im Unterraum orthogonal zum Max‑Margin‑Klassifikator.

Ein zentrales Ergebnis ist die exakte Abschätzung der Übergangszeit τ, die GD benötigt, um von einer instabilen (nicht‑monotonen) Phase in eine stabile (monotonen) Phase überzugehen. Die Autoren liefern sowohl eine obere als auch eine zugehörige untere Schranke für τ, die bis auf logarithmische Faktoren übereinstimmen. Damit wird die Analyse als optimal betrachtet und liefert ein besseres Verständnis dafür, wie große Lernraten die Konvergenz von logistischen Regressionsmodellen beschleunigen können.