Yann LeCun's 1989 Papier: 33 Jahre später immer noch modern

Das 1989 veröffentlichte Papier von Yann LeCun und Kollegen mit dem Titel „Backpropagation Applied to Handwritten Zip Code Recognition“ gilt als Meilenstein, weil es die früheste echte Anwendung eines neuronalen Netzes mit End‑to‑End‑Backpropagation darstellt. Trotz eines winzigen Datensatzes von 7 291 16×16‑Pixel‑Graustufenbildern von Ziffern und eines Netzes mit lediglich 1 000 Neuronen liest das Dokument heute erstaunlich modern aus. Es beschreibt ein Datenset, die Netzwerkarchitektur, die Verlustfunktion, die Optimierungsmethode und liefert die Klassifikationsfehler für Trainings‑ und Testmengen – alles, was man heute in einem Deep‑Learning‑Paper erwarten würde.

Der Autor dieser Übersetzung hat das Originalpapier nicht nur aus Spaß reproduziert, sondern auch, um anhand dieses Fallbeispiels die Entwicklung des Feldes zu beleuchten. Die Implementierung erfolgte in PyTorch und steht im GitHub‑Repository „karpathy/lecun1989‑repro“. Das ursprüngliche Netzwerk wurde in Lisp mit dem Backpropagation‑Simulator SN (später Lush) umgesetzt, während das Papier in Französisch verfasst war. Der Autor konnte aus der Syntax des Papers erkennen, dass man neuronale Netze mit einer höheren Abstraktionsebene definieren konnte – ähnlich wie heute in PyTorch.

Ein interessanter Aspekt der modernen Softwareentwicklung ist die klare Trennung in drei Hauptkomponenten: eine schnelle (C/CUDA‑basierte) Tensor‑Bibliothek, ein Autograd‑Engine, der die Ableitungen verfolgt, und ein höher‑level‑API, das die Modelldefinition erleichtert. Diese Aufteilung ist im Vergleich zu den frühen Tagen, in denen alles in einer einzigen Sprache wie Lisp geschrieben wurde, ein deutlicher Fortschritt. Durch die Reproduktion des 1989‑Papiers wird deutlich, wie weit die Technik gekommen ist, während gleichzeitig die Grundprinzipien unverändert bleiben.