MicroGPT: Ein 200‑Zeilen‑Python‑Script, das einen GPT trainiert und nutzt

Mit dem neuen Projekt MicroGPT hat der KI‑Forscher Andrej Karpathy ein völlig eigenständiges, 200‑Zeilen‑langes Python‑Script veröffentlicht, das ohne externe Bibliotheken auskommt und einen GPT‑ähnlichen Sprachmodell trainieren sowie abfragen kann.

Das Skript enthält alles, was für ein kleines Sprachmodell nötig ist: einen Datensatz aus Dokumenten, einen Tokenizer, einen eigenen Autograd‑Engine, eine GPT‑2‑ähnliche neuronale Netzwerkarchitektur, den Adam‑Optimierer sowie komplette Trainings‑ und Inferenzschleifen. Alles ist in einer einzigen Datei verpackt, was die Effizienz und Portabilität maximiert.

MicroGPT ist das Ergebnis einer langen Reise durch Projekte wie micrograd, makemore und nanogpt und verkörpert Karpathys Jahrzehnt‑lange Bestrebung, große Sprachmodelle auf ihre wesentlichen Bausteine zu reduzieren. Das Ergebnis ist ein schlankes, aber leistungsfähiges Tool, das die Komplexität von LLMs auf ein Minimum reduziert.

Der komplette Quellcode steht als GitHub‑Gist zur Verfügung: microgpt.py. Zusätzlich findet man das Projekt auf der offiziellen Seite karpathy.ai/microgpt.html und als Google‑Colab‑Notebook, sodass man sofort loslegen kann.

Für das Training nutzt MicroGPT einen einfachen Datensatz von 32.000 Namen, jeweils eine Zeile pro Namen. Falls die Datei input.txt nicht vorhanden ist, lädt das Skript sie automatisch von GitHub herunter. Dieser leichte Datensatz demonstriert die Funktionsweise des Modells und lässt sich leicht durch eigene Daten ersetzen.