TinyLoRA: 13‑Parameter‑Fine‑Tuning erreicht 91,8 % bei GSM8K auf Qwen2.5‑7B

Forscher aus dem FAIR-Team von Meta, der Cornell University und der Carnegie Mellon University haben gezeigt, dass große Sprachmodelle mit erstaunlich wenigen trainierten Parametern lernen können, komplexe Rechenaufgaben zu lösen.

Die neue Technik, genannt TinyLoRA, ist eine Parameterisierung, die sich unter extremen Sharing‑Einstellungen sogar auf einen einzigen trainierbaren Parameter reduzieren lässt. Trotz dieser Minimalisierung erreicht das Verfahren beeindruckende Ergebnisse.

Bei der Anwendung auf das Qwen2.5‑7B‑Modell erzielte TinyLoRA eine Genauigkeit von 91,8 % auf dem GSM8K‑Benchmark, einem Standardtest für arithmetische Problemlösung. Damit demonstriert die Methode, dass effizientes Fine‑Tuning mit nur 13 trainierbaren Parametern möglich ist.

Die Studie unterstreicht, dass die Größe des Modells nicht zwangsläufig die Anzahl der benötigten Anpassungsparameter bestimmt und eröffnet neue Wege für ressourcenschonende KI‑Entwicklung.