TinyLoRA: Mit nur 13 Parametern 91 % Genauigkeit auf GSM8K erreichen

In einer neuen Studie wird gezeigt, dass Sprachmodelle mit einer extrem kleinen Anzahl von trainierbaren Parametern lernen können, komplexe Rechenaufgaben zu lösen. Das Verfahren TinyLoRA reduziert die Größe von Low‑Rank‑Adapters auf lediglich einen Parameter, wodurch die üblichen Beschränkungen von LoRA, die nicht unter die Modelldimension fallen, umgangen werden.

Durch die Anwendung von TinyLoRA auf das 8‑Billionen‑Parameter‑Modell Qwen2.5 konnte das Team eine Genauigkeit von 91 % auf dem GSM8K‑Benchmark erreichen – und das mit nur 13 trainierten Parametern in bf16, was 26 Byte entspricht. Diese Leistung entspricht mehr als 90 % der üblichen Verbesserungen, während gleichzeitig die Anzahl der zu trainierenden Parameter um das Tausendfache reduziert wird.

Die Methode wurde zudem auf anspruchsvollere Rechen‑ und Logik‑Benchmarks wie AIME, AMC und MATH500 angewendet. In allen Fällen konnte TinyLoRA die Performance nahezu vollständig replizieren, obwohl die Anzahl der trainierten Parameter drastisch gesenkt wurde. Interessanterweise erzielte die Methode nur mit Reinforcement‑Learning‑Training (RL) die starke Leistung; bei Standard‑Supervised‑Fine‑Tuning (SFT) wären 100 bis 1000‑mal größere Updates nötig gewesen, um vergleichbare Ergebnisse zu erzielen.