GrADS: Gradient-basierte Datenauswahl steigert LLM-Fine‑Tuning‑Effizienz
Die neueste Veröffentlichung auf arXiv (2511.08620v1) präsentiert GrADS, einen selbstadaptiven, gradienten‑bewussten Ansatz zur Auswahl von Trainingsdaten für das supervised fine‑tuning (SFT) großer Sprachmodelle (LLMs). Durch die Analyse der Gradienten aus einer Vortrainingsphase identifiziert GrADS gezielt die Beispiele, die den Lernprozess am stärksten fördern, und reduziert damit die Menge an benötigten Daten erheblich.
