GRAFT: Schnellere, umweltfreundlichere Datenauswahl für neuronale Netze

Neutrale Netzwerke, die auf riesigen Datensätzen trainiert werden, verbrauchen enorme Rechenleistung und verursachen erhebliche CO₂‑Emissionen. Mit der neuen Methode GRAFT (Gradient‑Aware Fast MaxVol Technique) wird das Training effizienter und nachhaltiger gestaltet. GRAFT arbeitet in drei Schritten: Zuerst wird aus jedem Batch eine kompakte, niedrigdimensionale Feature‑Repräsentation erzeugt. Anschließend wählt ein Fast‑MaxVol‑Sampler ein kleines, aber vielfältiges Teilset aus, das den dominanten Unterraum des Batches abdeckt. Schließlich passt GRAFT die Größe dieses Teilsets dynamisch an, indem es eine Gradienten‑Annäherung nutzt, um die wichtigsten Beispiele zu identifizieren.

Durch das Training ausschließlich mit diesen gezielt ausgewählten Beispielen behält GRAFT die ursprüngliche Lernkurve bei, während die Rechenzeit, der Energieverbrauch und die CO₂‑Emissionen deutlich reduziert werden. In umfangreichen Benchmarks übertrifft GRAFT aktuelle Auswahl‑Baselines sowohl in der Genauigkeit als auch in der Effizienz. Damit bietet die Technik einen ausgewogenen Kompromiss zwischen Leistungsfähigkeit, Zeitersparnis und Umweltbelastung.

GRAFT zeigt, dass intelligente Stichprobenwahl während des Trainings nicht nur die Performance steigern, sondern auch die ökologische Nachhaltigkeit von KI‑Modellen verbessern kann. Diese Fortschritte sind ein wichtiger Schritt in Richtung ressourcenschonender, leistungsfähiger neuronaler Netzwerke.