Schnelle, multiplikationsfreie Dimensionsreduktion durch gezielte Elementauswahl

In einer kürzlich veröffentlichten Studie wurde ein neuer, extrem schneller Algorithmus vorgestellt, der die Dimensionen von Daten ohne jegliche Matrixmultiplikationen reduziert. Durch die gezielte Auswahl einer Teilmenge der ursprünglichen Elemente entsteht ein kompakter Vektor, der die wesentlichen Informationen beibehält.

Dimensionsreduktion ist ein zentrales Verfahren, um Modelle zu vereinfachen, Overfitting zu verhindern und sowohl das Training als auch die Inferenz zu beschleunigen. Klassische Methoden wie die Hauptkomponentenanalyse (PCA) beruhen jedoch auf aufwändigen Matrixmultiplikationen, die auf ressourcenbeschränkten Systemen zu einem Engpass werden können. Der vorgestellte Ansatz eliminiert diesen Aufwand vollständig.

Die Auswahl der zu behaltenden Elemente erfolgt, indem die minimale mittlere quadratische Fehler (MSE) einer linearen Regression bewertet wird, die ein Zielvektor aus den ausgewählten Elementen vorhersagt. Das Ziel kann beispielsweise ein One-Hot-Label bei Klassifikationsaufgaben sein. Fehlt ein explizites Ziel, wird das Eingabevektor selbst als Rekonstruktionsziel genutzt, wodurch ein rekonstruktionsbasiertes Kriterium entsteht.

Da die Optimierung combinatorisch ist und eine vollständige Suche unpraktisch wäre, nutzt der Algorithmus ein effizientes, swap-basiertes lokales Suchverfahren. Durch die Anwendung der Matrixinversionslemma wird die Änderung des Zielwertes bei jedem Austausch eines ausgewählten und eines nicht ausgewählten Elements schnell berechnet, sodass nur Verbesserungen akzeptiert werden. Dieser Prozess wiederholt sich, bis keine weiteren Verbesserungen möglich sind.

Experimentelle Ergebnisse auf dem MNIST-Datensatz für handgeschriebene Ziffern demonstrieren die Wirksamkeit des Ansatzes. Der Algorithmus liefert eine robuste Dimensionsreduktion, die sowohl die Modellkomplexität senkt als auch die Rechenleistung erheblich reduziert, ohne die Genauigkeit zu beeinträchtigen.