Tensor-Netzwerk-basiertes Feature-Lernmodell

Ein brandneues Modell namens Feature Learning (FL) nutzt Tensor-Netzwerke, um die Auswahl von Feature‑Hyperparametern automatisch zu optimieren. Dadurch wird die bisherige, zeitaufwändige Kreuzvalidierung überflüssig.

Kernel‑basierte Lernalgorithmen sind wegen ihrer kubischen Komplexität bei großen Datensätzen oft unpraktisch. Um dieses Problem zu umgehen, werden Daten in einen hochdimensionalen Raum projiziert – mithilfe von Tensor‑Produkt‑Strukturen aus Polynomen und Fourier‑Features.

Die damit einhergehende Dimensionalitätsfluch wurde durch eine Tensor‑Netzwerk‑Reparametrisierung der Modellparameter erfolgreich überwunden. Dennoch blieb die Identifikation optimaler Feature‑Hyperparameter ungelöst.

Das FL‑Modell löst dieses Problem, indem es die Tensor‑Produkt‑Features als lernbare Canonical Polyadic Decomposition (CPD) darstellt. Durch die Nutzung dieser CPD‑Struktur kann das Modell die Hyperparameter zusammen mit den Modellparametern mittels eines Alternating Least Squares (ALS) Optimierungsverfahrens effizient erlernen.

Experimentelle Ergebnisse auf realen Datensätzen verschiedener Dimensionen und Größen zeigen, dass das FL‑Modell 3 bis 5 Mal schneller trainiert werden kann als ein herkömmliches, mit Kreuzvalidierung optimiertes Modell – ohne dabei an Vorhersagequalität einzubüßen.