KANs profitieren von schnellen Aktivierungen und trigonometrischen Funktionen

Seit vielen Jahren entwickeln Forscher neuronale Netzwerke, die auf dem Kolmogorov‑Arnold‑Repräsentationstheorem (KART) basieren. Dieses Theorem wurde ursprünglich zur Lösung von Hilberts 13. Problem geschaffen und bildet heute die Grundlage für die aufkommenden Kolmogorov‑Arnold‑Netze (KANs). Durch die Nutzung von KART können KANs komplexe Funktionen mit einer einzigen Schicht approximieren, was sie besonders attraktiv für die Forschung macht.

Bislang wurden vor allem polynomielle Basisfunktionen wie B‑Splines oder Radial Basis Functions (RBFs) in KANs eingesetzt. Diese Funktionen sind jedoch nicht vollständig von GPUs unterstützt und gelten daher als weniger beliebt. Sie führen zu höheren Rechenkosten und verlängern die Trainingszeit, was die praktische Anwendbarkeit einschränkt.

In der vorliegenden Arbeit wird ein neuer Ansatz vorgestellt: die Integration schneller, GPU‑freundlicher Funktionen wie ReLU sowie trigonometrischer Funktionen (sin, cos, arctan) als Basiskomponenten in KANs. Durch die Kombination dieser Funktionen wird die Rechenleistung verbessert, ohne die Modellleistung zu beeinträchtigen. Experimentelle Ergebnisse zeigen, dass die neuen Basisfunktionen die Trainingszeit verkürzen und die Generalisierungskapazität des Netzwerks erhalten oder sogar steigern.