Bayessche Optimierung in hohen Dimensionen: Lineare Modelle triumphieren

In einer kürzlich veröffentlichten Studie auf arXiv wird gezeigt, dass die einfachste denkbare Variante der Bayesschen Optimierung – die lineare Regression – in hochdimensionalen Räumen die bisher dominierenden Ansätze übertrifft. Durch eine geometrische Transformation, die das Problem des Grenzverhaltens löst, erreichen Gaussian-Prozesse mit linearem Kernel Leistungen, die mit den besten Methoden auf Aufgaben mit 60 bis 6.000 Dimensionen konkurrieren.

Lineare Modelle bieten dabei mehrere entscheidende Vorteile gegenüber ihren nichtparametrischen Gegenstücken. Sie ermöglichen eine geschlossene Form der Stichprobenziehung und skalieren rechnerisch linear mit der Datenmenge. Diese Eigenschaften wurden besonders bei molekularen Optimierungsaufgaben ausgenutzt, bei denen mehr als 20.000 Beobachtungen verarbeitet wurden.

Die Ergebnisse legen nahe, dass die bisherigen Annahmen über Bayessche Optimierung in hohen Dimensionen überdacht werden sollten. Statt komplexer Strukturannahmen wie Lokalität, Sparsity oder Glattheit könnte die einfache lineare Modellierung die neue Basis für effiziente Optimierungsstrategien bilden.