VBO-MI: Gradientbasierte Bayesianische Optimierung mit Variational Mutual Information

In vielen praxisnahen Anwendungen muss man teure, schwarze Box-Funktionen optimieren, die nur über verrauschte Messungen zugänglich sind. Traditionell wird hierfür Bayesian Optimization (BO) eingesetzt, wobei Gaussian Processes (GPs) häufig als Modell dienen. Neuere Entwicklungen zeigen, dass Bayesian Neural Networks (BNNs) als skalierbare Alternative zu GPs fungieren können, jedoch bleiben die klassischen BNN‑BO‑Frameworks durch aufwendige Posterior‑Sampling‑Schritte und die Optimierung der Akquisitionsfunktion stark belastet.

VBO‑MI (Variational Bayesian Optimization with Mutual Information) löst dieses Problem, indem es ein vollständig gradientsbasiertes BO‑Framework nutzt, das auf den neuesten Fortschritten in der variationalen Mutual‑Information‑Schätzung aufbaut. Durch die Kombination eines Actor‑Critic‑Architektur‑Designs – ein action‑net, das den Eingaberaum navigiert, und ein variational critic, der den Informationsgewinn abschätzt – entfällt die herkömmliche inner‑Loop‑Optimierung der Akquisitionsfunktion. Das Ergebnis ist eine Reduktion der Rechenkosten um bis zu 100‑fach im Vergleich zu bestehenden BNN‑BO‑Baselines.

Die Leistungsfähigkeit von VBO‑MI wurde an einer breiten Palette von Benchmarks getestet, darunter hochdimensionale synthetische Funktionen, PDE‑Optimierung, das Lunar‑Lander‑Steuerungsproblem sowie die kategoriale Pest‑Control‑Aufgabe. In allen Fällen zeigte VBO‑MI entweder gleichwertige oder bessere Optimierungsleistungen als die Vergleichsverfahren, während gleichzeitig die Skalierbarkeit und Effizienz deutlich gesteigert wurden.