Neuer Algorithmus steigert Effizienz bei Optimierung mit KI-Vorhersagen

In einer aktuellen Veröffentlichung auf arXiv wird ein innovativer Ansatz vorgestellt, der die Effizienz von Optimierungsaufgaben mit teuren Feedback-Quellen deutlich erhöht. Der Algorithmus, genannt Prediction-Augmented Gaussian Process Upper Confidence Bound (PA‑GP‑UCB), kombiniert klassische Bayesian‑Optimierung mit modernen maschinellen Lernvorhersagen und umfangreichen Offline‑Datensätzen.

PA‑GP‑UCB nutzt sowohl einen kostenintensiven „Ground‑Truth“-Orakel – etwa menschliche Bewertungen oder physikalische Experimente – als auch einen günstigen, niedrig‑treffsichen Vorhersage‑Orakel, typischerweise ein trainiertes Machine‑Learning‑Modell. Durch die Einbindung von bereits vorhandenen Daten aus vergangenen Experimenten und Modellergebnissen kann der Algorithmus einen informativen Prior erstellen und die Vorhersagen systematisch korrigieren.

Der Kern des Ansatzes ist ein Control‑Variates‑Estimator, der aus einer gemeinsamen Gaußschen Prozess‑Posterior abgeleitet wird. Dieser reduziert die Verzerrung der Vorhersagen und verringert gleichzeitig die Unsicherheit. Theoretisch bewahrt PA‑GP‑UCB die Standard‑Regret‑Rate der klassischen GP‑UCB, erzielt jedoch einen kleineren führenden Koeffizienten, der direkt von der Vorhersagequalität und der Abdeckung der Offline‑Daten abhängt.

In Experimenten zeigte PA‑GP‑UCB eine schnellere Konvergenz als herkömmliche GP‑UCB‑Methoden sowie als einfache, vorhersagebasierte Varianten. Die Tests umfassten synthetische Benchmarks und eine reale Hypothesen‑Evaluierung, bei der menschliches Verhalten als Feedback diente und die Vorhersagen von großen Sprachmodellen stammten. Die Ergebnisse positionieren PA‑GP‑UCB als vielseitiges und ressourcenschonendes Verfahren für die Generierung von Hypothesen, wenn das Feedback teuer ist.