Genaues stochastisches Optimieren von Gaußschen Prozessen in endlichen RKHS

Aktuelle Verfahren zur stochastischen Hyperparameter‑Optimierung von Gaußschen Prozessen (GPs) beruhen meist auf Annäherungen, etwa auf verzerrten stochastischen Gradienten oder auf der Verwendung von Induktionspunkten in der stochastischen variationalen Inferenz. Diese Ansätze garantieren jedoch nicht, dass man ein stationäres Minimum der wahren marginalen Likelihood erreicht.

In der vorliegenden Arbeit werden Algorithmen vorgestellt, die eine exakte stochastische Inferenz für GPs ermöglichen, wenn die zugrunde liegenden Kernel einen reproduzierenden Kernelspeicher mit moderater, endlicher Dimension erzeugen. Der Ansatz lässt sich zudem auf unendliche RKHSs erweitern, wobei die Exaktheit zugunsten einer höheren Flexibilität aufgegeben wird.

Unabhängig davon, ob der RKHS endlich oder unendlich dimensional ist, liefert die neue Methode in Experimenten bessere Ergebnisse als bestehende Verfahren – insbesondere dann, wenn Speicherbeschränkungen die Batchgröße und die Anzahl möglicher Induktionspunkte begrenzen.