Effizientes Black-Box-Tuning von LLMs mit minimalen API-Aufrufen

In einer kürzlich veröffentlichten Studie auf arXiv wird ein neues Verfahren vorgestellt, das große Sprachmodelle (LLMs) ohne direkten Zugriff auf deren Parameter anpasst. Das Konzept des Black-Box‑Tunings gewinnt an Bedeutung, weil es möglich ist, gewünschte Verhaltensweisen zu erreichen, ohne die internen Gewichte zu verändern.

Der Kern des Ansatzes ist die Verwendung eines Gaußschen Prozesses (GP) als Surrogatmodell. Durch das Erzeugen von „LogitMap‑Paaren“ – also Logit‑Werten, die aus einer kleinen, aber hochinformativen Stichprobe von API‑Aufrufen stammen – kann das Surrogat die Ausgaben des Basismodells approximieren. Dieses Surrogat dient dann als Leitfaden für das Training eines Proxy‑Modells, wodurch die Notwendigkeit direkter API‑Abfragen drastisch reduziert wird.

Die Experimente zeigen beeindruckende Ergebnisse: Die Genauigkeit eines vortrainierten Modells stieg von 55,92 % auf 86,85 %. Gleichzeitig wurden die API‑Aufrufe auf lediglich 1,38 % der bisherigen Frequenz reduziert. Damit übertrifft die Methode offline‑basierte Ansätze und erreicht gleichzeitig die Leistung von rechenintensiven, query‑intensiven Verfahren, jedoch zu deutlich geringeren Kosten.

Dieses Verfahren eröffnet einen robusten und hoch effizienten Weg, Sprachmodelle anzupassen, ohne die teuren Ressourcen von umfangreichen API‑Calls zu benötigen. Es bietet damit eine attraktive Lösung für Unternehmen und Forschungseinrichtungen, die mit großen Modellen arbeiten, aber gleichzeitig Kosten und Rechenzeit minimieren wollen.