BAMBO: Bayesian Block‑wise Optimierung liefert effiziente LLM‑Pareto-Sets
Die neue Methode BAMBO (Bayesian Adaptive Multi‑objective Block‑wise Optimization) löst ein langjähriges Problem in der Entwicklung großer Sprachmodelle: die effiziente Erzeugung von Pareto‑Sätzen, die die Balance zwischen Leistungsfähigkeit und Rechenaufwand abbilden. Traditionelle Ansätze, die auf Modell‑Ebene arbeiten, liefern nur wenige, oft suboptimale Lösungen, während schrittweise, layer‑weise Verfahren die Dimensionalität so stark erhöhen, dass die Suche praktisch unmöglich wird.