Transformers beschleunigen Multi-Objective-Optimierung um bis zu 1000x

In einer wegweisenden Veröffentlichung präsentiert das Forschungsteam TAMO, eine vollständig amortisierte, universelle Policy für die Optimierung von Black-Box-Problemen mit mehreren konkurrierenden Zielen. Durch den Einsatz einer Transformer-Architektur kann TAMO auf unterschiedliche Eingabe- und Zieldimensionen reagieren und sich ohne erneutes Training auf neue Aufgaben übertragen.

Die Policy wird mittels Reinforcement Learning vortrainiert, wobei die kumulative Verbesserung des Hypervolumens über komplette Trajektorien maximiert wird. Dabei berücksichtigt das Modell die gesamte Abfragehistorie, um die Pareto-Grenze zu approximieren. Im Testbetrieb liefert TAMO die nächste Designvorschlag in einem einzigen Forward‑Pass.

In umfangreichen synthetischen Benchmarks sowie realen Anwendungen reduziert TAMO die Vorschlagzeit um 50 bis 1000‑fach im Vergleich zu herkömmlichen Methoden, während es die Pareto‑Qualität bei knappen Evaluationsbudgets gleichwertig oder sogar besser hält. Diese Ergebnisse zeigen, dass Transformer‑Modelle die Multi‑Objective‑Optimierung vollständig in‑Context durchführen können, ohne dass für jede Aufgabe separate Surrogates oder Akquisitionsfunktionen angepasst werden müssen.

Die Einführung von TAMO markiert einen bedeutenden Fortschritt in der Optimierungstheorie und eröffnet neue Möglichkeiten für die schnelle, effiziente Lösung komplexer, mehrdimensionaler Optimierungsaufgaben in Bereichen von der Medikamentenentwicklung bis zu autonomen Systemen.