DeepOSets beweist: Mehrere Operatoren lernen im Kontext ohne Gewichtsupdates

In der Welt des maschinellen Lernens hat sich In‑Context Learning (ICL) als bemerkenswerte Fähigkeit erwiesen: Modelle können aus Beispielen in einem Prompt lernen, ohne ihre Gewichte zu aktualisieren. Traditionell wurde ICL mit selbstaufmerksamen, autoregressiven Transformer‑Architekturen in Verbindung gebracht. Die neue DeepOSets‑Architektur hingegen verzichtet komplett auf Autoregression und Attention und kombiniert die Set‑Learning‑Methode DeepSets mit Operator‑Learning über Deep Operator Networks (DeepONets).

In einer aktuellen Studie wurde gezeigt, dass DeepOSets mit geeigneten Anpassungen zu einem Multi‑Operator‑In‑Context‑Learner wird. Das bedeutet, dass das Modell die Lösung eines völlig neuen partiellen Differentialgleichungsproblems (PDE) aus Beispiel‑Paaren von Parametern und Lösungen im Prompt rekonstruieren kann – und das ohne jegliche Gewichtsaktualisierung. Damit eröffnet DeepOSets die Möglichkeit, komplexe physikalische Prozesse in Echtzeit zu modellieren, indem lediglich neue Beispiele in den Prompt eingefügt werden.

Ein weiteres Highlight der Arbeit ist die Behauptung, dass DeepOSets ein universeller, gleichmäßiger Approximator für eine ganze Klasse kontinuierlicher Operatoren ist. Dies wäre der erste Nachweis dieser Art im Bereich des wissenschaftlichen Machine Learning. Experimentelle Tests mit Poisson‑ und Reaktions‑Diffusions‑Vorwärts- sowie Inversen Randwertproblemen demonstrieren, dass das Modell aus wenigen Kontextbeispielen präzise Lösungen vorhersagen kann. Diese Fortschritte markieren einen bedeutenden Schritt in Richtung flexibler, datenunabhängiger Modellierung komplexer physikalischer Systeme.