Tabellarische Modelle ohne reale Daten: Domain‑Anpassung Multi‑Dataset‑Embeddings

In der Ingenieurwelt sind Vorhersagemodelle bislang meist maßgeschneidert und auf kleine, isolierte Datensätze beschränkt. Das neue Papier von Forschern auf arXiv zeigt, wie man dieses Problem mit einer cleveren Domain‑Anpassung lösen kann – und zwar ohne jemals echte Ingenieurdaten zu benutzen.

Die Autoren stellen TREDBench vor, eine sorgfältig kuratierte Sammlung von 83 realen tabellarischen Regressionsdatensätzen, die sowohl aus Ingenieur- als auch aus Nicht‑Ingenieur‑Bereichen stammen. Mit dem Dataset‑Level‑Embedding von TabPFN 2.5 untersuchen sie die Struktur dieser Daten in einem gemeinsamen Repräsentationsraum. Dabei entdecken sie, dass Ingenieur‑Datensätze teilweise von Nicht‑Ingenieur‑Datensätzen unterschieden werden können, während synthetisch erzeugte Datensätze deutlich von echten Ingenieurdaten abweichen – ein deutlicher „synthetisch‑real‑Domain‑Gap“.

Um diesen Abstand zu überbrücken, entwickeln die Forscher eine Embedding‑gesteuerte Methode zur Auswahl von „ingenieurähnlichen“ synthetischen Datensätzen. Sie generieren gezielt solche Aufgaben und führen anschließend ein weiteres Pre‑Training von TabPFN 2.5 ausschließlich mit diesen synthetischen Daten durch. Auf 35 Ingenieur‑Regressionsdatensätzen erzielt die Methode signifikante Verbesserungen: Sie übertrifft TabPFN 2.5 bei 29 von 35 Aufgaben und AutoGluon bei 27 von 35, mit durchschnittlichen Daten‑Effizienzgewinnen von 1,75‑fach bzw. 4,44‑fach.

Diese Ergebnisse zeigen, dass eine gezielte Auswahl und Nutzung von synthetischen Daten die Leistungsfähigkeit von tabellarischen Grundmodellen in der Ingenieurpraxis erheblich steigern kann – und das ganz ohne reale Trainingsbeispiele. Ein vielversprechender Schritt, um große Lernmodelle auch in datenarmen, hochspezialisierten Bereichen einzusetzen.