Ein einzelner Datensatz reicht: Tabellarische Modelle generalisieren überraschend

In der Welt der tabellarischen KI wird zunehmend auf In‑Context‑Learning gesetzt, bei dem Modelle während der Inferenz mit einer Reihe von (x,y)-Paaren als Kontext arbeiten und neue Eingaben vorhersagen, ohne ihre Gewichte zu aktualisieren. Eine neue Arbeit von Forschern auf arXiv (2511.09665v1) stellt die bisher verbreitete Annahme in Frage, dass für eine breite Generalisierung große synthetische Korpora oder umfangreiche reale Datensätze erforderlich sind.

Die Autoren zeigen, dass ein relativ kleiner Datenumfang bereits ausreicht. Durch selbstüberwachtes Vortrainieren auf nur einer einzigen realen Tabelle erzielen die Modelle überraschend starke Transferleistungen über heterogene Benchmarks hinweg. Durch systematisches Vortrainieren und Evaluieren an vielen unterschiedlichen Datensätzen analysieren sie, welche Datenmerkmale für die Entwicklung von Tabular Foundation Models (TFMs) entscheidend sind.

Besonders hervorzuheben ist die Erkenntnis, dass die Anzahl und Qualität der aus einem Datensatz ableitbaren Aufgaben das Schlüsselmerkmal für die Leistung im Nachlauf ist. Diese Ergebnisse legen nahe, dass die Entwicklung von TFMs nicht zwingend auf riesige Datensammlungen angewiesen ist, sondern vielmehr auf die Gestaltung vielfältiger Lernaufgaben aus vorhandenen Tabellen.