TabPFN v2: Mit Chunked-TabPFN Längere Tabellendaten ohne Vorverarbeitung meistern

Die neueste Version von TabPFN, genannt v2, übertrifft herkömmliche baumbasierte Modelle bei mehreren tabellarischen Benchmarks – ein bemerkenswertes Ergebnis, da Baumalgorithmen üblicherweise die beste Wahl für solche Daten sind.

Ein Problem der bisherigen Ansätze war die Begrenzung auf maximal 10 000 Kontext‑Tokens, weil Transformer‑Modelle quadratische Rechen- und Speicheraufwände verursachen. Statt auf Kompressionstechniken wie K‑Nearest‑Neighbors zurückzugreifen, hat das Forschungsteam eine „tiled‑block“-Strategie entwickelt, die die Aufmerksamkeitsberechnung innerhalb des TabPFN-Frameworks optimiert.

Dank dieser Innovation kann TabPFN lange Kontexte ohne jegliche Vorverarbeitung verarbeiten, und das sogar auf Standard‑GPU‑Setups. Die Wirksamkeit wurde am TabArena‑Benchmark nachgewiesen, was die Methode als ersten Ansatz positioniert, der lange tabellarische Daten effizient und ohne zusätzliche Vorverarbeitung nutzt.