Orion-Bix: Bi-Axial Attention revolutioniert Tabellendaten im Few-Shot-Lernen

Tabellendaten bilden die Basis der meisten realen Machine‑Learning‑Anwendungen, doch die Entwicklung von Modellen, die mit gemischten numerischen und kategorialen Feldern, schwacher Feature‑Struktur und begrenzten gelabelten Daten umgehen können, bleibt eine große Herausforderung. Orion‑Bix, ein neues Tabellendaten‑Foundation‑Model, löst dieses Problem, indem es biaxial attention mit meta‑gelerntem in‑context reasoning kombiniert.

Der Encoder von Orion‑Bix wechselt zwischen standard, gruppiert, hierarchisch und relationaler Aufmerksamkeit und verbindet die jeweiligen Ausgaben über eine Multi‑CLS‑Zusammenfassung. Auf diese Weise erfasst das Modell sowohl lokale als auch globale Abhängigkeiten effizient und ohne übermäßigen Rechenaufwand.

Ein label‑bewusster ICL‑Head passt sich sofort an neue Aufgaben an und nutzt hierarchische Entscheidungsroutings, um große Label‑Spaces zu handhaben. Dadurch bleibt das Modell flexibel und skalierbar, selbst wenn die Anzahl der möglichen Labels stark ansteigt.

Die Meta‑Training‑Phase erfolgt auf synthetisch generierten, strukturell vielfältigen Tabellen, die mit kausalen Prioritäten angereichert sind. Dadurch erwirbt Orion‑Bix übertragbare induktive Voreinstellungen, die sich auf heterogene Daten übertragen lassen und die Generalisierung verbessern.

In öffentlichen Benchmarks übertrifft Orion‑Bix Gradient‑Boosting‑Baselines und bleibt mit den führenden Tabellendaten‑Foundation‑Modellen konkurrenzfähig. Das Modell demonstriert, dass biaxial attention in Kombination mit episodischem Meta‑Training robuste, few‑shot‑fähige Tabellendaten‑Lösungen ermöglicht.

Orion‑Bix ist als scikit‑learn‑kompatibles Foundation‑Model verfügbar und kann kostenlos unter https://github.com/Lexsi-Labs/Orion-BiX heruntergeladen werden.