TabDistill: Transformer‑Wissen in kompakte Netze für Few‑Shot Tabellendaten
Forscher haben eine neue Methode namens TabDistill vorgestellt, die das Vorwissen komplexer Transformer‑Modelle in schlanke neuronale Netze überträgt. Ziel ist es, die hohe Leistungsfähigkeit von Transformers bei wenigen Trainingsbeispielen zu erhalten, ohne die enorme Parameterzahl und Rechenkomplexität zu belasten.
