SAINT-Embeddings verbessern keine Attrition‑Vorhersage bei Baum‑Modellen

Die Fluktuation von Mitarbeitern stellt Unternehmen vor enorme Kosten‑ und Produktivitätsprobleme. Eine präzise Vorhersage von Kündigungsrisiken ermöglicht gezielte Bindungsmaßnahmen, doch klassische Machine‑Learning‑Modelle stoßen bei komplexen Interaktionen in tabellarischen HR‑Datensätzen an ihre Grenzen.

In einer aktuellen Studie wurde der Transformer‑Ansatz SAINT – der mithilfe von Self‑Attention und Intersample‑Attention semantische Beziehungen zwischen kategorialen Merkmalen erfasst – mit den leistungsstarken Baum‑Modellen XGBoost und LightGBM kombiniert. Dabei wurden sowohl SAINT als alleinstehender Klassifikator als auch als Feature‑Extractor für die Baum‑Modelle getestet.

Die Ergebnisse überraschten die Forscher: Die reinen Baum‑Modelle erzielten die höchste Vorhersagegenauigkeit und die beste Generalisierung. Die hybriden Modelle, die SAINT‑Embeddings als zusätzliche Features einsetzten, verbesserten die Leistung nicht und führten sogar zu einer deutlichen Verringerung der Interpretierbarkeit. Ein möglicher Grund dafür ist, dass Baum‑Algorithmen Schwierigkeiten haben, dichte, hochdimensionale Embeddings effektiv zu nutzen.

Die Studie zeigt, dass der Einsatz von SAINT‑Embeddings in Kombination mit Baum‑Modellen für die Vorhersage von Mitarbeiterfluktuation derzeit nicht von Vorteil ist. Weitere Untersuchungen sind nötig, um zu verstehen, unter welchen Bedingungen hybride Ansätze sinnvoll sein könnten.