Neuer Bayesianischer Klassifikator nutzt neuronale Feature‑Darstellungen
In der Klassifikation von Tabellendaten haben Bayessche Netzwerkklassifikatoren lange Zeit überzeugt, weil sie schnell und speichereffizient arbeiten und gleichzeitig leicht zu erklären sind. Ihre Leistung wird jedoch durch die Explosion der Parameter und die damit verbundene Datensparsität stark eingeschränkt. Dadurch können sie nur geringe Feature‑Abhängigkeiten modellieren und haben Schwierigkeiten, die Wahrscheinlichkeiten komplexer realer Daten zu extrapolieren.
Die neue Studie schlägt ein völlig neues Paradigma vor: anstelle von klassischen Parametern werden für jeden Feature‑Wert sogenannte Verteilungsdarstellungen gelernt – ähnlich den Wort‑Embeddings in der Sprachverarbeitung oder den Graph‑Embeddings in Netzwerkanalysen. Diese Darstellungen fassen die semantische Nähe zwischen verschiedenen Features zusammen, indem sie die beobachteten Ko‑Vorkommensmuster in den Trainingsdaten nutzen. Dadurch kann das Modell die Auftretenswahrscheinlichkeiten für neue Test‑Beispiele zuverlässig extrapolieren.
Als konkretes Beispiel wird der K‑Abhängigkeits‑Bayessche Klassifikator (KDB) neu interpretiert und in eine neuronale Version namens NeuralKDB überführt. Ein spezielles neuronales Netzwerk lernt die Verteilungsdarstellungen der Feature‑Werte und parametrisiert die bedingten Wahrscheinlichkeiten zwischen abhängigen Features. Ein effizienter SGD‑Algorithmus trainiert das Modell, sodass die Komplexität nicht unnötig steigt.
Die umfangreichen Experimente auf 60 UCI‑Datensätzen zeigen, dass NeuralKDB hochgradige Feature‑Abhängigkeiten besser erfasst und die Klassifikationsleistung deutlich über den bisherigen Bayesschen Ansätzen liegt. Damit eröffnet die Arbeit einen vielversprechenden Weg, die Grenzen herkömmlicher Bayesscher Netzwerke zu überwinden und komplexe Daten zuverlässig zu klassifizieren.