Partition Trees: Bedingte Dichteschätzung in beliebigen Ergebnisräumen

Ein neues, tree-basiertes Verfahren namens Partition Trees wurde vorgestellt, das die bedingte Dichteschätzung für beliebige Ergebnisräume ermöglicht. Dabei werden sowohl kontinuierliche als auch kategoriale Variablen in einer einheitlichen Formulierung berücksichtigt.

Partition Trees modellieren die bedingten Verteilungen als stückweise konstante Dichten auf datenadaptiven Partitionen. Das Modell lernt die Baumstruktur, indem es die bedingte negative Log-Likelihood direkt minimiert. Dadurch entsteht ein skalierbares, nichtparametrisches Verfahren, das keine Annahmen über die Zielverteilung trifft.

Als Erweiterung wurde Partition Forests eingeführt, ein Ensemble, das die bedingten Dichten der einzelnen Bäume mittelt. Diese Technik erhöht die Stabilität und Genauigkeit der Schätzungen.

In experimentellen Tests zeigte Partition Trees eine verbesserte probabilistische Vorhersage im Vergleich zu CART-ähnlichen Bäumen und erzielte Leistungen, die mit den führenden probabilistischen Baummethoden und Random Forests konkurrieren oder diese sogar übertreffen. Das Verfahren bewies zudem Robustheit gegenüber redundanten Merkmalen und heteroschedastischem Rauschen.