Neuer Ansatz: Präzisere Shannon-Entropie aus kleinen Datensätzen

Ein neuer, diskreter Schätzer für die Shannon‑Entropie wurde auf arXiv veröffentlicht. Der Ansatz nutzt die Zerlegbarkeit des Stichprobenraums und kombiniert sie mit Schätzungen der fehlenden Masse sowie der Anzahl bislang unbekannter Ausprägungen. Durch diese Kombination wird die negative Verzerrung, die bei kleinen Datensätzen häufig auftritt, kompensiert.

Experimentelle Tests zeigen, dass der neue Schätzer in stark unterrepräsentierten Regimen klassische Methoden übertrifft und gleichzeitig mit etablierten State‑of‑the‑Art‑Algorithmen vergleichbare Leistungen erzielt. Damit bietet er eine robuste Lösung für Anwendungen, bei denen die Anzahl der Beobachtungen kleiner ist als die mögliche Ergebnismenge.