SP‑Rank: Datensatz mit Rangvorlieben und Meta‑Vorhersagen

Der neue Datensatz SP‑Rank eröffnet Forschern ein umfangreiches, öffentlich zugängliches Material, um Ranking‑Algorithmen zu testen, die sowohl individuelle Präferenzen als auch Vorhersagen darüber berücksichtigen, wie andere abstimmen würden. Mit über 12.000 von Menschen generierten Einträgen deckt SP‑Rank drei Themenbereiche ab – Geografie, Filme und Gemälde – und bietet neun unterschiedliche Erhebungsformate, die jeweils verschiedene Teilmengen von Items abfragen.

Jeder Datensatzpunkt enthält zwei Signale: eine persönliche Stimme (erste‑Ordnungssignal) und eine Meta‑Vorhersage, wie andere abstimmen würden (zweite‑Ordnungssignal). Diese Kombination ermöglicht ein vielschichtigeres Modellieren als herkömmliche Datensätze, die nur Einzelpräferenzen erfassen.

In den Benchmark‑Tests wurden klassische Aggregationsmethoden, die ausschließlich auf ersten‑Ordnungsvotes basieren, mit SP‑Voting verglichen – einer zweiten‑Ordnungsmethode, die beide Signale gleichzeitig nutzt, um die wahre Rangfolge zu rekonstruieren. Die Ergebnisse zeigen deutlich, dass die Einbeziehung der zweiten‑Ordnungssignale die Genauigkeit in allen drei Kernaufgaben verbessert:

• Vollständige Wiederherstellung der wahren Rangfolge
• Rangrecovery auf Teilmengenebene
• Probabilistische Modellierung des Abstimmungsverhaltens

SP‑Rank bietet darüber hinaus Potenzial für Anwendungen außerhalb der Sozialwahl, etwa im Bereich Learning‑to‑Rank oder bei der Extraktion von Expertenwissen. Der Datensatz stellt damit eine wertvolle Ressource für die Weiterentwicklung von Ranking‑Algorithmen dar.