OpenEstimate: Benchmark für probabilistische Schätzungen von Sprachmodellen

In realen Anwendungsbereichen wie Gesundheit, Finanzen und anderen Wissensgebieten müssen Sprachmodelle mit unvollständigen Daten umgehen und unter Unsicherheit entscheiden. Bisher konzentrieren sich die meisten Tests jedoch auf Aufgaben mit klaren, eindeutigen Antworten, wodurch die Fähigkeit der Modelle, mit Unsicherheit umzugehen, wenig beleuchtet bleibt.

Um diese Lücke zu schließen, stellt OpenEstimate ein erweiterbares, domänenübergreifendes Benchmark vor, das Sprachmodelle auf numerische Schätzaufgaben prüft, die umfangreiche Hintergrundinformationen erfordern und Wahrscheinlichkeitsvorhersagen als priors liefern. Die Genauigkeit und Kalibrierung dieser priors werden gegen echte Verteilungen abgewogen. In Tests mit sechs führenden Modellen zeigte sich, dass die von den Modellen erzeugten priors häufig ungenau und übermäßig zuversichtlich sind. Verbesserungen sind nur moderat, wenn die Unsicherheit anders erfasst wird, während Sampling-Strategien, Rechenaufwand oder Prompt-Design kaum Einfluss haben. OpenEstimate bietet damit einen anspruchsvollen Test und eine Plattform, um Modelle gezielt für probabilistische Schätzungen zu optimieren.