OpenEstimate: Benchmark für probabilistische Schätzungen von Sprachmodellen
In realen Anwendungsbereichen wie Gesundheit, Finanzen und anderen Wissensgebieten müssen Sprachmodelle mit unvollständigen Daten umgehen und unter Unsicherheit entscheiden. Bisher konzentrieren sich die meisten Tests jedoch auf Aufgaben mit klaren, eindeutigen Antworten, wodurch die Fähigkeit der Modelle, mit Unsicherheit umzugehen, wenig beleuchtet bleibt.
