LPFQA: Benchmark für LLMs mit realen Fachforum-Daten

Die rasante Entwicklung von Large Language Models (LLMs) hat beeindruckende Fortschritte in Bereichen wie Logik, Frage‑Beantwortung und professionellen Anwendungen gezeigt. Dennoch bleibt die echte Leistungsfähigkeit dieser Modelle schwer zu beurteilen, weil die meisten bestehenden Tests auf stark vereinfachten Aufgaben oder künstlichen Szenarien basieren und dabei das lange, seltene Wissen sowie die Komplexität echter Arbeitswelten vernachlässigen.

Um diese Lücke zu schließen, wurde LPFQA – ein Benchmark, der auf authentischen Fachforen aus 20 akademischen und industriellen Fachgebieten basiert – entwickelt. Der Datensatz umfasst 502 Aufgaben, die sich aus realen Expertenfragen ableiten lassen und damit praxisnahes Wissen abbilden.

LPFQA zeichnet sich durch vier zentrale Innovationen aus: Erstens werden die Leistungen in vier feingranularen Dimensionen gemessen – Wissens­tiefe, logisches Denken, Fachterminologie und Kontextanalyse. Zweitens sorgt eine hierarchische Schwierigkeitsstruktur für klare Semantik und eindeutige Antworten. Drittens werden realistische Nutzer­persönlichkeiten in den Szenarien modelliert, sodass die Aufgaben den tatsächlichen Einsatzbedingungen entsprechen. Viertens integriert der Benchmark interdisziplinäres Wissen, um die Vielseitigkeit der Modelle zu prüfen.

Bei einer Evaluation von zwölf führenden LLMs zeigte LPFQA deutliche Leistungsunterschiede, insbesondere bei spezialisierten Logikaufgaben. Der Benchmark liefert damit ein robustes, authentisches und differenzierendes Werkzeug, um die Entwicklung von LLMs gezielt zu steuern und die Grenzen aktueller Modelle besser zu verstehen.