LLM-gestützte synthetische Daten verbessern Gesundheits‑Fact‑Checking

In einer neuen Studie aus dem arXiv‑Repository wird gezeigt, wie große Sprachmodelle (LLMs) dazu beitragen können, die Leistung von Fact‑Checking‑Systemen im Gesundheitsbereich zu steigern. Der Ansatz nutzt ein mehrstufiges Pipeline‑Modell, das zunächst Quelltexte zusammenfasst, die Zusammenfassungen in einzelne Fakten zerlegt und anschließend mithilfe eines LLMs Tabellen mit Satz‑Fakt‑Entailment‑Beziehungen erstellt.

Aus diesen Tabellen werden synthetische Text‑Claim‑Paare mit binären Wahrheitswerten generiert. Die erzeugten Daten werden anschließend mit den vorhandenen, annotierten Datensätzen kombiniert, um ein BERT‑basiertes Fact‑Checking‑Modell zu verfeinern. Durch die zusätzliche synthetische Trainingsmenge konnte das Modell bei den öffentlichen Datensätzen PubHealth und SciFact die F1‑Scores um bis zu 0,019 bzw. 0,049 verbessern.

Die Ergebnisse unterstreichen, dass die Kombination aus LLM‑generierten synthetischen Daten und klassischen Trainingsmaterialien die Genauigkeit von Gesundheits‑Fact‑Checkern signifikant erhöhen kann. Dieser Ansatz bietet damit eine vielversprechende Lösung für die bislang knappe Verfügbarkeit von annotierten Trainingsdaten im medizinischen Bereich.