Negative Schlagzeilen aus LLMs: Datensatz erstellt und gegen echte Nachrichten getestet

In einer neuen Studie haben Forscher ein umfangreiches Korpus negativer Nachrichtenüberschriften entwickelt, das ausschließlich von großen Sprachmodellen (LLMs) generiert wurde. Ziel war es, die häufigen Hindernisse bei der Beschaffung echter Daten – etwa Datenschutzbedenken und begrenzte Verfügbarkeit – zu umgehen und gleichzeitig qualitativ hochwertige Trainingsmaterialien für Aufgaben der natürlichen Sprachverarbeitung bereitzustellen.

Die Headlines wurden mit speziell formulierten Prompts erzeugt, die unterschiedliche negative Emotionen und gesellschaftliche Themen abdecken. Anschließend wurden sie von Fachexperten geprüft, um die Plausibilität zu sichern. In einem weiteren Schritt wurden die synthetischen Überschriften im Embedding‑Raum analysiert, um ihre Übereinstimmung mit realen Nachrichten hinsichtlich Inhalt, Ton, Länge und Stil zu bewerten. Dabei kamen Kennzahlen wie Korrelation, Perplexität, Kohärenz und Realismus zum Einsatz.

Um die Qualität des Datensatzes zu quantifizieren, wurden die generierten Headlines mit zwei Sammlungen echter Nachrichtenüberschriften verglichen. Die Bewertung erfolgte über mehrere Tests: Comparative Perplexity, Comparative Readability, Comparative POS Profiling, BERTScore und Comparative Semantic Similarity. Die Ergebnisse zeigen, dass die LLM‑generierten Headlines nahezu identisch mit echten Headlines sind, abgesehen von einer geringfügigen Abweichung im Proper‑Noun‑Score des POS‑Profiling‑Tests.

Die Studie demonstriert damit, dass synthetische Daten aus LLMs eine praktikable Alternative zu realen Datensätzen darstellen können, ohne dabei an Aussagekraft zu verlieren. Dies eröffnet neue Möglichkeiten für die Entwicklung und das Training von Modellen im Bereich Sentiment‑Analyse und darüber hinaus.