Neues Verfahren LIDS bewertet LLM-Zusammenfassungen präzise und interpretierbar

Ein neues Verfahren namens LIDS (Layered Inference for Summary Accuracy) wurde auf arXiv vorgestellt und verspricht, die Bewertung von Textzusammenfassungen großer Sprachmodelle wie ChatGPT zu revolutionieren. Durch die Kombination von BERT‑Embeddings und einer Singular‑Value‑Decomposition (SVD) entsteht ein Richtungsmaß, das die Ähnlichkeit zwischen einer Zusammenfassung und dem Originaltext exakt quantifiziert.

LIDS nutzt wiederholte Prompt‑Variationen, um die statistische Unsicherheit der Messung zu bestimmen und liefert so ein robustes, naturgetreues Embedding jeder Zusammenfassung. Damit wird die Textlänge drastisch reduziert, ohne die wesentlichen Inhalte zu verlieren.

Ein weiteres Highlight ist SOFARI, ein Verfahren zur Identifikation von Schlüsselwörtern innerhalb der latenten Themen. SOFARI kontrolliert die Fehlerrate (FDR) und macht die Zusammenfassungen nicht nur vergleichbar, sondern auch nachvollziehbar.

Umfangreiche Experimente zeigen, dass LIDS sowohl bei menschlicher Bewertung als auch im Vergleich zu bestehenden Ähnlichkeitsmetriken und verschiedenen LLMs überlegen ist. Das Ergebnis ist ein zuverlässiges, interpretierbares Tool, das die Qualität von LLM‑generierten Zusammenfassungen transparent macht.