CoS: Iterative Zusammenfassungen verbessern LLM-Performance um bis zu 66 %

Moderne Sprachmodelle greifen vermehrt auf externe Webinhalte zu, doch die meisten dieser Daten sind für sie schwer verdaulich. Unfreundliche Dateiformate und die Begrenzung der Kontextlänge verhindern, dass die Modelle den vollen Nutzen aus dem Internet ziehen können.

Um dieses Problem zu lösen, wurde die Methode „Chain of Summaries“ (CoS) entwickelt. Dabei wird ein allgemeingültiger, informationsdichter Text erzeugt, der die Inhalte einer Webseite in kompakter Form zusammenfasst und gleichzeitig als leicht lesbarer Text für LLMs dient.

CoS arbeitet nach einem iterativen Prozess, der von Hegels dialektischem Ansatz inspiriert ist. Zunächst wird ein erster Entwurf (Thesis) erstellt. Anschließend werden gezielte Fragen (Antithesis) gestellt, um Schwachstellen aufzudecken. Durch die Beantwortung dieser Fragen entsteht ein verbesserter Text (Synthese), der sowohl aktuelle als auch zukünftige Informationsbedürfnisse abdeckt.

Experimentelle Tests auf den Datensätzen TriviaQA, TruthfulQA und SQUAD zeigen, dass CoS die Leistung von Zero‑Shot‑Modellen um bis zu 66 % steigert und spezialisierte Summarisationstools wie BRIO und PEGASUS um bis zu 27 % übertrifft. Die erzeugten Zusammenfassungen liefern bessere Q&A‑Ergebnisse als die Originalinhalte, benötigen dafür deutlich weniger Tokens und sind unabhängig vom verwendeten LLM.

Für Betreiber von Webseiten bedeutet dies, dass sie ihre Inhalte mit CoS in ein LLM‑freundliches Format überführen können, ohne die Möglichkeit menschlicher Kontrolle zu verlieren. Die Methode bietet eine attraktive Lösung, um Webinhalte sowohl für Maschinen als auch für Menschen zugänglicher zu machen.