EVE: Strukturierter Ansatz für vollständige, treue Antworten aus einem Dokument

Moderne große Sprachmodelle (LLMs) erzeugen Texte, indem sie die Wahrscheinlichkeit des nächsten Tokens vorhersagen. Diese Vorgehensweise führt dazu, dass die Modelle eher häufige Fortsetzungen wählen als vollständige, auf dem Ausgangsdokument basierende Antworten. Dadurch fehlt es an systematischen Mechanismen, die sowohl Vollständigkeit als auch Treue sicherstellen – ein Problem, das im Widerspruch zu grundlegenden Prinzipien der KI‑Sicherheit steht.

Um diese Einschränkung zu überwinden, wurde EVE entwickelt – ein strukturiertes Framework für die Dokumenten‑basierte Argumentation. Im Gegensatz zu freien Prompting‑Methoden zwingt EVE die Generierung an einen überprüfbaren Ablauf, der in drei Schritte unterteilt ist: Extraktion, Validierung und Aufzählung. Auf diese Weise wird die hohe Präzision der Argumentation beibehalten, während gleichzeitig die Vollständigkeit gewährleistet wird.

Experimentelle Ergebnisse zeigen, dass EVE die Rückrufrate um bis zu 24 % und die Präzision um 29 % steigert, was zu einer F1‑Verbesserung von 31 % führt. Damit wird das lange bestehende Dilemma zwischen Abdeckung und Genauigkeit bei der einmaligen LLM‑Generierung überwunden, und die Gefahr der Text‑Ausschneidung durch Längenbeschränkungen wird reduziert.

Die Autoren weisen darauf hin, dass die Leistungssteigerung von EVE letztlich an die inhärente Mehrdeutigkeit natürlicher Sprache gebunden ist. Dieser Befund unterstreicht die fundamentalen Grenzen von sprachbasierten Rechenmodellen, obwohl EVE einen bedeutenden Fortschritt in Richtung zuverlässiger, dokumentenbasierter Antworten darstellt.