AGRAG: Graphbasierte Retrieval-gestützte Generierung verbessert LLMs

Die neue Methode AGRAG nutzt graphbasierte Retrieval-gestützte Generierung (Graph-based RAG), um große Sprachmodelle mit strukturiertem Wissen zu versorgen. Im Gegensatz zu bisherigen Ansätzen, die häufig an ungenauen Graphen, fehlender Begründung und unvollständigen Antworten leiden, setzt AGRAG auf statistische Entitätserkennung, um Halluzinationen zu vermeiden und Fehler bei der Graphenbildung zu reduzieren.

Beim Retrieval formuliert AGRAG das Problem als Minimum Cost Maximum Influence (MCMI) Subgraph-Generierung. Obwohl das NP-schwere Problem theoretisch schwierig ist, liefert ein Greedy-Algorithmus praktikable Lösungen. Die daraus resultierenden Subgraphen dienen als explizite Begründungswege, die dem Sprachmodell erklären, warum bestimmte Textstücke ausgewählt wurden. Dadurch fokussiert das Modell stärker auf die relevanten Inhalte, minimiert Rauschen und verbessert die Begründungsfähigkeit.

Verglichen mit dem einfachen baumstrukturierten Ansatz und dem NaiveRAG-Modell zeigt AGRAG in mehreren Aufgaben eine deutlich höhere Leistung. Die Kombination aus verlässlicher Graphenbildung, gezielter Retrieval-Strategie und klaren Begründungswegen macht AGRAG zu einem vielversprechenden Fortschritt für die Anwendung von Retrieval-gestützter Generierung in großen Sprachmodellen.