MDKeyChunker: Einmaliger LLM-Ansatz für hochpräzises RAG mit Rollenden Schlüsseln

MDKeyChunker bringt einen echten Durchbruch in Retrieval‑Augmented‑Generation‑Pipelines, indem es die herkömmliche Chunking‑Methode überwindet und gleichzeitig die Effizienz von LLM‑Aufrufen drastisch steigert.

Traditionelle RAG‑Systeme teilen Dokumente in gleich große Stücke, was die natürliche Struktur ignoriert, semantische Einheiten über Grenzen hinweg zerschneidet und mehrere LLM‑Aufrufe pro Chunk erfordert, um Metadaten zu extrahieren.

MDKeyChunker löst diese Probleme mit einem dreistufigen Ansatz: Zuerst werden Markdown‑Dokumente struktur‑sensitiv in Header, Code‑Blöcke, Tabellen und Listen aufgeteilt. Anschließend wird jeder Chunk in einem einzigen LLM‑Aufruf angereichert – Titel, Zusammenfassung, Schlüsselwörter, typisierte Entitäten, hypothetische Fragen und ein semantischer Schlüssel werden gleichzeitig extrahiert. Ein rollender Schlüssel‑Dictionary sorgt dabei für kontextuelle Kohärenz über das gesamte Dokument hinweg.

Im dritten Schritt werden Chunks, die denselben semantischen Schlüssel teilen, mittels Bin‑Packing zusammengeführt. So werden verwandte Inhalte an einem Ort platziert, was die spätere Retrieval‑Genauigkeit erheblich verbessert.

Durch die Eliminierung mehrerer Extraktionsdurchläufe und die Ersetzung handgefertigter Scoring‑Methoden durch LLM‑basierte semantische Übereinstimmung wird die Pipeline nicht nur schneller, sondern auch zuverlässiger.

Eine empirische Evaluation mit 30 Abfragen über einen 18‑Dokument‑Markdown‑Korpus zeigte beeindruckende Ergebnisse: Die Konfiguration D (BM25 über strukturierte Chunks) erreichte Recall@5 von 1,000 und MRR von 0,911, während die dichte Retrieval‑Konfiguration C Recall@5 von 0,867 erzielte.

MDKeyChunker ist in Python implementiert, benötigt lediglich vier Abhängigkeiten und unterstützt sämtliche OpenAI‑kompatiblen Endpunkte, sodass es sofort in bestehende Systeme integriert werden kann.