CGRA-DeBERTa: Neuer Transformer für islamische Theologie-Textanalyse

Ein neu entwickelter Transformer namens CGRA‑DeBERTa verspricht, die Frage‑Antwort‑Leistung (QA) zu klassischen islamischen Texten deutlich zu verbessern. Durch die Kombination eines angepassten DeBERTa‑Backbones, leichtgewichtiger LoRA‑Anpassungen und eines residualen, konzept‑sensiblen Gate‑Mechanismus kann das Modell semantisch kritische Tokens gezielt verstärken und gleichzeitig die Kontextintegrität bewahren.

Der Ansatz nutzt ein Embedding‑Block, der globale und positionsbezogene Kontexte erfasst, während die Concept‑Guided Residual Blocks Theologie‑Prioritäten aus einem sorgfältig kuratierten islamischen Konzeptwörterbuch mit zwölf Kernbegriffen einbinden. Das Konzept‑Gating‑Mechanismus wendet gewichtete Aufmerksamkeit an und skaliert Tokens zwischen 1,04 und 3,00, um die Relevanz zu betonen.

Bei der Schulung mit 42.591 QA‑Paaren aus den Hadith‑Sammlungen Sahih al‑Bukhari und Sahih Muslim erzielte CGRA‑DeBERTa einen Exakte‑Match‑Score von 97,85 %. Damit übertraf es BERT (75,87 %) und das Standard‑DeBERTa (89,77 %) um 8,08 % absolute Punkte, während die zusätzliche Inferenzzeit nur um etwa 8 % zunahm.

Qualitative Analysen zeigen, dass das Modell nicht nur präziser span‑basierte Antworten liefert, sondern auch die theologischen Nuancen besser erkennt und differenziert. Diese Fortschritte markieren einen bedeutenden Schritt in der automatisierten Analyse religiöser Texte und eröffnen neue Möglichkeiten für Forschung und Bildung im islamischen Kontext.