PGF-Net: Gated-Fusion-Framework für effiziente multimodale Sentimentanalyse

Ein neues Deep‑Learning‑Modell namens PGF‑Net wurde vorgestellt, das multimodale Sentimentanalyse effizienter und nachvollziehbarer macht. Das System kombiniert drei zentrale Innovationen, die es ermöglichen, Text, Audio und Bilddaten tiefgreifend zu verknüpfen, ohne dabei die Modellgröße unnötig zu erhöhen.

Im Kern steht das Progressive Intra‑Layer Fusion‑Paradigma. Hier nutzt ein Cross‑Attention‑Mechanismus die Textrepräsentation, um während der Verarbeitung in den Transformer‑Schichten gezielt nicht‑linguistische Merkmale aus Audio‑ und Bildströmen abzurufen. Dadurch entsteht ein kontextabhängiger, mehrschichtiger Fusion-Prozess, der die semantische Tiefe der Analyse deutlich erhöht.

Ein weiteres Highlight ist die Adaptive Gated Arbitration. Dieses dynamische Steuerungselement balanciert die ursprünglichen sprachlichen Informationen mit dem neu gefusionierten multimodalen Kontext aus. Es sorgt dafür, dass das Modell stabile Signale erhält und gleichzeitig Rauschen aus den zusätzlichen Modalitäten unterdrückt.

Zur Gewährleistung von Parameter‑Effizienz setzt PGF‑Net eine hybride PEFT‑Strategie ein, die globale Anpassungen über LoRA mit lokalen Feinanpassungen durch Post‑Fusion‑Adapter kombiniert. Das Ergebnis ist ein leichtgewichtiges Modell, das besonders in ressourcenbeschränkten Umgebungen einsetzbar ist. Auf dem MOSI‑Datensatz erzielte PGF‑Net einen Mean Absolute Error von 0,691 und einen F1‑Score von 86,9 %, was einen neuen Stand der Technik markiert.