MERaLiON2-Omni: 10B‑Parameter‑Modell für ganzheitliche Wahrnehmung in Südostasien

In einer wegweisenden Veröffentlichung präsentiert das Forschungsteam die erste Version von MERaLiON2-Omni (Alpha), einem 10‑Billionen‑Parameter‑Modell, das speziell für die vielfältigen sprachlichen und kulturellen Anforderungen Südostasiens entwickelt wurde. Das System kombiniert eine robuste multimodale Wahrnehmung mit fortgeschrittenem logischem Denken und eröffnet damit neue Möglichkeiten für Anwendungen in der Region.

Der Trainingsansatz teilt die Aufgaben in zwei klar getrennte Phasen auf: Zunächst wird ein „Perception Backbone“ aufgebaut, der regionale Audio‑ und Video‑Signale – etwa Singlish‑Code‑Switching oder lokale Wahrzeichen – mit einem mehrsprachigen Sprachmodell über orthogonale Modalitätsanpassung verbindet. Anschließend wird die kognitive Fähigkeit durch einen kosteneffizienten Generate‑Judge‑Refine‑Prozess eingeführt. Dabei filtert ein Super‑LLM Halluzinationen heraus und löst Konflikte über einen Konsensmechanismus, wodurch hochwertige silberne Trainingsdaten entstehen, die das Chain‑of‑Thought‑Reasoning in multimodale Szenarien übertragen.

Die Evaluation auf dem neu eingeführten SEA‑Omni Benchmark Suite zeigt ein „Efficiency‑Stability Paradox“. Während das logische System die Leistung bei abstrakten Aufgaben wie Mathematik und Anweisungsbefolgung deutlich steigert, führt es zu Instabilitäten in der niedrigen Ebene der sensorischen Verarbeitung. Besonders auffällig ist ein zeitlicher Drift bei langen Audio‑Kontexten, bei dem die fortlaufende Logik das Modell von der akustischen Realität abkoppelt.

MERaLiON2-Omni demonstriert damit, wie gezielte Trennung und anschließende Integration von Wahrnehmung und Logik die Leistungsfähigkeit multimodaler Modelle erheblich verbessern können – gleichzeitig weist es auf die Notwendigkeit hin, die Balance zwischen Effizienz und Stabilität sorgfältig zu steuern.