LiveCLKTBench: verlässliche Bewertung sprachübergreifenden Wissenstransfers

Die neue Plattform LiveCLKTBench eröffnet Forschern ein zuverlässiges Werkzeug, um den Wissenstransfer zwischen Sprachen in großen Sprachmodellen (LLMs) zu messen. Durch die gezielte Isolierung von sprachübergreifendem Wissen wird die Herausforderung, echte Transferleistungen von bereits im Pre‑Training erlerntem Wissen zu unterscheiden, systematisch adressiert.

Der automatisierte Pipeline-Ansatz identifiziert selbstständige, zeitlich begrenzte Wissenseinheiten aus realen Domänen. Diese Einheiten werden nach ihrem Auftreten gefiltert und anschließend gegen das Modellwissen geprüft. Auf Basis der bestätigten Fakten werden anschließend Fragen generiert, die in mehrere Sprachen übersetzt werden, um die Übertragbarkeit über Sprachgrenzen hinweg zu testen.

Die Anwendung von LiveCLKTBench auf mehrere LLMs in fünf Sprachen zeigte, dass der Transfer stark von der sprachlichen Distanz abhängt und häufig asymmetrisch zwischen Sprachrichtungen ist. Größere Modelle verbessern die Transferfähigkeit, jedoch mit abnehmenden Zuwächsen, und die Effekte variieren je nach Fachgebiet.

Diese Erkenntnisse liefern neue Einblicke in die Mechanismen des multilingualen Wissensaustauschs und demonstrieren, dass LiveCLKTBench als robustes Benchmark-Tool für zukünftige Forschungsarbeiten im Bereich der Sprachübergreifenden KI wertvoll ist.