Chitrakshara: Riesiges multimodales Datenset für 11 indische Sprachen
Die Forschung zu multimodalen Modellen konzentriert sich bislang überwiegend auf die Analyse einzelner Bilder. Durch die Einführung von Chitrakshara wird dieser Fokus erweitert: Das neue Datenset bietet eine umfangreich…
- Die Forschung zu multimodalen Modellen konzentriert sich bislang überwiegend auf die Analyse einzelner Bilder.
- Durch die Einführung von Chitrakshara wird dieser Fokus erweitert: Das neue Datenset bietet eine umfangreiche Sammlung von Bild-Text-Paaren in elf indischen Sprachen, di…
- Die erste, Chitrakshara‑IL, enthält 193 Millionen Bilder, 30 Milliarden Texttoken und 50 Millionen mehrsprachige Dokumente, die für das interleaved Pre‑Training von Visi…
Die Forschung zu multimodalen Modellen konzentriert sich bislang überwiegend auf die Analyse einzelner Bilder. Durch die Einführung von Chitrakshara wird dieser Fokus erweitert: Das neue Datenset bietet eine umfangreiche Sammlung von Bild-Text-Paaren in elf indischen Sprachen, die aus dem Common‑Crawl stammen.
Chitrakshara besteht aus zwei Hauptkomponenten. Die erste, Chitrakshara‑IL, enthält 193 Millionen Bilder, 30 Milliarden Texttoken und 50 Millionen mehrsprachige Dokumente, die für das interleaved Pre‑Training von Vision‑Language‑Modellen (VLMs) genutzt werden können. Die zweite Komponente, Chitrakshara‑Cap, liefert 44 Millionen Bild‑Text‑Paare mit insgesamt 733 Millionen Token, die speziell für die Caption‑Erstellung entwickelt wurden.
Der Artikel beschreibt detailliert den gesamten Daten‑Pipeline‑Prozess, von der Sammlung über die Filterung bis hin zur Verarbeitung. Zudem wird eine umfassende Analyse der Qualität und Vielfalt des Datensatzes präsentiert, um die Repräsentativität für die indischen Sprachen zu bewerten und die Entwicklung kulturell inklusiver VLMs zu fördern.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.