So wählen Sozialforscher KI-Modelle: Klein, Open und verlässlich

In der Sozialforschung stehen heute tausende vortrainierte Sprachmodelle zur Verfügung. Doch wie entscheidet man, welches Modell am besten geeignet ist? Der neue Beitrag aus dem arXiv‑Repository legt einen klaren Fahrplan vor: Man sollte zunächst mit kleinen, offenen Modellen beginnen und die gesamte Analysepipeline anhand gezielter Benchmarks prüfen.

Die Autoren betonen, dass die Auswahl von Sprachmodellen nicht nur auf ex‑ante Benchmarks beruhen darf. Stattdessen sollten Validität, Zuverlässigkeit, Reproduzierbarkeit und insbesondere Replizierbarkeit als Leitprinzipien gelten. Nur wenn ein Ergebnis mit einem Sprachmodell zuverlässig wiederholt werden kann, gilt es als wissenschaftlich fundiert.

Vier zentrale Faktoren werden dabei hervorgehoben: die Offenheit des Modells, sein Ressourcen‑Footprint, die Qualität und Herkunft der Trainingsdaten sowie die Architektur und Feinabstimmung. Durch die Kombination dieser Kriterien lässt sich ein robustes Auswahlverfahren entwickeln, das sowohl die Transparenz als auch die Nachvollziehbarkeit der Forschungsergebnisse sicherstellt.

Der Beitrag fordert Sozialforscher auf, zunächst mit kleineren, offenen Modellen zu experimentieren und anschließend schrittweise zu komplexeren Systemen überzugehen. Auf diese Weise können sie die gesamte Kette von Daten bis Ergebnis transparent und replizierbar gestalten.