Automatisierte KI-Policy-Analyse: Themenfindung & Klassifizierung für Hochschulen

Generative künstliche Intelligenz (GenAI) wird immer stärker in Lernprozesse integriert. Studierende nutzen die Technologie, um Konzepte zu klären, komplexe Aufgaben zu lösen und in manchen Fällen sogar komplette Aufgaben durch Einfügen von Modellinhalten abzuschließen. Diese Entwicklung bringt jedoch Risiken mit sich: Fehlinformationen, halluzinierte Ausgaben und ein möglicher Verlust kritischer Denkfähigkeiten stehen im Fokus.

Reaktion darauf haben zahlreiche Hochschulen, Fachbereiche und Dozenten Richtlinien entwickelt, die den verantwortungsvollen Einsatz von GenAI regeln. Die Vorgaben unterscheiden sich jedoch stark zwischen den Institutionen, was zu Unsicherheiten bei Studierenden führt.

Um diese Lücke zu schließen, haben die Autoren ein automatisiertes System konzipiert, das KI-bezogene Richtlinien aus Kursplänen und institutionellen Webseiten erkennt und klassifiziert. Das System kombiniert unüberwachtes Topic‑Modeling zur Themenidentifikation mit großen Sprachmodellen (LLMs) zur Einstufung der Genehmigungsstufen und weiterer Anforderungen.

Die Ergebnisse sind vielversprechend: Für die Themenfindung erreichte das Modell einen Kohärenz‑Score von 0,73. Die Klassifizierung der Richtlinien mit GPT‑4.0 erzielte eine Präzision zwischen 0,92 und 0,97, während die Rückrufrate ebenfalls hoch blieb. Damit liefert die Lösung einen robusten Rahmen, um GenAI‑Richtlinien systematisch zu erfassen und zu bewerten.