Leichtgewichtiges LLM-Framework verbessert Krisen-Info-Klassifizierung

Die schnelle Klassifizierung von Hilfsinformationen aus sozialen Medien ist entscheidend für eine effektive Katastrophenreaktion. Doch große Sprachmodelle (LLMs) lassen sich in ressourcenbeschränkten Notfallsituationen schwer einsetzen. In einer neuen Studie wird ein leichtgewichtiges, kostengünstiges Framework vorgestellt, das die Klassifizierung von Katastrophen-Tweets mithilfe von parameter-effizientem Fine‑Tuning ermöglicht.

Das Team hat einen einheitlichen Experimentkorpus erstellt, indem es die HumAID-Datenbank – 76.484 Tweets zu 19 Katastrophenereignissen – integriert und normalisiert hat. Der daraus resultierende Dual‑Task-Benchmark umfasst die Kategorisierung von Hilfsinformationen und die Identifikation des Ereignistyps.

Durch systematische Tests von Prompting‑Strategien, LoRA‑Fine‑Tuning und Retrieval‑Augmented Generation (RAG) auf dem Llama 3.1 8B-Modell konnten beeindruckende Ergebnisse erzielt werden: LoRA erreichte 79,62 % Genauigkeit bei der Klassifizierung von Hilfsinformationen – ein Plus von 37,79 % gegenüber Zero‑Shot – und trainierte dabei lediglich rund 2 % der Parameter. QLoRA ermöglichte eine effiziente Bereitstellung mit 99,4 % der LoRA‑Leistung bei halb so viel Speicherbedarf. Überraschenderweise führten RAG‑Strategien zu einer Verschlechterung der Modellleistung, da die abgerufenen Beispiele mit Label‑Rauschen belastet waren.

Diese Erkenntnisse liefern einen praktischen, reproduzierbaren Leitfaden für den Aufbau zuverlässiger Krisen‑Intelligenzsysteme, selbst wenn die Rechenressourcen begrenzt sind. Das vorgestellte Framework stellt damit einen wichtigen Schritt in Richtung ressourcenschonender, effektiver Katastrophenhilfe dar.