KI News: Kurz und klar.

Halluzinationen in großen Sprachmodellen stellen ein zentrales Hindernis für deren Einsatz in der Praxis dar. Während aktuelle Detektionsverfahren bei Daten aus dem gleichen Domainbereich gute Ergebnisse liefern, versagen sie häufig, wenn sie auf andere, verwandte Domains übertragen werden.

In einer wegweisenden Veröffentlichung haben Wissenschaftler einen umfangreichen Datensatz für die abstrakte Zusammenfassung von Bangla-Texten vorgestellt. Der neue Korpus umfasst mehr als 54.000 Artikel und deren Kurzfassungen, die aus einer Vielzahl von Quellen stammen – von Blogs wie Cinegolpo über Zeitungen wie Samakal und The Business Standard bis hin zu Social‑Media‑Inhalten.

In einer neuen Studie wird ein schlanker Ansatz vorgestellt, mit dem große Sprachmodelle (LLMs) ihre eigenen Rechenschritte zuverlässig prüfen können. Anstelle auf teure, domänenspezifische Modelle zurückzugreifen, nutzen die Forscher sogenannte Unsicherheitsköpfe (UHeads), die die internen Zustände eines eingefrorenen LLMs analysieren, um die Unsicherheit einzelner Schritte zu schätzen.

In der aktuellen Forschung zu großen Sprachmodellen wird deutlich, dass der Fortschritt vor allem durch die Skalierung der Modelle vorangetrieben wird. Gleichzeitig ermöglicht Parameter‑Effizientes Fine‑Tuning (PEFT), nur einen kleinen Bruchteil der Parameter zu aktualisieren. Low‑Rank Adaptation (LoRA) speichert die Parameteränderungen als Produkt zweier kleiner Matrizen, wodurch sie sich zu natürlichen Bausteinen zusammenfügen lassen.