KI News: Kurz und klar.

In einer neuen Untersuchung auf arXiv wird die Frage aufgeworfen, ob Sparse Autoencoders (SAEs) tatsächlich die eigentlichen Rechenmerkmale in großen Sprachmodellen (LLMs) erkennen. Die Forscher haben sich zunächst auf Features konzentriert, die mit klassischen kontrastiven Aktivierungsmethoden ausgewählt wurden, und ein neues, falsifikationsorientiertes Verfahren entwickelt, um die wahre Natur dieser Features zu prüfen.

Die neueste Studie von Forschern aus dem Bereich der künstlichen Intelligenz hat einen bislang unbekannten Angriff auf das dezentrale Group Relative Policy Optimization (GRPO) System aufgedeckt. GRPO wird zunehmend für die Feinabstimmung großer Sprachmodelle (LLMs) eingesetzt, weil es dank geringer Kommunikationsanforderungen mehrere Knoten gleichzeitig nutzen lässt.