Transformer zeigen Phasenübergang: Objektpermanenz in Repräsentationsräumen
Eine neue Studie auf arXiv beleuchtet, wie tiefgreifende Transformer‑Modelle – von 1,5 B bis 30 B Parametern – plötzlich ihre Fähigkeit zur mehrstufigen Logik entwickeln. Durch die Betrachtung der versteckten Zustandst…