Forschung
<p>Logit-Abstand liefert neue Grenzen für Modellrepräsentationen</p> <p>In einer kürzlich veröffentlichten Studie auf arXiv wird gezeigt, dass bei einer breiten Klasse von diskriminativen Modellen – zu denen auch autoregressive Sprachmodelle gehören – die internen Repräsentationen zweier Modelle bis auf eine invertierbare lineare Transformation übereinstimmen, wenn sie exakt dieselben bedingten Wahrscheinlichkeiten erzeugen. Die Frage, ob ein ähnliches Ergebnis auch bei annähernd gleichen Verteilungen gilt,
arXiv – cs.LG