Neue Methode verbessert Vorhersage von Pass@k in großen Sprachmodellen

Die Bewertung der Fähigkeiten und Risiken von Spitzentechnologien im Bereich der künstlichen Intelligenz ist ein zentrales Forschungsfeld. Neueste Studien zeigen, dass wiederholtes Sampling von Modellen sowohl deren Leistungsfähigkeit – etwa bei komplexen Rechen- und Programmieraufgaben – als auch ihre Gefährdungspotenziale – etwa durch Jailbreaks – deutlich steigert.

Dies wirft die entscheidende Frage auf: Wie lässt sich das Verhalten eines Modells bei einer enormen Anzahl von Versuchen exakt vorhersagen, wenn nur ein begrenztes Sampling-Budget zur Verfügung steht? Die Antwort ist für Modellanbieter, die täglich Millionen von Nutzern bedienen, und für Regulierungsbehörden, die potenzielle Schäden verhindern wollen, von großer Bedeutung.

Die vorgestellte Arbeit liefert drei wesentliche Beiträge. Erstens identifizieren die Autoren statistische Schwächen herkömmlicher Anpassungsmethoden, die die Vorhersagegenauigkeit insbesondere bei Datenknappheit beeinträchtigen. Zweitens stellen sie ein robustes Schätzverfahren vor, das eine Beta-Binomial-Verteilung nutzt, um aus begrenzten Daten präzisere Vorhersagen zu generieren. Drittens schlagen sie eine dynamische Sampling-Strategie vor, die bei schwierigeren Aufgaben einen größeren Anteil des Budgets zuweist.

In Kombination ermöglichen diese Innovationen eine verlässlichere Vorhersage seltener Risiken und Fähigkeiten bei deutlich geringeren Rechenkosten, was sowohl für die Industrie als auch für die Aufsichtsbehörden von großem Nutzen ist.