KI News: Kurz und klar.

In der Welt des maschinellen Lernens sind Parameter die Bausteine, die ein Modell nutzt, um aus Daten zu lernen. Sie bestehen meist aus Gewichten und Bias‑Werten, die während des Trainings angepasst werden, damit das Modell Muster erkennt und Vorhersagen trifft.

Eine neue Untersuchung aus dem arXiv‑Repository hat die Art und Weise, wie wir Transformer‑Architekturen skalieren, grundlegend überdacht. Die Forscher haben Architektur‑abhängige Skalierungs­gesetze entwickelt, die zeigen, dass die optimale Tiefe und Breite eines Modells stark voneinander abhängen.

Large Language Models (LLMs) erfordern enorme Rechen- und Speicherressourcen, was moderne Hochleistungs-GPUs stark belastet. Gleichzeitig machen die fortschreitende Miniaturisierung von Transistoren und die damit einhergehende Reduktion der Betriebsspannung diese Chips anfälliger für sogenannte Soft‑Errors – zufällige, nicht dauerhafte Fehler, die die Integrität von Berechnungen gefährden können.

Unternehmen setzen zunehmend auf große Sprachmodelle (LLMs), um Prozesse zu automatisieren und Kundenservice zu verbessern. Damit diese Systeme zuverlässig funktionieren, muss ihre Leistung auch bei kleinen Änderungen in den Eingaben stabil bleiben.

Large Language Models (LLMs) wie GPT‑3 oder GPT‑4 bestehen aus Milliarden von Parametern – das sind die winzigen Zahlen, die in jedem Neuron des Netzwerks gespeichert sind. Diese Parameter wirken wie winzige Schalter, die während des Trainings angepasst werden, um Muster in den Daten zu erkennen und darauf zu reagieren.

Eine neue Studie auf arXiv untersucht, wie zuverlässig kleine Sprachmodelle (2 B bis 8 B Parameter) dieselbe Frage mehrfach beantworten. Dabei wurden zehn Wiederholungen von Fragen aus den Standard‑Multiple‑Choice‑Benchmarks MMLU‑Redux und MedQA getestet. Die Forscher haben verschiedene Faktoren berücksichtigt, darunter unterschiedliche Inferenztemperaturen, die Größe der Modelle (klein vs. mittel), sowie den Unterschied zwischen Basis‑ und feinabgestimmten Versionen.

Der Beitrag erklärt anschaulich, wie die Anpassung der Hyperparameter die Struktur eines Entscheidungsbaums verändert. Durch interaktive Visualisierungen wird deutlich, welche Parameter die Tiefe, die Mindestanzahl an Proben pro Blatt oder die maximale Anzahl an Knoten beeinflussen.

DeepSeek hat mit Version 3.1 einen stillen, aber bedeutenden Schritt gemacht. Die neue Modellgeneration, die auf der Plattform Hugging Face veröffentlicht wurde, beeindruckt mit 685 Milliarden Parametern und einer Kontextfenstergröße von bis zu 128 000 Tokens.

Meta AI hat DINOv3 vorgestellt, ein selbstlernendes Computer-Vision-Modell, das neue Maßstäbe für Vielseitigkeit und Genauigkeit bei dicht gepredikteten Aufgaben setzt – und das alles ohne die Notwendigkeit von gelabelten Daten.