TinyLoRA: Mit nur 13 Parametern 91 % Genauigkeit auf GSM8K erreichen In einer neuen Studie wird gezeigt, dass Sprachmodelle mit einer extrem kleinen Anzahl von trainierbaren Parametern lernen können, komplexe Rechenaufgaben zu lösen. Das Verfahren TinyLoRA reduziert die Größe von Low‑Rank‑Adapters auf lediglich einen Parameter, wodurch die üblichen Beschränkungen von LoRA, die nicht unter die Modelldimension fallen, umgangen werden. arXiv – cs.LG 05.02.2026 05:00
StepFun stellt Step-DeepResearch vor: günstiger Forschungsagent StepFun hat Step-DeepResearch vorgestellt, ein 32‑Billionen‑Parameter‑Modell, das Web‑Suche in echte Forschungsabläufe verwandeln soll. MarkTechPost 25.01.2026 21:08
AI-Companion für Edge-Geräte: Speicher- und Dialogoptimierung Ein neues arXiv-Papier (2601.08128v1) präsentiert ein innovatives AI‑Companion‑System, das speziell für die begrenzten Rechenressourcen von Edge‑Geräten entwickelt wurde. Die Autoren zeigen, wie ein intelligentes Speicher‑Paradigma die Nutzererfahrung trotz knapper Hardware verbessert. arXiv – cs.AI 14.01.2026 05:00
Kontamination in Sprachmodellen: Wie Post‑Training die Leistung beeinflusst In einer neuen Studie von arXiv 2601.06103v1 wird untersucht, wie sich Datenkontamination auf die gängigen Post‑Training‑Schritte großer Sprachmodelle auswirkt. Dabei wurden die Modelle Qwen2.5 (0,5 B/1,5 B) und Gemma3 (1 B/4 B) zunächst sauber trainiert und anschließend fünf Kopien von GSM8K‑ und MBPP‑Testaufgaben in die ersten 2 B Token eines 25 B‑Token‑erweiterten Pre‑Training‑Datensatzes eingebracht. arXiv – cs.LG 13.01.2026 05:00
Optimale Reihenfolge von Kompressionstechniken für große Sprachmodelle Ein neues arXiv‑Veröffentlichung beleuchtet, wie die Reihenfolge von Kompressionstechniken die Leistung von großen Sprachmodellen beeinflusst. Die Studie konzentriert sich auf das Qwen2.5 3B Modell und untersucht die drei Hauptmethoden: Wissensdistillation, strukturiertes Pruning und Low‑Bit‑Quantisierung. arXiv – cs.LG 26.11.2025 05:00
OpenBioLLM: Open‑Source Multi‑Agent System übertrifft GeneGPT bei Genomfragen Die Beantwortung komplexer Fragen zu Genomen erfordert oft tiefgreifendes logisches Denken und die Integration zahlreicher biomedizinischer Datenquellen. GeneGPT hatte dieses Problem mit einer Kombination aus domänenspezifischen APIs und dem proprietären Modell code‑davinci‑002 von OpenAI angegangen. Doch die Abhängigkeit von einem geschlossenen System schränkte die Skalierbarkeit ein, erhöhte die Betriebskosten und wirft Fragen zum Datenschutz und zur Generalisierbarkeit auf. arXiv – cs.AI 20.11.2025 05:00
