KI News: Kurz und klar.

In der Hochleistungsrechnerwelt (HPC) stehen Scheduler vor der Herausforderung, die Leistung einzelner Jobs mit den Ressourcenbeschränkungen der gesamten Einrichtung in Einklang zu bringen. Das Kernproblem besteht darin, die optimale Anzahl an Knoten für einen gegebenen Auftrag zu bestimmen.

In einer neuen Studie aus dem arXiv-Repository wird der Scheduler GreedyLR vorgestellt, der die Lernrate während des Trainings dynamisch an die aktuellen Verluständerungen anpasst. Im Gegensatz zu den weit verbreiteten Cosine- oder exponentiellen Decay‑Strategien reagiert GreedyLR unmittelbar auf die Lernkurve und kann so die Konvergenzgeschwindigkeit signifikant erhöhen.

Mit der rasanten Verbreitung von Edge‑AI-Anwendungen wird die Qualität der Nutzererfahrung – insbesondere die Latenz bei Modellinferenz – zu einem zentralen Ziel. Da die Modelle jedoch oft die Ressourcen einzelner Geräte sprengen, muss die Ausführung über heterogene Edge‑Geräte und variable Netzwerke verteilt werden.

LLM-basierte Suchagenten haben in den letzten Jahren beeindruckende Leistungen gezeigt, doch ihre Geschwindigkeit bleibt ein Engpass. Jeder Schritt erfordert zunächst eine ausführliche LLM‑Reasoning‑Phase, gefolgt von der Ausführung eines Tools – ein Prozess, der die Gesamtlatenz stark erhöht.

Eine neue Veröffentlichung auf arXiv erweitert die theoretische Basis des bislang beliebten Schedule‑Free-Ansatzes. Während die ursprüngliche Theorie nur einen konstanten Lernratenwert zuließ, zeigen die Autoren, wie die letzte‑Iterat-Konvergenz auch bei beliebigen Scheduler‑Strategien bewiesen werden kann. Dabei wird das notwendige Update des Averaging‑Parameters als Funktion der Lernrate klar definiert.