SparOA: Hybrid-CPU-GPU beschleunigt Edge-DNN-Infereenzen um bis zu 50 %

Die steigenden Rechenanforderungen von Deep‑Neural‑Network‑Modellen stellen besonders auf ressourcenbeschränkten Edge‑Geräten ein erhebliches Leistungsproblem dar. Traditionelle Ansätze wie Modellkompression führen häufig zu Genauigkeitsverlusten, während spezialisierte Hardware teuer und wenig flexibel bleibt.

Mit dem neuen Framework SparOA wird diese Lücke geschlossen. SparOA kombiniert CPU‑ und GPU‑Ressourcen und nutzt dabei gezielt die Sparsität von Gewichten sowie die Rechenintensität einzelner Operatoren. Das System besteht aus drei Kernkomponenten: einem Schwellenwert‑Prädiktor, der optimale Sparsitäts‑ und Intensitätsgrenzen bestimmt; einem auf Reinforcement Learning basierenden Scheduler, der die Ressourcen dynamisch an die aktuelle Hardware‑Auslastung anpasst; und einem hybriden Inferenz‑Engine, die asynchrones Ausführen und Batch‑Optimierung ermöglicht.

In umfangreichen Tests konnte SparOA einen durchschnittlichen Speed‑up von 1,22 – 1,31‑fach gegenüber allen Baselines erzielen und die reine CPU‑Ausführung um bis zu 50,7‑fach beschleunigen. Darüber hinaus verbraucht das System 7 % bis 16 % weniger Energie als der aktuelle Stand‑der‑Kunst‑Co‑Execution‑Ansatz, was die Energie‑Effizienz bei Edge‑Inference deutlich verbessert.

Die Ergebnisse zeigen, dass SparOA nicht nur die Performance von Edge‑DNN‑Inference steigert, sondern auch die Energieeffizienz optimiert – ein wichtiger Schritt hin zu leistungsfähigen, ressourcenschonenden KI‑Lösungen für die Edge‑Computing‑Welt.