AdapSNE: Fireworks‑Optimierung & Entropie‑Stichprobenwahl für Edge‑DNN

Das Training von tiefen neuronalen Netzwerken direkt auf Edge‑Geräten gewinnt immer mehr an Bedeutung, weil es Lösungen für Domain‑Adaptation und Datenschutz bietet. Der große Nachteil traditioneller Verfahren ist der enorme Datenaufwand, der auf ressourcenbeschränkten Geräten kaum zu bewältigen ist.

Zur Lösung dieses Problems wurde die DNN‑freie Methode NMS (Near‑Memory Sampling) entwickelt. Sie reduziert zunächst die Dimensionalität der Daten und wählt anschließend Exemplare im komprimierten Raum aus. Dadurch entfallen architekturspezifische Verzerrungen und die Generalisierung verbessert sich. NMS hat jedoch zwei Schwächen: Erstens führt die Diskrepanz zwischen dem Suchverfahren und der nicht‑monotonen Perplexitätsfunktion zu Ausreißern im reduzierten Raum. Zweitens wird die Ziel‑Perplexität empirisch bestimmt, was zu einer willkürlichen und ungleichmäßigen Stichprobenwahl führt.

AdapSNE adressiert diese Probleme, indem es einen effizienten, nicht‑monotonen Suchalgorithmus – den Fireworks Algorithmus (FWA) – einsetzt, um Ausreißer zu unterdrücken. Zusätzlich nutzt es eine entropie‑gesteuerte Optimierung, die eine gleichmäßige Verteilung der ausgewählten Exemplare sicherstellt. Das Ergebnis ist eine repräsentativere Stichprobe, die die Trainingsgenauigkeit signifikant steigert.

Mit AdapSNE können Edge‑Geräte nun effektiver und effizienter trainieren, was insbesondere für die Anwendung großer Sprachmodelle und anderer datenintensiver Aufgaben von entscheidender Bedeutung ist. Die Methode eröffnet neue Möglichkeiten für datenschutzfreundliche, domänenübergreifende KI‑Lösungen direkt am Rand des Netzwerks.