CAE: Charakter-Level-Autoencoder gruppiert nicht-semantische Daten in Datenbanken

Unternehmen speichern in ihren relationalen Datenbanken immer mehr nicht‑semantische Informationen wie IP‑Adressen, Produkt‑IDs oder Zeitstempel. Diese Daten stellen herkömmlichen Analysewerkzeugen vor besondere Herausforderungen, weil sie keine klare semantische Struktur besitzen. Ein neues Verfahren, der Character‑Level Autoencoder (CAE), löst dieses Problem, indem es Spalten anhand von Mustern und Strukturen erkennt und automatisch gruppiert.

Der CAE arbeitet auf Zeichenebene und nutzt einen festen Wortschatz, wodurch Speicherbedarf und Trainingszeit deutlich reduziert werden. Dadurch kann das Modell große Datenbestände aus Data Lakes und Data Warehouses effizient verarbeiten, ohne dass die Komplexität exponentiell ansteigt.

In experimentellen Tests erreichte der CAE eine Genauigkeit von 80,95 % bei Top‑5‑Spaltengruppierungen – ein deutlicher Vorsprung gegenüber klassischen NLP‑Ansätzen wie Bag‑of‑Words, die lediglich 47,62 % erzielten. Diese Ergebnisse zeigen, dass der CAE besonders gut darin ist, identische Spalten in heterogenen Datensätzen zu erkennen und zu clustern.

Die Arbeit schließt die Lücke zwischen theoretischen Fortschritten in der Zeichenverarbeitung und praktischen Anforderungen in der Industrie. Mit dem CAE können Unternehmen ihre Datenbanken besser strukturieren und die Analyse nicht‑semantischer Daten erheblich vereinfachen.