Erstellung und Validierung partitionierter Datenpipelines mit Dagster und ML

In diesem Tutorial wird gezeigt, wie man mit Dagster eine hochgradig strukturierte Datenpipeline aufbaut und gleichzeitig die Qualität der Daten sicherstellt. Der Fokus liegt dabei auf einer CSV‑basierten IO‑Manager‑Implementierung, die sämtliche Assets zuverlässig speichert.

Die Pipeline erzeugt täglich synthetische Verkaufsdaten, die anschließend einer gründlichen Bereinigung unterzogen werden. Im nächsten Schritt erfolgt die Feature‑Engineering‑Phase, in der aus den Rohdaten aussagekräftige Merkmale extrahiert werden. Anschließend wird ein Machine‑Learning‑Modell trainiert, das die Verkaufszahlen prognostiziert.

Ein besonderes Highlight ist die eingebettete Datenqualitätsprüfung. Sie überprüft, ob fehlende Werte, Werte außerhalb zulässiger Bereiche oder inkonsistente kategoriale Daten vorhanden sind. Durch diese Validierung wird sichergestellt, dass das Modell nur auf sauberen und konsistenten Daten trainiert wird.