Einheitliche Apache Beam Pipeline: Batch & Stream mit Event‑Time‑Windowing im DirectRunner

In einem neuen Tutorial wird gezeigt, wie man eine einheitliche Apache Beam Pipeline erstellt, die sowohl im Batch‑ als auch im Stream‑Modus mit dem DirectRunner funktioniert. Dabei werden synthetische Daten erzeugt, die bereits über ein Event‑Time‑Feld verfügen, sodass die Verarbeitung zeitlich exakt nachvollzogen werden kann.

Die Pipeline nutzt feste Fenster (Fixed Windows) und kombiniert sie mit Triggern sowie einer definierten Allowed‑Lateness. Dadurch wird demonstriert, wie Apache Beam sowohl pünktliche als auch verspätete Ereignisse zuverlässig verarbeitet. Durch das einfache Umschalten der Pipeline‑Konfiguration kann man nahtlos zwischen Batch‑ und Stream‑Verarbeitung wechseln, ohne die Logik zu verändern.

Das Tutorial bietet damit einen praxisnahen Leitfaden für Entwickler, die robuste Datenverarbeitungsprozesse bauen wollen, die sowohl historische Daten als auch kontinuierliche Datenströme gleichermaßen handhaben können.