Datentrömen

Datentrömen bezeichnet kontinuierliche Sequenzen von Datenelementen, die von Quellen über die Zeit erzeugt werden. In der Informationstechnik werden sie oft als Datenströme bezeichnet und bilden die Grundlage für Stream-Verarbeitung und Echtzeitanalytik. Datentrömen bestehen aus einzelnen Datenelementen, die typischerweise einen Zeitstempel, einen Schlüssel und eine Nutzlast enthalten. Der Datenstrom ist meist unbeschränkt und wird typischerweise in Echtzeit verarbeitet, während er eintrifft, statt erst später aus einer vollständigen Speicherung analysiert zu werden.

Zu den Merkmalen gehören Reihenfolge, Zeitbezug (Event Time vs Processing Time) und Liefersemantik (at least once, at most once, exactly once). Datentrömen können unstrukturiert oder halbstrukturiert sein und verschiedene Formate nutzen oder serialisiert werden, etwa JSON, Avro oder Protobuf. Übertragungsprotokolle variieren je nach Anwendungsfall, von TCP/IP-basierter Übertragung bis zu spezialisierten Protokollen wie MQTT im IoT oder RTP/RTSP für Medienströme.

Technisch werden Datentrömen durch Streaming-Plattformen verarbeitet, darunter Apache Kafka, Apache Flink und Spark Streaming. Medienströme verwenden adaptive Streaming-Standards wie HLS oder DASH; Wirtschaftsdaten fließen oft über Messaging-Systeme in Event-Driven-Architekturen ein.

Anwendungen umfassen Echtzeit-Dashboards, Monitoring und Alarmierung, IoT-Telemetrie, Finanz- und Börsen-Datenströme, Social-Media-Feeds sowie ereignisgesteuerte Softwarearchitekturen.

Herausforderungen umfassen Latenz, Durchsatz, Reihenfolge, Fehlertoleranz, Backpressure, Schema-Entwicklung und Datenqualität. Governance- und Datenschutzaspekte sowie Datenlinienführung sind bei Streaming-Anwendungen besonders relevant.