streamingDaten

StreamingDaten bezeichnet kontinuierlich erzeugte Datensätze, die in nahezu Echtzeit erfasst, transportiert und verarbeitet werden. Typisch treten sie als ein endloser Strom von Ereignissen auf, der von Quellen wie Sensoren, Anwendungen, Transaktionssystemen oder Logs stammt. Charakteristische Merkmale sind hohe Geschwindigkeit (Velocity), großes Volumen (Volume), Vielfalt der Formate (Variety) und oft Unsicherheit oder Unvollständigkeit der Daten (Veracity).

Datenflüsse und Verarbeitung bestehen aus drei Teilen: Datenerzeugung (Produzenten), Übertragung und Messaging (Broker oder Pub/Sub-Systeme) sowie Verarbeitung und Speicherung (Stream-Processing-Engines und Speicherschichten). Typische Architekturen verwenden Themen oder Kanäle, Partitionierung zur Skalierung, Zeitstempel und Offsets zur Rekonstruktion der Reihenfolge. Verarbeitungsmodelle umfassen event-getriebenes Streaming, Mikro-Batching und true Streaming. Wichtige Semantiken sind exactly-once, at-least-once und at-most-once.

Gängige Technologien bzw. Ökosysteme ermöglichen das Ingestieren, Verarbeiten und Speichern von StreamingDaten, darunter Messaging-Systeme, Stream-Processing-Engines und Datenspeicher. Typische Formate sind JSON, Avro oder Protobuf; beim Speichern können Parquet oder ORC genutzt werden, während im Fluss oft kompakte Formate für die Übertragung eingesetzt werden.

Anwendungsfelder reichen von Echtzeit-Analytik und Systemüberwachung über Betrugserkennung und Personalisierung bis hin zu IoT-Telemetrie. Zentrale Herausforderungen sind Latenz, Ordering, verspätete oder verlorene Daten, Schema-Änderungen, Skalierbarkeit, Backpressure und Sicherheitsaspekte. Strategische Entscheidungen betreffen Datenqualität, Governance, Speicherarchitektur und Compliance.