spaltenorientiert

Spaltenorientiert bedeutet, Daten in Spalten statt in Zeilen zu speichern. Bei spaltenorientierten Systemen liegen die Werte einer Spalte zusammenhängend im Speicher, während bei zeilenorientierten Systemen die Werte eines Datensatzes zeilenweise hintereinander gespeichert werden. Der Begriff wird vor allem im Zusammenhang mit Datenbanken, Data-Warehouses und analytischen Anwendungen verwendet.

Funktionsweise: Spalten werden getrennt gespeichert und oft komprimiert. Da Abfragen meist nur wenige Spalten benötigen, liest das System nur die relevanten Spalten ein, was I/O verringert und Cache-Effizienz erhöht. Typische Formate sind spaltenorientierte Dateiformate wie Parquet oder ORC; in Datenbanken erfolgt die Speicherung in Spalten einschließlich spaltenbasierter Kompressionen und Kodierungstechniken wie Dictionary-Encoding oder Run-Length-Encoding.

Vorteile und Einschränkungen: Vorteile sind schnellere Scan- und Aggregationsläufe über große Datenmengen, bessere Kompression und reduzierte Festplatten- bzw. Netzwerkbelastung. Einschränkungen betreffen Schreiboperationen: Updates, Inserts und Transaktionen können langsamer sein, häufig benötigen Systeme spezielle Mechanismen (z. B. Batch- oder Append-Only-Modelle) oder hybride Architekturen.

Einsatzgebiete und Beispiele: Hauptsächlich in Data Warehouses, OLAP, Business-Intelligence und Big-Data-Analytik. Bekannte spaltenorientierte Systeme und Technologien umfassen Vertica, ClickHouse, Amazon Redshift und Google BigQuery; gängige Dateiformate sind Apache Parquet und ORC.

Geschichte und Status: Spaltenorientierte Ansätze entwickelten sich aus dem Bedarf an effektiven Read-Heavy-Workloads in den 2000er Jahren und haben sich zu einem zentralen Bestandteil moderner Analytik entwickelt. Viele Systeme kombinieren spaltenorientierte Engines mit zeilenorientierten Modulen, um Transaktionen und Analysen zu integrieren.