Datenvirtualisierung

Datenvirtualisierung ist ein Ansatz der Datenintegration, der es ermöglicht, Daten aus verschiedenen, physischen Speichern über eine einzige, virtuelle Schicht abzurufen, ohne dass Daten physisch verschoben oder repliziert werden müssen. Die virtuelle Datenschicht präsentiert Nutzern und Anwendungen ein einheitliches, logisches Datenmodell.

Funktionsweise: Eine Datenvirtualisierungsplattform verbindet sich mit unterschiedlichen Quellen wie relationalen Datenbanken, Data Warehouses, Data Lakes, Cloud-Services, SaaS-Anwendungen und Dateien. Über Adapter oder Konnektoren werden Metadaten und Abfragepläne gesammelt. Bei einer Abfrage plant der Engine-Teil die Ausführung so, dass möglichst viele Operationen direkt in den Quellsystemen erfolgen (Push-Down), während Joins oder Aggregationen virtuell zusammengeführt werden. Caching oder Data-Staging können die Performance verbessern. Metadaten, Datenherkunft (Lineage) und Zugriffsrechte werden in einem Governance-Modul verwaltet.

Architekturbestandteile: Virtualisierungsschicht, Adapterlayer, Abfrageoptimierer, Metadaten-Repository/Data Catalog, Sicherheits- und Governance-Module sowie Optionen für Caching.

Anwendungsszenarien: Real-Time-BI und Berichte über mehrere Systeme hinweg, agile Analytik, Data-Governance in heterogenen Umgebungen, Unterstützung von Migrations- oder Konsolidierungsprojekten, Self-Service-Datenzugriff.

Vorteile und Herausforderungen: Vorteile sind geringere Datenreplikation, schnellere Bereitstellung, zentrale Governance und größere Flexibilität. Herausforderungen betreffen Leistungsoptimierung bei komplexen Quellensystemen, Aktualität der Daten, Sicherheit über Systeme hinweg, semantische Unterschiede und Wartung der Verbindungen.

Beziehung zu anderen Ansätzen: Datenvirtualisierung ergänzt klassische ETL/ELT-Ansätze, kann als Zwischenschritt bei Migrationen dienen und koexistiert oft mit physischen Repositories.

Anbieter und Beispiele: Denodo, IBM, SAP, Microsoft (z. B. PolyBase/External Tables), Oracle Data Service Integrator (früher) sowie weitere Plattformen wie Tibco oder Informatica.