RGBDaten

RGB-Daten bezeichnet Datensätze, die Farbinformationen eines Bildes (RGB) zusammen mit Tiefeninformationen pro Bildpunkt liefern. Die Tiefenwerte beschreiben die Entfernung der Oberflächen zum Sensor und ermöglichen eine dreidimensionale Repräsentation der Szene. Üblicherweise sind RGB- und Tiefenbild auf Pixelebene ausgerichtet.

Die Tiefenwerte werden oft als 16-Bit-Werte gespeichert, Maßeinheit Meter oder Millimeter, während RGB-Werte 8 Bit pro Kanal verwenden. Vor der Verarbeitung ist eine Kalibrierung und eine Extrinsic-Registration zwischen RGB- und Tiefensensor erforderlich, damit beide Datensätze räumlich übereinstimmen.

Tiefensensoren nutzen verschiedene Technologien: strukturiertes Licht und Time-of-Flight (ToF) für aktive Messung, oder rein passive Stereoauflösungen. Bekannte Sensoren sind Microsoft Kinect (v1 Strukturlicht, v2 ToF), Intel RealSense und verschiedene Stereo-Kameras. Tiefenkarten können direkt neben dem RGB-Bild oder in übereinstimmender Form mit dem RGB-Bild bereitgestellt werden.

Anwendungen umfassen Roboter- und autonome Navigation, 3D-Rekonstruktion, Objekt- und Gestenerkennung, Augmented Reality sowie medizinische Bildgebung. RGB-Daten erleichtern das Erkennen von Form, Abstand und Oberflächenstrukturen und ermöglichen das Erzeugen von Punktwolken oder Tiefenkarten für weitere Analysen.

Herausforderungen bestehen in Rauschen, fehlenden Tiefenwerten insbesondere an Rändern, Reflexionen, Transparenz und Schatten. Kalibrierung, Synchronisation und die Integration von Depth- und RGB-Daten erfordern oft Filterung, Interpolation und Filling-Methoden. Große Datensätze dienen als Benchmarks in der Forschung.

Wichtige Datensammlungen sind NYU Depth v2, SUN RGB-D, KITTI und SceneFlow, die RGB-D-Paare mit Annotations liefern und als Referenz für Modelle dienen.