Vorverarbeitung

Vorverarbeitung (englisch preprocessing) bezeichnet in der Informatik und Datenanalyse den Prozess, Rohdaten in eine Form zu bringen, die von Analyseverfahren, Modellen oder Algorithmen effizient genutzt werden kann. Ziel ist es, die Qualität der Daten zu verbessern, Redundanzen zu verringern, Inkonsistenzen zu beseitigen und die Rechenleistung zu optimieren. Durch Vorverarbeitung lassen sich Verzerrungen reduzieren und die Vergleichbarkeit von Datensätzen erhöhen; sie dient zugleich der Reduktion von Rauschen und der Anpassung unterschiedlicher Formate an eine einheitliche Eingabe.

Typische Schritte umfassen Datenbereinigung, fehlende Werte zu behandeln, Ausreißer zu handhaben, Normalisierung oder Standardisierung, Skalierung, Kodierung kategorialer Merkmale (z. B. One-Hot-Encoding), sowie Datenintegration und Duplizitätsentfernung. Je nach Anwendungsfall kommen Transformations- oder Reduktionsverfahren hinzu, etwa für Merkmalsauswahl oder -extraktion, Dimensionsreduktion oder Datenaugmentation.

Anwendungsfelder reichen von maschinellem Lernen über Bild- und Sprachverarbeitung bis zu Textanalyse. In der Bildverarbeitung gehören Größenanpassung, Rauschunterdrückung und Farbnormalisierung zu den Standardmaßnahmen; in der Textverarbeitung erfolgen Normalisierung, Tokenisierung, Stemming/Lemmatisierung und Stopword-Entfernung. Unabhängig vom Feld ist eine sorgfältige Vorverarbeitung entscheidend, um Modelle robust zu machen und Datenleckagen zwischen Training und Test zu vermeiden.

Die Praxis erfordert Reproduzierbarkeit und Dokumentation, da Vorverarbeitungsergebnisse die Modellleistung stark beeinflussen können. Oft wird Vorverarbeitung als Teil einer Datenpipeline implementiert, die Versionierung, Logging und automatisierte Tests umfasst.