Preprosessering

Preprosessering er en samlebetegnelse for teknikker og prosesser som forbereder rådata for videre analyse og modellbygging. Formålet er å forbedre datakvalitet, konsistens og representasjon, redusere støy og bias, samt gjøre dataene mer egnet for algoritmer. Preprosessering skjer på tvers av fagområder og kan være avhengig av datatype og mål.

Vanlige trinn inkluderer datarensing (fjerne duplikater, rette feil, avvik), håndtering av manglende verdier gjennom imputasjon eller fjerning, normalisering eller standardisering av numeriske variabler, og transformasjoner (for eksempel log-transformasjoner). Videre kan det være kodings- og one-hot encoding av kategoriske variabler, dimensjonsreduksjon, og splitting av data i trenings- og testsett for å unngå informasjonslekkasje. Dokumentasjon og reproduserbarhet er sentralt.

I forskjellige områder omfatter preprosessering tekst, som tokenisering, stemming/lemmatisering og fjerning av stopwords; bilde- og lyddata krever reskalering, justering av intensitetsnivåer og ofte nedskalering av oppløsning; tidsserier kan innebære støyreduksjon og sesongjustering. Valget av teknikker avhenger av mål, metoder og datasett, og god praksis krever vurdering av effekten av prosessering på modellens ytelse og konsekvenser for pålitelighet og personvern.