Adatsorkiválasztás

Adatsorkiválasztás a folyamat, amely során egy adathalmazból vagy adatbázisból kiválunk egy vagy több sort a további elemzések, modellezés vagy tisztítás céljából. A kiválasztás történhet feltételek alapján vagy mintavételi eljárásként; a megközelítés alapja a vizsgált cél és a kívánt reprezentativitás.

Feltételes kiválasztás például SQL-ben vagy Pandas-ben: lekérdezéssel vagy boolean indexeléssel adatsorok kiválasztása a megfelelőségi feltételek szerint. A módszer gyors és konkrétan megadható, de érzékeny lehet a torzításra, ha a feltételek nem reprezentatívak vagy a teljes adathalmaz struktúrája nem ismeri fel a fontos összefüggéseket.

Mintavételi megközelítések közé tartozik a véletlenszerű kiválasztás, a rétegzett mintavétel, a szisztematikus és a klaszter mintavétel. Ezek célja általában a teljes adathalmaz reprezentatív részeredményének kialakítása, a várható jellemzők arányainak megőrzése, illetve a számítási költségek csökkentése. Reprodukálhatóság érdekében gyakran meghatározható egy determinisztikus mag (seed).

Fontos szempontok: torzítás elkerülése, hiányzó adatok kezelése, adat-leakage elkerülése a modellezési fázisban, mintavételi arány megadása és dokumentálása, valamint a kiválasztási kritériumok megértése és igazolása.

Alkalmazások közé tartozik az adatok előfeldolgozása, feltáró adatelemzés, modellépítés előkészítése, kereszt-ellenőrzés és alapvető statisztikai elemzések. Általában a folyamat része a data wranglingnek és az ETL-nek, és a kiválasztás módszertana jelentősen befolyásolhatja az elemzések megbízhatóságát.