adatbányászat

Adatbányászat vagy data mining olyan tudományos és gyakorlati tevékenység, amely nagy adathalmazokban minták és összefüggések felfedezésére irányul. A cél a rejtett információk feltárása és gyakorlati modellek létrehozása.

Általában a tudás felfedezése adatbázisokból (KDD) keretében történik, több lépésben: adatgyűjtés és -tisztítás, adatelőkészítés, minták keresése, modellezés, értékelés és telepítés. A folyamat hangsúlyozza az adatminőséget és a validációt.

A leggyakoribb technikák közé tartozik a felügyelet nélküli és felügyelt tanulás: osztályozás, klaszterezés, asszociációs szabályok, regresszió és anomália detektálás; időbeli vagy szekvenciális adatok esetén mintázat- és sorrend-elemzés is előfordul. A modellek választása a feladattól és az adatok jellegétől függ.

Az adatbányászat során általános keretrendszerek és eszközök használhatók, például SQL-alapú lekérdezések, programozási környezetek (Python, R), illetve konkrét szoftverek (például Weka, SAS). A munkaerő a valós adatanalízis, előfeldolgozás és validáció.

Alkalmazási területek: kereskedelem, finanszírozás, egészségügy, telekommunikáció, gyártás, közlekedés és biztonság. Az adatbányászat segít fogyasztói magatartás megértésében, kockázatértékelésben és folyamatoptimalizálásban.

Etikai és jogi kérdések: adatvédelmi szabályok betartása, személyes adatok védelme, torzítás és transzparencia. A gyakorlati használatnál fontos a modellérvényesség és a döntéstámogatás felelőssége.