Verkkodatan

Verkkodatan on yleistermi dataan liittyen internetin välityksellä syntyvästi, julkaistusta tai kerätystä aineistosta. Siihen kuuluvat sekä julkisesti saatavilla oleva verkkosisältö – teksti, kuvat, video sekä verkkosivujen metatiedot – että palveluiden tuottama data, kuten API-rajapintojen vastaukset, järjestelmien lokit sekä IoT-laitteiden ja verkkoliikenteen tapahtumat. Verkkodata voidaan luokitella rakenteelliseen, puolistrukturoituun tai epästrukturoituun sen mukaan, miten se on järjestetty.

Verkkodatan lähteet ovat moninaisia: verkkosivustot ja niiden indeksoima sisältö, hakukoneet, sosiaalinen media ja foorumit sekä viranomaisten ja tutkimuslaitosten avoimet datakokoelmat. Data voi olla rakenteellista (esim. taulukot, JSON- ja XML-tiedostot), puolistrukturoitua (CSV) tai epästrukturoitua (teksti, kuvat, video).

Käyttö ja hankinta tapahtuvat monin tavoin. Verkkodataa käytetään tutkimuksessa, liiketoiminnan analytiikassa sekä tekoälyn ja koneoppimisen koulutuksessa, palveluiden kehittämisessä ja kaupungin suunnittelussa. Hankinta voi perustua web-scrapingiin, API-rajapintojen kautta saatavaan dataan tai lisensoituun dataan. Eettiset ja oikeudelliset kysymykset, kuten yksityisyyden suoja, tekijänoikeudet ja käyttöehdot, rajoittavat ja ohjaavat käsittelyä.

Käsittelyyn liittyy lisäksi laadunvarmistus, datan alkuperän todentaminen sekä metatietojen standardointi. Tietosuoja- ja yksilön suojan säädökset, kuten GDPR, vaikuttavat siihen, miten verkkodataa voidaan kerätä, säilyttää ja jakaa. Yhteentoimivuus ja läpinäkyvyys helpottavat datan hyödyntämistä tutkimuksessa ja kehitystyössä.