tiedonpoimintaan

Tiedonpoiminta on prosessi, jonka tarkoituksena on automaattisesti muuttaa epästrukturoitua tai osittain strukturoitua dataa rakenteelliseen muotoon. Tyypillisesti se kohdistuu tekstiin ja pyrkii löytämään ja yhdistämään relevantteja tietoja: entiteettejä kuten henkilöt, organisaatiot ja paikat; suhteita näiden välillä; sekä tapahtumia ja niiden attribuutteja, kuten ajankohtaa tai määrää. Se on tutkimusala, joka kuuluu luonnollisen kielen käsittelyn ja tiedonlouhinnan piiriin, ja sitä sovelletaan muun muassa tiedon rakentamiseen tietokantaan, tietämyksenvetoon ja hakukoneisiin.

Keskeisiä tehtäviä ovat nimi- eli entiteettitunnistus (NER), suhteiden poiminta (relation extraction) sekä tapahtumien ja ominaisuuksien poiminta. Tiedonpoimintaa käytetään laajasti erilaisten lähteiden, kuten uutisartikkelien, viranomaispäätösten, tutkimuspapereiden ja verkkosivujen, analysointiin.

Menetelmät vaihtelevat sääntöperusteisistä lähestymistavoista valvottuihin ja vahvasti valvottuihin koneoppimismalleihin sekä syväoppimiseen, mukaan lukien suurten kielimallien hyödyntäminen. Työprosessissa käytetään usein esikäsittelyä, tokenisointia, osittelua (POS-tunnistus), entiteettien tunnistusta, relaatio- ja tapahtumapoimintaa, viitteiden ratkaisuun sekä normalisointia ja integrointia tietovarastoihin.

Arvioinnissa käytetään tarkkuutta, palautusta ja F1-pisteitä sekä standardikokoelmia ja gold-standardia. Tiedonpoiminnan haasteisiin kuuluvat monimerkityksellisten ilmausten käsittely, domain-erojen hallinta ja viitteiden ratkaisu sekä monikielisyyden vaikutus.