kulcsszókivonás

Kulcsszókivonás a természetes nyelvfeldolgozás (NLP) egyik feladata, amelynek célja, hogy automatikusan azonosítsa és kivonja a dokumentumok tartalmi szempontból legjelentősebb kifejezéseit vagy kulcsszavait. Gyakran egy vagy több szóból álló kifejezéseket (kulcsszó-kifejezéseket vagy keyphrases) állít elő. Ezek a kifejezések segítik a keresést, az indexelést, a témák feltárását és leíró metaadatok készítését.

Kivonási megközelítések lehetnek felügyelt vagy felügyelet nélküli megközelítések. Gyakori módszerek: statisztikai alapú, például TF és TF-IDF, és a szövegkészletben való co-occurencia vizsgálatok; graf-alapú megközelítések, például TextRank és RAKE. Felügyelt rendszerek is léteznek, ahol a modell a kulcsszavak címkéit tanulja a jövőbeni dokumentumokra.

Az előfeldolgozás során a szöveget tokenizálják, lemmatizálást vagy stemminget végeznek, és gyakran stopword-mentesítést alkalmaznak. A kandidált kifejezések általában n-gramok (1–3 szavas kifejezések). A pontozás során a mutatók lehetnek TF-IDF értékek, graf-alapú rangsorok vagy RAKE-értékek. A top-k kifejezéseket vagy küszöbérték alapján választják ki.

Az alkalmazások közé tartozik a dokumentumkeresés és indexelés, automatikus metaadat-ellátás, címfelvetés, témák azonosítása és SEO-optimalizálás.

Az értékelés gyakran emberi annotációkhoz viszonyítva történik, és a pontosság, F1-szám vagy egyéb lefedettségi mutatók adják a teljesítményt. Kihívások közé tartozik a domain-specifikus terminológia, nyelvi sokszínűség, több szavas kifejezések pontos felismerése és a poliszémia, valamint a cross-domain alkalmazások nehézsége.