Tokenizált

Tokenizált vagy tokenizáció alatt általában az adatok olyan feldolgozását értjük, amelyben a valós értékeket nem közvetlenül tárolják vagy továbbítják, hanem helyettesítő tokeneket használnak. A tokenekhez gyakran egy biztonságos leképező adatbázisban vagy tárolóban tartott párokon keresztül férnek hozzá, így a visszakeresés lehetősége megmarad, de a közvetlen értékek védelmet kapnak.

A tokenizáció különbözik a titkosítástól: a tokenek célja a minimálisan érzékeny adatok megőrzése és a kockázat csökkentése, gyakran úgy, hogy a tokenek önmagukban nem visszafejthetők. Lehet determinisztikus vagy véletlenszerű; determinisztikus tokenizáció esetén ugyanaz a forrásérték mindig ugyanazt a tokent adja, míg a véletlenszerű tokeneknél a visszafejtéshez a megfeleltető adatbázis szükséges.

Az adatok mellett a természetes nyelvfeldolgozásban a tokenizáció szövegen végzett előfeldolgozási lépés: a nyers szöveg tokenekre bontása szóközök, írásjelek vagy al- (subword) egységek alapján. A modernebb nyelvi modellek gyakran subword tokenizációt alkalmaznak (például BPE vagy WordPiece), amely hatékonyan kezeli ismeretlen szavakat és redukálja a szótár méretét.

Gyakorlati alkalmazásai közé tartozik a pénzügyi és egészségügyi adatvédelmi megoldásokban a fizetési adatok védelme és a megfelelés elősegítése, valamint adatelemzési és keresési feladatok támogatása anélkül, hogy a közvetlen érzékeny adatok kerülnek felhasználásra. Kihívások közé tartozik a visszafejtés és lekérdezések biztonságos kezelése, valamint a tokenizációs rendszer teljesítmény- és költségigénye.