tokenisasi

Tokenisasi adalah proses membagi teks atau data menjadi unit-unit lebih kecil yang disebut token. Dalam konteks bahasa, token bisa berupa kata, frasa, angka, atau tanda baca. Contoh sederhana: teks “Saya suka makan nasi” dapat ditokenisasi menjadi “Saya”, “suka”, “makan”, “nasi”, tergantung aturan yang dipakai, termasuk apakah tanda baca diperlakukan sebagai token terpisah.

Di bidang pemrosesan bahasa alami, tokenisasi sering menjadi langkah awal untuk analisis teks, pencarian informasi, dan pemodelan bahasa. Jenis tokenisasi meliputi tokenisasi kata, tokenisasi kalimat, tokenisasi subkata (seperti Byte-Pair Encoding, WordPiece, dan Unigram), serta tokenisasi karakter. Pendekatan yang digunakan bisa berbasis aturan (misalnya ekspresi reguler) atau pembelajaran mesin untuk menyesuaikan dengan bahasa atau domain tertentu.

Selain NLP, tokenisasi juga dikenal dalam keamanan data dan keuangan. Dalam keamanan data, tokenisasi menggantikan data sensitif (misalnya nomor kartu kredit) dengan token yang tidak memiliki makna jika dibaca sendiri. Dalam keuangan, tokenisasi aset merujuk pada representasi aset nyata sebagai token digital pada jaringan blockchain, yang berpotensi meningkatkan likuiditas, fragmentasi kepemilikan, dan efisiensi perdagangan, meskipun diikuti oleh tantangan regulasi dan keamanan.

Tantangan teknis meliputi bahasa dengan kata berimbuhan, pengolahan singkatan, angka, dan pemenggalan kata yang tidak konsisten. Tokenisasi juga perlu konsisten dengan tugas lain seperti stemming atau lemmatization untuk mencegah kehilangan informasi. Perbedaan aturan lintas bahasa dan domain dapat mempengaruhi akurasi analitik dan kinerja sistem.