klasterizimit

Klasterizimi është një detyrë e mësimit të pa monitoruar që synon të ndajë një set të të dhënave në grupe (klastere) ku të dhënat brenda një klaster janë më të ngjashme me njëra-tjetrën sesa me të dhënat nga klasteret e tjera. Qëllimi është të zbulohet strukturë dhe modelet e fshehura nga të dhënat pa një etiketim paraprak.

Klasterizimi mund të klasifikohet në disa qasje kryesore: partitoni (partitioning), hierarkik, densitet-based, model-bazuar dhe spektral. Algoritmet më të përdorura përfshijnë K-means dhe variantet e tij, të cilat krijojnë klastere me forma të afërta qoftë për të përhapur të dhënat; klasifikimi hierarkik me skedim të ngadaltë ose të përhapur të klastereve; DBSCAN dhe OPTICS që identifikojnë klasteret sipas densitetit dhe janë të mirë për klasteret me forma jo të parashikueshme; modele probabilistike si Gaussian Mixture Models që i referohen të dhënave si përhapje të vlerave të një numri klasteresh.

Përgatitja për klasterizim përfshin standardizimin ose normalizimin e të dhënave, trajtimin e të dhënave jo të shëndetshme të shpërndara, dhe, në rast të të dhënave të ndryshme llojesh, kodimin e të dhënave kategorike. Zgjedhja e numrit të klastereve shpesh vlerësohet me metoda si elbow method, silhuetë ose gap statistic. Shpesh përdoren dimensionale redukuese si PCA për të përmirësuar performancën.

Aplikimet përfshijnë segmentimin e klientëve, analizën e imazheve, bioinformatikën, rrjetet sociale dhe zbulimin e anomalive. Sfida kryesore përfshin dimensionet të larta, zhurra, forma jo-tipike të klastereve, shkallëzueshmërinë dhe vlerësimin objektiv të rezultateve pa etiketim të parazgjedhur. Historikisht, klasterizimi është i zhvilluar nga statistika dhe AI, me zhvillime të rëndësishme që përfshijnë K-means në vitet 1960-1967 dhe metodat densitet-based në fund të shekullit të kaluar.