LSAtyyppisillä

LSA-tyyppisillä viitataan joukkoon laskennallisia tekniikoita, joissa pyritään mallintamaan sanojen ja dokumenttien semanttista suhdetta piilotettujen rakenteiden avulla. Tyylin keskeinen idea on muuttaa teksti numeeriseen tilaan siten, että samankaltaiset merkitykset sijaitsevat lähellä toisiaan.

Perusmenetelmä perustuu termi-dokumentti -matriisiin, jossa kussakin solussa on sanan esiintymisen paino tai tf-idf-arvo. Matriisi pienennetään matemaattisesti singular value decompositionilla (SVD) tai vastaavilla tekniikoilla, jolloin saadaan pienemmän kokoa olevia latenttien aihepiirien (concepts) tiloja. Näin sanojen ja dokumenttien vektorit edustavat piilotettuja semanttisia suhteita; samankaltaiset termit ja dokumentit ovat lähempänä toisiaan kosinukseta tai muiden etäisyyksien perusteella.

LSA-tyyppisiä menetelmiä on sovellettu tiedonhakuun, dokumenttien klusterointiin, kysymysten ja vastausten semanttiseen yhdistämiseen sekä semanttisen similariteetin arviointiin. Ne ovat osoittautuneet tehokkaiksi suurten korpusten yhteydessä ja voivat sietää termin synonyymia sekä sanamuotojen variaatioita, mutta niiden rajoituksiin kuuluvat lineaarisuus, tulkinnan vaikeus sekä riippuvuus riittävän suurista ja monipuolisista tekstiaineistoista.

Nykyisin LSA-tyyppisiä malleja täydentävät tai korvaavat usein muut tekniikat, kuten sanojen upotusmallit (word embeddings) ja neuroverkkopohjaiset transformer-mallit. Silti LSA-konseptit tarjoavat selkeän ja opettavaisen lähestymistavan semanttisen tilan mallintamiseen ja tekstien vastaavuuksien arviointiin.