Siameseverkkoihin

Siameseverkot ovat neuroverkkorakenteita, joissa kaksi tai useampi identtinen aliverkko jakavat painonsa ja käsittelevät erillisiä syötteitä. Niiden tavoitteena on oppia yhteinen avaruus (embeddings), jossa kahden syötteen samankaltaisuus voidaan mitata luotettavasti. Yhteisen painojen jakaminen varmistaa, että vastaavat syötteet tuottavat lähelle toisiaan olevia edustuksia ja erilaiset syötteet kaukaantuvat toisistaan.

Arkkitehtuurin keskeinen piirre on, että kummassakin haarassa käytetään samaa verkkoa siten, että painot ovat jaettuja. Syötteet kulkevat erillisten polkujen kautta ja yhdistettyään kahden edustuksen välinen etäisyys tai vastaava mittaus käytetään ulkoisena tavoitteena. Yleisiä käyttötapauksia ovat kuvan tai teksti- ja äänisignaalien muuntaminen yhteiseen embedding-tilaan, jonka avulla voidaan arvioida kahden syötteen samankaltaisuus.

Koulutusmenetelmät ja häviöt. Koulutuksessa käytetään viritettyjä menetelmiä, kuten kontrastihäviötä (contrastive loss), jossa samanlaiset parit pyritään pitämään lähellä toisiaan ja erilaiset parit kaukana toisistaan, sekä triplet-häviötä (triplet loss), jossa kolmen näytteen avulla optimoidaan, että "ankkurin" ja "positiivisen" välinen etäisyys on pienempi kuin "ankkurin" ja "negatiivisen" väliset etäisyydet tietyn marginin yli. Embedding-tilat yleensä mitataan L2- tai kosinus- etäisyyksien avulla.

Sovellukset ovat monipuolisia: kasvojen tunnistus ja vahvistus, käsialan vahvistaminen, yhden oppimisen (one-shot) tehtävät sekä nopea kuvien haku. Haasteisiin kuuluu tehokas parien tai tripletien valinta sekä datan laatu, mallin ylisovittuvuus ja laskennallinen kustannus.

Historia ja vaikutus. Kontrastioppi siamesiverkoille esiteltiin vuonna 2006 Hadsellin ja kollegoiden toimesta, ja triplet loss sekä FaceNet ovat tulleet tunnetuiksi 2015-luvulla. Siamesiverkkoja on sovellettu laajasti havainnoinnin, biometrisen tunnistuksen ja multimodaalisen samankaltaisuuden tutkimuksessa.