LeNet5verkko

LeNet-5-verkko on varhainen konvoluutioneuroverkko, suunniteltu käsin kirjoitettujen numeroiden tunnistukseen. Sen tarkoitus oli osoittaa, että gradienttilähtöinen oppiminen voidaan yhdistää visuaalisiin tehtäviin ja saavuttaa korkea tarkkuus pienellä koulutusdatalla. Verkko esiteltiin vuonna 1998 Yann LeCunin ja kumppanien artikkelissa Gradient-based learning applied to document recognition. Se on yksi varhaisista menestyneistä syväverkkoarkkitehtuureista ja usein mainitaan konvoluutioneuroverkkojen varhaisena perustana.

Arkkitehtuuri koostuu peräkkäisistä kerroksista. Alkuperäinen syöte on 32x32 pikselin harmaasävykuva. C1-kerroksessa on kuusi konvoluutiokarttaa, jokaisessa 5x5-ydin, jonka jälkeen tulokset ovat 28x28. Tämän jälkeen S2-kerros suorittaa 2x2:n keskiarvoalennuksen, jolloin ominaisuuskartat ovat 14x14. C3-kerroksessa on 16 karttaa, jokainen 5x5-ydin; tulos on 10x10. S4-kerros edelleen tekee 2x2:n poolingia, jolloin tulos on 5x5. C5-kerroksessa on 120 neuronia, jotka ovat yhteydessä kaikkiin S4-kerroksen 5x5-tilaiseen tuloon (käytännössä täysin yhdistetty kerros). Seuraavana on F6-kerros, jossa on 84 neuronia, ja lopuksi 10-neuroninen ulostulokerros, joka vastaa numeroita 0–9. Aktivaatiofunktioina käytettiin alun perin tanh- tai sigmoidisäätöjä.

Koulutuksesta ja vaikutuksesta: LeNet-5 koulutettiin backpropagationilla ja käyttämällä pienempää koulutusdataa sekä tarvekoodatut painot. Verkko saavutti korkean tarkkuuden käsin kirjoitettujen numeroiden tunnistuksessa, erityisesti MNIST-tyyppisillä kuvasarjoilla. Tämä arkkitehtuuri vaikutti syvästi myöhempiin konvoluutioneuroverkkoihin ja toimi osoituksena siitä, että kerrosten hierarkkinen rakenne voi oppia kuvaominaisuuksia autonomisesti.

Nykykontekstissa LeNet-5 nähdään historiallisena virstanpylväänä CNN-tekniikassa. Modernit verkot käyttävät usein ReLU-aktivaatioita ja maksimaalisen poolauksen sijaan, mutta LeNet-5:n perusperiaatteet – konvoluutio, pooling ja täysin yhdistetyt kerrokset – ovat edelleen keskeisiä monissa nykyisissä arkkitehtuureissa.