sügavõppega

Sügavõpe (deep learning) on masinõppe ala, kus mudelid kasutavad mitmekihilisi närvivõrke, et õppida andmete hierarhilisi esitusviise. Kuna need mudelid õpivad otse andmetest, ei ole vaja ulatuslikult käsitsi loodud omadusi.

Põhimõtted: madalamad kihid avastavad lihtsaid omadusi (servad, märgid), kõrgemad kihid ühendavad need keerukamate tähendustega. Treening toimub tavaliselt tagasivaatamise (backpropagation) ja gradientide langetamise teel, tihti suure andmemahtu ja arvutusvõimsust kasutades.

Ajalugu: 20. sajandi lõpp ja 2000ndate algus tõid esile sügavõppe potentsiaali; 2012. aasta AlexNet näitas suurt edu visuaalses klassifitseerimises; 2017+ tõid transformerid ja suurendatud keelamudelid (BERT, GPT).

Arhitektuurid: CNN-id visuaalseks tööks; RNN-id ja LSTM-id järjestustööde jaoks; transformerid, mille keskmes on tähelepanu (attention).

Rakendused: arvutinägemine, kõnetuvastus, masintõlge, loomuliku keele mõistmine, meditsiiniline kujutiste analüüs, soovitusmootorid.

Väljakutsed: suur nõudlus andmekogude ja arvutusressursside järele; mudelite must kast olemus; eetika, privaatsus ja läbipaistvus.

Tulevik: energiasäästlikumad mudelid, transfer learning, federated learning ja paremad tõhustamise meetodid.