MapReducepõhiseid

MapReducepõhised süsteemid tähistavad andmete töötlemise arhitektuuri, mis põhineb MapReduce paradigmil. Need süsteemid töötlevad suurandmeid hajutatult klastris, jagades töö kaheks peamiseks faasiks: map ja reduce. Sisend loetakse võtme-väärtuse paaridena; Map-faasis luuakse uusi võtme-väärtuse paare, mille järel toimub vahevõtmete (shuffle) sorteerimine ja grupeerimine, ning Reduce-faasis koondatakse või teisendatakse väärtused lõpp-tulemusteks.

Omadused ja tööpõhimõtted: MapReducepõhised süsteemid on skaleeritavad ja taluvad vigade ilmnemist tänu andmete replikatsioonile ning automaatsele ülesannete jaotusele. Töö käivitub hajutatud failisüsteemis (nt HDFS) ning ressursihaldus (nt YARN) korraldab klastris töötavate nodide kasutamise. Programmeerimine toimub peamiselt võtme-väärtuse paaride abil, sageli Java, kuid on olemas ka Pythoni ja teiste keelte API-d.

Tüüpilised kasutusvaldkonnad hõlmavad suurte logide analüüsi, veebisisu indekseerimist, ETL-protsesse ja suurandmete arhiveerimist. Kuna tegemist on partiitöötlusega (batch processing), sobib see paremini ajaliste analüüside jaoks kui reaalajas töötlemiseks. Iteratiivsete või tihedalt seotud tööde jaoks on välja arendatud teisi lahendusi.

Ajalugu: Google tutvustas MapReduce ideed 2004. aastal teadusartiklites; avatud lähtekoodina Hadoop arendati 2000ndate lõpus ja 2010-ndatel sai see laialdaseks standardiks suurandmete töötlemisel.