Pipelinetyypit

Pipelinetyypit tarkoittavat erilaisten järjestelmien ja prosessien yhdistelmiä, joissa tehtäviä tai tietoja siirretään vaiheiden ketjuna. Eri konteksteissa pipelinetus voi tarkoittaa ohjelmistokehityksen, tietojenkäsittelyn tai tietokonemallien toteutusta.

Ohjelmistokehityksessä CI/CD-pipelinet tarkoittavat automatisoidun elinkaaren vaiheita: koodin muutoksista muodostuu rakennus, testaus ja käyttöönotto. CI pyrkii yhdistämään kehittäjien muutokset usein, CD varmistaa, että koodia voidaan toimittaa tuotantoon helposti ja turvallisesti; CD voi tarkoittaa jatkuvaa toimitusta tai jatkuvaa käyttöönottoa.

Tietoputkistoissa data-pipelines siirtävät ja muuntavat dataa lähteestä kohteeseen. Eri tyypit ovat batch-pipeline, joka ajastetaan eräajoihin, sekä streaming-pipeline, joka käsittelee dataa reaaliaikaisesti tai lähes reaaliaikaisesti. Hyödynnetään ETL- tai ELT-menetelmiä sekä orkestrointia työpajoissa kuten Apache Airflow, Prefect tai Kubernetes-pohjaiset ratkaisut. Pipelines voivat koskea dataa, tapahtumia, logeja tai muita tiedonlähteitä.

Tietokoneen arkkitehtuurissa pipeline-tyypeillä viitataan usein ohjaus- eli prosessorin sisäiseen putkistoon, jonka kautta käskyt kulkevat. Yleinen malli on viiden vaiheen putki: fetch (hae), decode (tunnista), execute (toteuta), memory access (muisti) ja write-back (kirjoita takaisin). Häiriöitä voivat aiheuttaa data-häiriöt ja kontrollihäiriöt. Ratkaisuja ovat eteenpäin ohjaus (forwarding), tauot (stalling) ja haarautumisen ennustaminen.

Suunnittelussa huomioitavia kysymyksiä ovat idempotenssi, virheiden sietokyky, monitorointi sekä datan jäljitettävyys ja luotettavuus.