Lineaarimalli

Lineaarimalli on tilastollinen malli, jossa riippuva muuttuja y määritellään lineaarisena yhdistelmänä selittäjistä x1, x2, ..., xp. Malli kirjoitetaan y = β0 + β1 x1 + ... + βp xp + ε, jossa β0 on vakioparametri, βj ovat estimoitavia parametreja ja ε on satunnainen virhe, jonka oletetaan seuraavan tiettyä jakaumaa ja olevan riippumaton muista selittäjistä. Selittäjät voivat olla numeerisia tai dummy-muuttujia; malli kuvaa lineaarisia suhteita riippuvan muuttujan ja selittäjien välillä.

Estimointi: Yleisin menetelmä on pienimmän neliön estimaatio (OLS), joka minimoi residuaalien (havaittujen ja mallin ennustamien arvojen) neliöiden summan. OLS-estimaattorit ovat BLUE, kun Gauss–Markovin oletukset pätevät: lineaarinen muoto, virheet ε ovat keskijakautuneet ja riippumattomia, virheillä on vakio varianssi eikä monimutkainen korrelaatio selittäjien välillä. Normaalijakauma virheissä ei ole välttämätöntä estimaatioille, mutta mahdollistaa tilastolliset testit ja luottamusvälien laskennan.

Tulokset ja käyttö: βi kertoo, miten y:n odotettu arvo muuttuu, kun xi kasvaa yhdellä yksiköllä, muiden selittäjien pysyessä vakiona. Intercept β0 vastaa y:n arvoa, kun kaikki xi ovat nollia. Mallia käytetään ennusteisiin sekä luottamusvälien ja ennustevirheiden arviointiin. Yleisiä mittareita ovat R-squared ja adjusted R-squared sekä F-testi residuaalianalyysissä.

Laajennukset ja rajoitukset: Lineaarimallia voidaan laajentaa yleisempään lineaariseen malliin tai käyttämällä muunnoksia ja säännöstelymenetelmiä kuten ridge- ja LASSO-regressi. Silloin voidaan hallita monimutkaisuutta ja monimutkaista korrelaatiota. Mallin vahvuuksiin kuuluvat tulkittavuus ja laskennallinen yksinkertaisuus, mutta oletukset voivat rajoittaa soveltuvuutta; ei-lineaariset suhteet tai epävarma syy-seuraussuhde voivat vaatia muita menetelmiä tai lisäoletuksia.