Lineaarregressioon

Sisesta andmepunktid ja vaata parimat sobitussirget, jääkliikmeid ning korrelatsioonistatistikat.

Näidisarvutus — Lineaarregressioon

Tõus (b)	1.03
Vabaliige (a)	0.87
R²	0.996
Pearsoni r	0.998

Need on väärtused, mida kalkulaator lehe avamisel näitab. Muuda ülal mõnda sisendit, et need ümber arvutada.

Interaktiivse simulatsiooni laadimine...

Õppetund

Teooria — Lineaarregressioon

Vähimruutude sirge on ainus sirgjoon, mis teeb punktide ja sirge vaheliste ruutu võetud vertikaalhälvete summa võimalikult väikeseks. Ruutu võetakse kahel põhjusel: et ülal- ja allpool asuvad hälbed ei saaks teineteist tühistada ning et üks suur hälve mõjutaks tulemust rohkem kui mitu väikest.

Mida iga sümbol tähendab

b: tõus — kui palju y muutub x-i ühe ühiku kohta.
a: vabaliige — y sovitatud väärtus kohal x = 0, sõltumata sellest, kas x = 0 asub andmete läheduses või mitte.
ŷ: sovitatud väärtus: mida sirge prognoosib antud x-i korral. Katus eristab seda mõõdetud y-st.
R²: osa y varieeruvusest, mida sirge selgitab, vahemikus 0 kuni 1.
r: Pearsoni r, korrelatsioon — sama informatsioon mis R², kuid märgiga, kandes seega edasi ka suunda.

Kust valem tuleb

Kirjuta üles minimeeritav suurus: S = Σ(y − a − b·x)², summeerituna üle kõigi punktide.
S on a ja b sile funktsioon, mistõttu on selle miinimumis mõlemad osatuletised nullid. Nende võrdsustamine nulliga annab kaks lineaarvõrrandit a ja b suhtes — normaalvõrrandid.
Nende lahendamine tõusu suhtes annab b = (n·Σxy − Σx·Σy) / (n·Σx² − (Σx)²) — üleval pool toodud valemi, kuhu on asendatud viis summat: (5·69.7 − 15·19.8) / (5·55 − 15²) = 51.5 / 50 = 1.03.

Eeldab: Eeldatakse, et sirgjoon on alustuseks õige kuju ning et kogu viga peitub y-s: minimeeritakse just vertikaalseid hälbeid, mistõttu käsitatakse x-i täpselt teadaolevana. Samuti on igal punktil võrdne kaal, olenemata sellest, kui kaugel see teistest asub.
Ei kehti, kui: Sirgel pole õrnematki aimu, kus su andmed lõppesid. Vaikimisi punktid ulatuvad vahemikku x = 1 kuni x = 5; küsi prognoosi kohal x = 6 ning see tagastab ilma ühegi nurinata ŷ(6) = 7.05, ehkki see ekstrapoleerib nüüd kaugemale kõigist vaatlustest, mille põhjal see luudi. Kõrge R² ei paku samuti kaitset — see mõõdab seda, kui hästi sirge sobitub, mitte kunagi seda, kas sirge oli üldse õige asi, mida sobitada.

miks üks punkt võib kogu sirge enda valdusesse võtta 🖖

Vähimruutude meetod minimeerib jääkliikmete ruutude summat, mistõttu trendist kaugel asuvat punkti karistatakse ruutsõltuvalt — see tõmbab sirge enda poole palju rohkem kui tavaline punkt. Cooki distants mõõdabki täpselt seda: kui palju sobitatud sirge nihkuks, kui see üks punkt eemaldada. Kõrge R² võib seda samuti varjata — üksainus mõjukas punkt võib korrelatsiooni paisutada isegi siis, kui ülejäänud pilv on peaaegu korrelleerimata. Lohista märgistatud punkt eemale ja jälgi, kuidas tõus sellele järgneb.

mida parim sobitussirge tegelikult teeb 🖖

Tööriist joonistab ühe sirge, mis on korraga kõigile punktidele kõige lähemal. "Kõige lähemal" tähendab väikseimat ruuduliste vertikaalsete vahede summat iga punkti ja sirge vahel — need vahed on jäägid, mida näidatakse väikeste pulkadena. R² näitab siis, kui suure osa y hajuvusest sirge kirjeldab: R² = 0.8 tähendab, et sirge selgitab 80% hajuvusest ja 20% jääb selgitamata.

vaheta teljed ja sirge nihkub 🖖

y sobitamine x-i järgi minimeerib vertikaalseid vahesid, kuid x-i sobitamine y järgi minimeerib horisontaalseid — kaks erinevat sirget sama punktipilve läbi, kuigi mõlemad läbivad keskmiste punkti (x̄, ȳ). Korruta nende kaks tõusu ja saad täpselt r². Nii on tuttav r kahe regressioonisirge tõusu geomeetriline keskmine, ja sirged langevad kokku ainult siis, kui sobitus on täiuslik (r = 1).

Harjutus

Kontrolli ennast

Ennusta vastust esmalt ise ja kasuta siis ülal olevaid juhtelemente. Ava lahendus alles siis, kui oled otsustanud — just see teebki sellest harjutuse.

Vajuta Spearmani ρ=1: punktid 1, 2.5, 5, 9, 16, 28 tõusevad igal üksikul sammul, ja eelseade nimi reedab juba, et ρ = 1. Ennusta samade punktide Pearsoni r.

Näita vastust

0.9382, koos R² = 0.8803-ga — kõrge, ja kaugel sellest ühest, mida ρ näitab. ρ arvutuskäik näitab, miks see on täpselt 1: x-i ja y-i järjestused langevad koht-kohalt kokku, seega Σd² = 0 ja valem taandub kujule 1 − 0. Pearson ei mõõda järjestust, vaid sirgjoonelisust, ja need punktid kõverduvad. Täiuslikult järjestatud ja täiuslikult lineaarne on eri omadused, ja just see andmestik lahutab need teineteisest.
Sama eelseade. Hoiatus allpool märgib punkti (6, 28) suure mõjuga punktiks, Cooki D ≈ 1.7931. Kas see punkt on viga?

Näita vastust

Ei — see on sama korralik kui iga teine punkt siin. Cooki D mõõdab, kui kaugele sobitatud sirge nihkuks, kui punkt välja jätta, mitte seda, kas punkt on õige. See nihutab sirget palju põhjusel, millel pole andmete kvaliteediga mingit pistmist: trend kõverdub, sobitus on sirge, ja kõige kaugemal sellel kõveral asuv punkt on see, millega sirgel on kõige raskem. Mõjukus kirjeldab asukohta, mitte kunagi viga.
Vajuta Korrelatsioon puudub — punktipilv, kus pole näha mingit trendi. Kas lehekülg keeldub sirget sobitamast?

Näita vastust

Ei keeldu kunagi. Välja tuleb ŷ = 4 + 0.1429·x, trükitud täpselt sama enesekindlalt nagu iga teine sobitus, ja ainult R² = 0.0137 ja märkus Nõrk korrelatsioon vihjavad muule. Vähimruutude meetod tagastab alati parima saadaoleva sirge; sellel puudub igasugune arusaam sellest, et „siin ei ole mingit seost“, on ainult „vähim ruutude summa“. Kas sirge üldse sobis, on sinu otsustada, ja miski väljundis ei otsusta seda sinu eest.

Ülesanne täielikult lahendatud

Tõusu ja algordinaadi tuletamine valemile y = 0.87 + 1.03x 5 sammu
Viis punkti ja parima sobivusega sirge y = 0,87 + 1,03x, mille R² = 0,996. Tuleta tõus ja vabaliige algusest peale ning seejärel tõesta igale vähimruutude sirgele omane omadus, mida paneelis kordagi ei mainita.
1. Kõigepealt leitakse keskmised, sest mõlemad kordajad arvutatakse hälvetest nende suhtes.
  
  $\overset{x}{ˉ} = 3, \overset{y}{ˉ} = \frac{19.8}{5} = 3.96$
2. Vähimruutude meetod minimeerib vertikaalsete jääkide ruutude summa. Selle summa diferentseerimine ja nulliga võrdsustamine annab normaalvõrrandid, mille lahendiks on kahe summa suhe: kuidas x ja y koos varieeruvad, jagatuna sellega, kuidas x varieerub üksi.
  
  $S_{x y} = \sum (x - \overset{x}{ˉ}) (y - \overset{y}{ˉ}) = 10.30, S_{xx} = 10, S_{y y} = 10.652$
3. Tõus on 1,03. Vabaliige tuleneb seejärel ilma edasise minimeerimiseta, sest teine normaalvõrrand on lihtsalt nõue, et jääkide summa võrduks nulliga.
  
  $b = \frac{S _{x y}}{S _{xx}} = \frac{10.30}{10} = 1.03, a = \overset{y}{ˉ} - b \overset{x}{ˉ} = 3.96 - 3.09 = 0.87$
4. Korrelatsioon kasutab neid kahte sama summat ja lisaks y varieeruvust. Selle ruutu võtmine annab R² = 0,996, mis on see osa y varieeruvusest, mida sirge kirjeldab.
  
  $r = \frac{S _{x y}}{S _{xx} S _{y y}} = \frac{10.30}{10.321} = 0.998 ⟹ R^{2} = 0.996$
5. Nüüd omaduse juurde. Vabaliige määrati kui ȳ − b·x̄, seega x̄ asendamine tagasi sirge võrrandisse annab tulemuseks täpselt ȳ.
  
  $a + b \overset{x}{ˉ} = 0.87 + 1.03 (3) = 3.96 = \overset{y}{ˉ}$
Vastus

Tööriist annab tõusuks 1,03, vabaliikmeks 0,87, R² = 0,996 ja r = 0,998. Oluline seos ilmneb viimases sammus: iga vähimruutude sirge läbib andmete keskmist punkti, olenemata punktide asukohast. See ei ole selle andmestiku eripära, vaid tuleneb vabaliikme valemist. Seepärast pöördub regressioonisirge punkti lohistamisel ümber andmepunktide raskuskeskme, mitte ei nihku tervikuna. See annab ka kiireima võimaluse sobitatud sirget kontrollida: sisesta x-i keskmine; kui tulemuseks ei ole y-i keskmine, on sobitus vale. Proovi erindi valmisseadistust. See asendab andmed uue andmestikuga, kus viis punkti asuvad täpselt sirgel y = 2x ning kuues punkt on (6, 30). Kuues punkt muudab tõusu väärtuselt 2 väärtusele 4,57 ja vabaliikme väärtuseks −6, kuid sirge läbib endiselt täpselt uut keskmist punkti (3,5, 10).

$b = \frac{S _{x y}}{S _{xx}}, a = \overset{y}{ˉ} - b \overset{x}{ˉ} ⟹ (\overset{x}{ˉ}, \overset{y}{ˉ}) is always on the line$

Õpitee

Sirve sobitamine andmetesse

Allikad (1)

Who invented least squares, and the long argument about it — Legendre published first, Gauss claimed priority: S. M. Stigler, “Gauss and the Invention of Least Squares.” The Annals of Statistics 9, 1981.

42Mathi meeskond · Uuendatud 2026-06-11

Kontrollitud avaldatud allikate põhjal. Parandused on teretulnud. Toimetamispõhimõtted · Parandused

Kõik Statistika & rahandus õppetunnid →

Näiteülesanded

Klassikaline trend - Klassikaline positiivne trend, y≈2x
Erindi mõju - Erind punktis (6,30) moonutab regressiooni
Korrelatsioon puudub - Nullilähedane korrelatsioon, r≈0.1
Spearmani ρ=1 - Täiuslik monotoonne seos: Spearmani ρ=1