Regresijas analīze ir statistiska metode nejauša lieluma atkarības no mainīgajiem pētīšanai. Regresija programmā Excel: vienādojums, piemēri

Regresijas analīzes mērķis ir izmērīt attiecības starp atkarīgo mainīgo un vienu (pāru regresijas analīze) vai vairākiem (vairākiem) neatkarīgiem mainīgajiem. Neatkarīgus mainīgos sauc arī par faktoriāliem, skaidrojošiem, determinantiem, regresoriem un prognozētājiem.

Atkarīgais mainīgais dažreiz tiek saukts par definēto, izskaidroto vai "atbildes" mainīgo. Regresijas analīzes ārkārtīgi plašā izmantošana empīriskajos pētījumos ir saistīta ne tikai ar to, ka tā ir ērts rīks hipotēžu pārbaudei. Regresija, īpaši daudzkārtēja regresija, ir efektīvs modelēšanas un prognozēšanas paņēmiens.

Sāksim skaidrot darba principus ar regresijas analīzi ar vienkāršāku – pāru metodi.

Pāru regresijas analīze

Pirmie soļi, izmantojot regresijas analīzi, būs gandrīz identiski tiem, ko mēs veicām korelācijas koeficienta aprēķināšanas ietvaros. Trīs galvenie nosacījumi korelācijas analīzes efektivitātei, izmantojot Pīrsona metodi - mainīgo lielumu normālais sadalījums, mainīgo intervālu mērīšana, mainīgo lineārā sakarība - ir būtiski arī daudzkārtējai regresijai. Attiecīgi pirmajā posmā tiek konstruēti izkliedes diagrammas, tiek veikta mainīgo statistiskā un aprakstošā analīze un tiek aprēķināta regresijas līnija. Tāpat kā korelācijas analīzes ietvaros, regresijas taisnes tiek veidotas, izmantojot mazāko kvadrātu metodi.

Lai skaidrāk ilustrētu atšķirības starp abām datu analīzes metodēm, pievērsīsimies jau aplūkotajam piemēram ar mainīgajiem lielumiem "VMS atbalsts" un "lauku iedzīvotāju daļa". Sākotnējie dati ir identiski. Izkliedes diagrammu atšķirība būs tāda, ka regresijas analīzē ir pareizi attēlot atkarīgo mainīgo - mūsu gadījumā "SPS atbalstu" pa Y asi, savukārt korelācijas analīzē tam nav nozīmes. Pēc novirzes notīrīšanas izkliedes diagramma izskatās šādi:

Regresijas analīzes pamatideja ir tāda, ka, ņemot vērā mainīgo lielumu vispārēju tendenci - regresijas līnijas veidā, jūs varat paredzēt atkarīgā mainīgā vērtību, kam ir neatkarīgā lieluma vērtības.

Iedomāsimies parastu matemātisko lineāro funkciju. Jebkuru līniju Eiklīda telpā var aprakstīt ar formulu:

kur a ir konstante, kas norāda nobīdi pa y asi; b - koeficients, kas nosaka līnijas leņķi.

Zinot slīpumu un konstanti, jūs varat aprēķināt (paredzēt) y vērtību jebkuram x.

Šī vienkāršākā funkcija veidoja regresijas analīzes modeļa pamatu ar atrunu, ka mēs prognozēsim y vērtību nevis precīzi, bet noteiktā ticamības intervālā, t.i. aptuveni.

Konstante ir regresijas līnijas un y ass (F-pārtvēruma, ko statistikas paketēs parasti dēvē par "pārtvērēju") krustpunkts. Mūsu piemērā balsojot par VPS, tā noapaļotā vērtība būs 10,55. Slīpuma koeficients b būs vienāds ar aptuveni -0,1 (tāpat kā korelācijas analīzē, zīme parāda attiecības veidu - tiešo vai apgriezto). Tādējādi iegūtais modelis izskatīsies šādi: SP C = -0,1 x Sel. mums. + 10.55.

Tātad "Adigejas Republikas" gadījumā, kurā lauku iedzīvotāju īpatsvars ir 47%, prognozētā vērtība būs 5,63:

ATP \u003d -0,10 x 47 + 10,55 \u003d 5,63.

Atšķirību starp sākotnējām un prognozētajām vērtībām sauc par atlikumu (mēs jau esam saskārušies ar šo terminu, kas ir fundamentāls statistikai, analizējot ārkārtas tabulas). Tātad Adigejas Republikas gadījumā atlikums būs 3,92 - 5,63 = -1,71. Jo lielāka ir atlikuma moduļa vērtība, jo sliktāk prognozējamā vērtība.

Sākotnējo un paredzamo vērtību attiecības analīze kalpo, lai novērtētu iegūtā modeļa kvalitāti, tā prognozēšanas spēju. Viens no galvenajiem regresijas statistikas rādītājiem ir daudzkārtējais korelācijas koeficients R - korelācijas koeficients starp atkarīgā mainīgā sākotnējo un prognozēto vērtību. Pāru regresijas analīzē tas ir vienāds ar parasto Pīrsona korelācijas koeficientu starp atkarīgo un neatkarīgo mainīgo, mūsu gadījumā - 0,63. Lai jēgpilni interpretētu daudzkārtējo R, tas ir jāpārvērš determinācijas koeficientā. Tas tiek darīts tāpat kā korelācijas analīzē - kvadrātā. Determinācijas koeficients R kvadrāts (R 2) parāda atkarīgā mainīgā variācijas proporciju, ko izskaidro neatkarīgie (neatkarīgie) mainīgie.

Mūsu gadījumā R 2 = 0,39 (0,63 2); tas nozīmē, ka mainīgais "lauku iedzīvotāju īpatsvars" izskaidro apmēram 40% no mainīgā lieluma "atbalsts KPS" variācijām. Jo lielāka ir determinācijas koeficienta vērtība, jo augstāka ir modeļa kvalitāte.

Vēl viens modeļa kvalitātes mērs ir aplēses standarta kļūda. Tas ir mērs, cik daudz punkti ir "izkliedēti" ap regresijas līniju. Intervālu mainīgo dispersijas mērs ir standarta novirze. Attiecīgi aplēses standartkļūda ir atlikuma sadalījuma standartnovirze. Jo augstāka tā vērtība, jo lielāka izplatība un sliktāks modelis. Mūsu gadījumā standarta kļūda ir 2,18. Tieši par šo summu mūsu modelis “vidēji kļūdīsies”, prognozējot mainīgā “SPS atbalsts” vērtību.

Regresijas statistika ietver arī dispersijas analīzi. Ar tā palīdzību noskaidrojam: 1) kādu atkarīgā mainīgā variācijas (dispersijas) proporciju izskaidro neatkarīgais mainīgais; 2) kādu daļu no atkarīgā mainīgā dispersijas veido atlikumi (neizskaidrotā daļa); 3) kāda ir šo divu vērtību attiecība (/ "-ratio). Izkliedes statistika ir īpaši svarīga izlases pētījumiem - tā parāda, cik liela ir saistība starp neatkarīgajiem un atkarīgajiem mainīgajiem vispārējā populācijā. Tomēr , nepārtrauktiem pētījumiem (kā mūsu piemērā), pētījums Šajā gadījumā tiek pārbaudīts, vai atklāto statistisko modeli nav izraisījusi nejaušu apstākļu sakritība, cik tas ir raksturīgs apstākļu kompleksam, kurā atrodas aptaujātā populācija. , t.i., tiek konstatēts, ka iegūtais rezultāts nav patiess kādam plašākam vispārējam agregātam, bet gan tā regularitātes pakāpei, brīvībai no nejaušām ietekmēm.

Mūsu gadījumā dispersijas statistikas analīze ir šāda:

F koeficients 54,29 ir nozīmīgs 0,0000000001 līmenī. Attiecīgi mēs varam droši noraidīt nulles hipotēzi (ka atrastā saistība ir nejauša).

Līdzīgu funkciju veic t kritērijs, bet attiecībā uz regresijas koeficientiem (leņķa un F-krustojumi). Izmantojot kritēriju /, mēs pārbaudām hipotēzi, ka regresijas koeficienti vispārējā populācijā ir vienādi ar nulli. Mūsu gadījumā mēs atkal varam pārliecinoši noraidīt nulles hipotēzi.

Daudzkārtēja regresijas analīze

Daudzkārtējas regresijas modelis ir gandrīz identisks pāru regresijas modelim; vienīgā atšķirība ir tā, ka lineārajā funkcijā secīgi tiek iekļauti vairāki neatkarīgi mainīgie:

Y = b1X1 + b2X2 + …+ bpXp + a.

Ja ir vairāk nekā divi neatkarīgi mainīgie, mēs nevaram iegūt vizuālu to attiecību attēlojumu; šajā ziņā daudzkārtēja regresija ir mazāk “redzama” nekā pāru regresija. Ja ir divi neatkarīgi mainīgie, var būt noderīgi parādīt datus 3D izkliedes diagrammā. Profesionālās statistikas programmatūras pakotnēs (piemēram, Statistica) ir iespēja pagriezt trīsdimensiju diagrammu, kas ļauj labi vizuāli attēlot datu struktūru.

Strādājot ar vairākkārtēju regresiju, atšķirībā no pāru regresijas, ir nepieciešams noteikt analīzes algoritmu. Standarta algoritms ietver visus pieejamos prognozētājus galīgajā regresijas modelī. Soli pa solim algoritms uzņemas neatkarīgu mainīgo secīgu iekļaušanu (izslēgšanu), pamatojoties uz to skaidrojošo "svaru". Pakāpeniskā metode ir laba, ja ir daudz neatkarīgu mainīgo; tas "attīra" modeli no atklāti vājiem prognozētājiem, padarot to kompaktāku un kodolīgāku.

Papildu nosacījums daudzkārtējas regresijas pareizībai (kopā ar intervālu, normalitāti un linearitāti) ir multikolinearitātes trūkums - spēcīgas korelācijas klātbūtne starp neatkarīgiem mainīgajiem.

Daudzkārtējas regresijas statistikas interpretācija ietver visus elementus, ko esam apsvēruši pāru regresijas gadījumā. Turklāt daudzkārtējās regresijas analīzes statistikā ir arī citi svarīgi komponenti.

Darbu ilustrēsim ar daudzkārtēju regresiju, izmantojot hipotēžu pārbaudes piemēru, kas izskaidro vēlēšanu aktivitātes līmeņa atšķirības Krievijas reģionos. Īpaši empīriski pētījumi liecina, ka vēlētāju aktivitāti ietekmē:

Nacionālais faktors (mainīgais lielums "Krievijas iedzīvotāji"; operacionalizēts kā Krievijas iedzīvotāju īpatsvars Krievijas Federācijas veidojošajās vienībās). Tiek pieļauts, ka Krievijas iedzīvotāju īpatsvara pieaugums noved pie vēlētāju aktivitātes samazināšanās;

Urbanizācijas faktors (mainīgais "pilsētas iedzīvotāju skaits"; operacionalizēts kā pilsētu iedzīvotāju īpatsvars Krievijas Federācijas veidojošajās vienībās, mēs jau esam strādājuši ar šo faktoru korelācijas analīzes ietvaros). Tiek pieļauts, ka pilsētu iedzīvotāju īpatsvara pieaugums izraisa arī vēlētāju aktivitātes samazināšanos.

Atkarīgais mainīgais - "vēlēšanu aktivitātes intensitāte" ("aktīvs") tiek operacionalizēts, izmantojot vidējos datus par vēlētāju aktivitāti reģionos federālajās vēlēšanās no 1995. līdz 2003. gadam. Sākotnējā datu tabula diviem neatkarīgiem un vienam atkarīgajam mainīgajam būs šāda forma. :

utt. (pēc emisiju attīrīšanas paliek 83 gadījumi no 88)

Statistika, kas raksturo modeļa kvalitāti:

1. Vairāki R = 0,62; L-kvadrāts = 0,38. Līdz ar to nacionālais faktors un urbanizācijas faktors kopā izskaidro aptuveni 38% mainīgā lieluma "vēlēšanu aktivitāte" variācijas.

2. Vidējā kļūda ir 3,38. Lūk, kā “vidēji” konstruētais modelis ir nepareizs, prognozējot aktivitāšu līmeni.

3. Izskaidrotās un neizskaidrojamās variācijas /l attiecība ir 25,2 0,000000003 līmenī. Nulles hipotēze par atklāto attiecību nejaušību tiek noraidīta.

4. Kritērijs / mainīgo "pilsētu iedzīvotāji" un "Krievijas iedzīvotāji" konstantajiem un regresijas koeficientiem ir nozīmīgs 0,0000001 līmenī; attiecīgi 0,00005 un 0,007. Nulles hipotēze par koeficientu nejaušību tiek noraidīta.

Papildu noderīga statistika atkarīgā mainīgā sākotnējo un paredzamo vērtību attiecības analīzē ir Mahalanobisa attālums un Kuka attālums. Pirmais ir gadījuma unikalitātes mērs (parāda, cik lielā mērā visu neatkarīgo mainīgo vērtību kombinācija konkrētajam gadījumam atšķiras no visu neatkarīgo mainīgo vidējās vērtības vienlaikus). Otrais ir lietas ietekmes mērs. Dažādi novērojumi dažādos veidos ietekmē regresijas līnijas slīpumu, un, izmantojot Kuka attālumu, tos var salīdzināt pēc šī rādītāja. Tas ir noderīgi, iztīrot novirzes (novirzi var uzskatīt par pārāk ietekmīgu gadījumu).

Mūsu piemērā Dagestāna ir viens no unikālajiem un ietekmīgākajiem gadījumiem.

Faktiskajam regresijas modelim ir šādi parametri: Y-pārgriezums (konstante) = 75,99; b (Hor. sat.) \u003d -0,1; b (Rus. nas.) = -0,06. Galīgā formula:

Aaktīvs, = -0,1 x Hor. sat.n+- 0,06 x Rus. sat.n + 75,99.

Vai varam salīdzināt prognozētāju "skaidrojošo spēku", pamatojoties uz koeficienta vērtību 61. Šajā gadījumā jā, jo abiem neatkarīgiem mainīgajiem ir vienāds procentuālais formāts. Tomēr visbiežāk daudzkārtēja regresija attiecas uz mainīgajiem, kas mērīti dažādās skalās (piemēram, ienākumu līmenis rubļos un vecums gados). Tāpēc vispārīgā gadījumā ir nekorekti salīdzināt mainīgo prognozēšanas iespējas pēc regresijas koeficienta. Vairākkārtējas regresijas statistikā šim nolūkam ir īpašs beta koeficients (B), ko aprēķina atsevišķi katram neatkarīgajam mainīgajam. Tas ir daļējs (aprēķināts, ņemot vērā visu pārējo prognozētāju ietekmi) faktora un reakcijas korelācijas koeficients un parāda faktora neatkarīgo ieguldījumu atbildes vērtību prognozēšanā. Pāru regresijas analīzē beta koeficients saprotami ir vienāds ar pāru korelācijas koeficientu starp atkarīgo un neatkarīgo mainīgo.

Mūsu piemērā beta (hor. nas.) = -0,43, beta (krievu nas.) = -0,28. Tādējādi abi faktori negatīvi ietekmē vēlēšanu aktivitātes līmeni, savukārt urbanizācijas faktora nozīme ir ievērojami augstāka par nacionālā faktora nozīmi. Abu faktoru kopējā ietekme nosaka aptuveni 38% no mainīgā lieluma "vēlēšanu aktivitāte" (skatīt L kvadrāta vērtību).

Regresijas analīze

regresija (lineārs) analīze- statistikas metode, lai pētītu viena vai vairāku neatkarīgu mainīgo ietekmi uz atkarīgo mainīgo. Neatkarīgos mainīgos citādi sauc par regresoriem vai prognozētājiem, un atkarīgos mainīgos sauc par kritērijiem. Terminoloģija atkarīgi un neatkarīgs mainīgie atspoguļo tikai mainīgo matemātisko atkarību ( skatiet viltus korelāciju), nevis cēloņsakarību.

Regresijas analīzes mērķi

1. Kritērija (atkarīgā) mainīgā variācijas determinisma pakāpes noteikšana ar prognozētājiem (neatkarīgie mainīgie)
2. Atkarīgā mainīgā vērtības prognozēšana, izmantojot neatkarīgo(-s) mainīgo(-us)
3. Atsevišķu neatkarīgo mainīgo ieguldījuma noteikšana apgādājamā variācijā

Regresijas analīzi nevar izmantot, lai noteiktu, vai pastāv sakarība starp mainīgajiem lielumiem, jo ​​šādas attiecības esamība ir priekšnoteikums analīzes piemērošanai.

Regresijas matemātiskā definīcija

Stingri regresīvu atkarību var definēt šādi. Ļaut , ir nejauši mainīgie ar noteiktu kopīgu varbūtības sadalījumu. Ja katrai vērtību kopai ir noteikta nosacītā cerība

tad tiek izsaukta funkcija regresija Y vērtības pēc vērtībām un tās grafiks - regresijas līnija, vai regresijas vienādojums.

Atkarība no izpaužas Y vidējo vērtību izmaiņās, mainot . Lai gan katrai fiksētai vērtību kopai daudzums paliek nejaušs lielums ar noteiktu izkliedi.

Lai noskaidrotu jautājumu par to, cik precīzi regresijas analīze novērtē Y izmaiņas ar izmaiņām, dažādām vērtību kopām tiek izmantota Y dispersijas vidējā vērtība (patiesībā mēs runājam par dispersijas mērījumu). atkarīgais mainīgais ap regresijas taisni).

Mazāko kvadrātu metode (koeficientu aprēķināšana)

Praksē regresijas līnija visbiežāk tiek meklēta kā lineāra funkcija (lineārā regresija), kas vislabāk tuvina vēlamo līkni. To veic, izmantojot mazāko kvadrātu metodi, kad faktiski novēroto noviržu summa kvadrātā no to aplēsēm ir samazināta līdz minimumam (tas nozīmē, ka aprēķini, izmantojot taisnu līniju, kas apgalvo, ka attēlo vēlamo regresijas atkarību):

(M - izlases lielums). Šī pieeja ir balstīta uz labi zināmo faktu, ka summa, kas parādās iepriekš minētajā izteiksmē, iegūst minimālo vērtību tieši gadījumam, kad .

Lai atrisinātu regresijas analīzes problēmu ar mazāko kvadrātu metodi, tiek ieviesta koncepcija atlikušās funkcijas:

Nosacījums atlikušās funkcijas minimumam:

Iegūtā sistēma ir lineāru vienādojumu sistēma ar nezināmajiem

Ja vienādojumu kreisās puses brīvos nosacījumus attēlojam ar matricu

un nezināmo koeficientus matricas labajā pusē

tad iegūstam matricas vienādojumu: , ko viegli atrisināt ar Gausa metodi. Iegūtā matrica būs matrica, kas satur regresijas līnijas vienādojuma koeficientus:

Lai iegūtu vislabākos aprēķinus, nepieciešams izpildīt LSM priekšnoteikumus (Gausa–Markova nosacījumi). Angļu literatūrā šādas aplēses tiek sauktas par BLUE (Best Linear Unbiased Estimators) – vislabākie lineārie objektīvie aprēķini.

Regresijas parametru interpretācija

Parametri ir daļējas korelācijas koeficienti; tiek interpretēta kā Y dispersijas proporcija, kas izskaidrojama ar atlikušo prognozētāju ietekmes fiksēšanu, tas ir, tā mēra individuālo ieguldījumu Y skaidrojumā. Korelēto prognozētāju gadījumā aplēsēs pastāv nenoteiktības problēma , kas kļūst atkarīgi no secības, kādā prognozētāji ir iekļauti modelī. Šādos gadījumos ir nepieciešams pielietot korelācijas un pakāpeniskās regresijas analīzes metodes.

Runājot par regresijas analīzes nelineārajiem modeļiem, ir svarīgi pievērst uzmanību tam, vai runa ir par nelinearitāti neatkarīgos mainīgajos (no formālā viedokļa viegli reducējama līdz lineārai regresijai), vai arī par nelinearitāti aplēstos parametros. (izraisot nopietnas skaitļošanas grūtības). Ar pirmo nelinearitātes veidu no jēgpilnā viedokļa ir svarīgi izcelt formas locekļu izskatu modelī , , kas norāda uz mijiedarbības esamību starp pazīmēm utt. (sk. Multikollinearitāte).

Skatīt arī

Saites

• www.kgafk.ru - Lekcija par "Regresijas analīzi"
• www.basegroup.ru - metodes mainīgo atlasei regresijas modeļos

Literatūra

• Normens Drapers, Harijs Smits Lietišķā regresijas analīze. Vairākkārtēja regresija = Lietišķā regresijas analīze. - 3. izdevums. - M .: "Dialektika", 2007. - S. 912. - ISBN 0-471-17082-8
• Ilgtspējīgas statistikas modeļu novērtēšanas metodes: Monogrāfija. - K. : PP "Sansparelle", 2005. - S. 504. - ISBN 966-96574-0-7, UDC: 519.237.5:515.126.2, LBC 22.172 + 22.152
• Radčenko Staņislavs Grigorjevičs, Regresijas analīzes metodoloģija: Monogrāfija. - K. : "Korniychuk", 2011. - S. 376. - ISBN 978-966-7599-72-0

Wikimedia fonds. 2010 .

Izpētot 4. nodaļas materiālu, studentam vajadzētu:

zināt

• regresijas analīzes pamatjēdzieni;
• aplēšu metodes un mazāko kvadrātu metodes aplēšu īpašības;
• vienādojuma un regresijas koeficientu nozīmīguma pārbaudes un intervālu novērtēšanas pamatnoteikumi;

būt spējīgam

• atrast no izlases datiem regresijas vienādojumu divdimensiju un vairāku modeļu parametru aplēses, analizēt to īpašības;
• pārbaudīt vienādojuma nozīmīgumu un regresijas koeficientus;
• atrast nozīmīgu parametru intervālu aplēses;

pašu

• prasmes statistiski novērtēt divdimensiju un daudzkārtējās regresijas vienādojumu parametrus; prasmes pārbaudīt regresijas modeļu atbilstību;
• prasmes iegūt regresijas vienādojumu ar visiem nozīmīgajiem koeficientiem, izmantojot analītisko programmatūru.

Pamatjēdzieni

Pēc korelācijas analīzes veikšanas, kad ir konstatēta statistiski nozīmīgu sakarību esamība starp mainīgajiem un novērtēta to blīvuma pakāpe, parasti tiek veikta atkarību veida matemātiska apraksta, izmantojot regresijas analīzes metodes. Šim nolūkam tiek izvēlēta funkciju klase, kas saista efektīvo indikatoru plkst un argumenti“ aprēķina ierobežojumu vienādojuma parametru aplēses un analizē iegūtā vienādojuma precizitāti.

Funkcija|, kas apraksta efektīvās pazīmes nosacītās vidējās vērtības atkarību plkst no dotajām argumentu vērtībām, tiek izsaukts regresijas vienādojums.

Termins "regresija" (no lat. regresija- atkāpties, atgriezties pie kaut kā) ieviesa angļu psihologs un antropologs F. Galtons un ir saistīts ar vienu no viņa pirmajiem piemēriem, kurā Galtons, apstrādājot statistikas datus, kas saistīti ar jautājumu par augšanas iedzimtību, konstatēja, ka, ja aug. tēvi atšķiras no visu tēvu vidējā auguma X collas, tad viņu dēlu augums atšķiras no visu dēlu vidējā auguma mazāk nekā x collas Identificētā tendence tika saukta regresija uz vidējo.

Termins "regresija" tiek plaši izmantots statistikas literatūrā, lai gan daudzos gadījumos tas neprecīzi raksturo statistisko atkarību.

Lai precīzi aprakstītu regresijas vienādojumu, ir jāzina efektīvā rādītāja sadalījuma nosacītais likums y. Statistikas praksē šādu informāciju parasti nav iespējams iegūt, tāpēc tie aprobežojas ar piemērotu tuvinājumu atrašanu funkcijai f(x u X 2, .... l *), pamatojoties uz iepriekšēju jēgpilnu fenomena analīzi vai sākotnējiem statistikas datiem.

Individuālā modeļa ietvaros pieņēmumi par rādītāju vektora sadalījuma veidu<) может быть получен общий вид regresijas vienādojumi, kur. Piemēram, pieņemot, ka pētītais rādītāju kopums pakļaujas ()-dimensiju normālā sadalījuma likumam ar matemātisko gaidu vektoru

Kur un pēc kovariācijas matricas,

kur ir dispersija y,

Regresijas vienādojumam (nosacītā gaidīšana) ir forma

Tādējādi, ja daudzfaktoru gadījuma mainīgais ()

ievēro ()-dimensiju normālā sadalījuma likumu, tad efektīvā rādītāja regresijas vienādojumu plkst skaidrojošajos mainīgajos ir lineārs X skats.

Tomēr statistikas praksē parasti ir jāaprobežojas ar piemērotu aproksimāciju atrašanu nezināmai patiesajai regresijas funkcijai. f(x), jo pētniekam nav precīzu zināšanu par analizējamā darbības rādītāja varbūtības sadalījuma nosacīto likumu plkst dotajām argumentu vērtībām X.

Apsveriet saistību starp patiesajiem, modeļa un regresijas aprēķiniem. Ļaujiet veiktspējas indikatoram plkst saistīts ar argumentu X attiecība

kur ir gadījuma lielums ar normālā sadalījuma likumu, turklāt. Patiesā regresijas funkcija šajā gadījumā ir

Pieņemsim, ka mēs nezinām precīzu patiesā regresijas vienādojuma formu, bet mums ir deviņi novērojumi par divdimensiju gadījuma lielumu, kas saistīts ar sakarībām, kas parādītas attēlā. 4.1.

Rīsi. 4.1. Patiesības relatīvā pozīcijaf(x) un teorētiskaiswowregresijas modeļi

Punktu izvietojums att. 4.1 ļauj mums aprobežoties ar formas lineāro atkarību klasi

Izmantojot mazāko kvadrātu metodi, mēs atrodam regresijas vienādojuma novērtējumu.

Salīdzinājumam, attēlā. 4.1 parāda patiesās regresijas funkcijas un teorētiskās tuvinātās regresijas funkcijas grafikus. Regresijas vienādojuma aprēķins pēc varbūtības konverģē uz pēdējo wow ar neierobežotu izlases lieluma palielinājumu ().

Tā kā mēs kļūdaini izvēlējāmies lineāro regresijas funkciju, nevis patieso regresijas funkciju, kas diemžēl ir diezgan izplatīta statistikas pētījumu praksē, mūsu statistiskajiem secinājumiem un aprēķiniem nebūs konsekvences īpašības, t. lai cik palielinātu novērojumu apjomu, mūsu izlases novērtējums nekonverģēs uz patieso regresijas funkciju

Ja mēs būtu pareizi izvēlējušies regresijas funkciju klasi, tad neprecizitāte aprakstā izmantojot wow būtu izskaidrojams tikai ar izlases ierobežotību un tāpēc to varētu padarīt patvaļīgi mazu ar

Lai no sākotnējiem statistikas datiem vislabāk atjaunotu efektīvā rādītāja nosacīto vērtību un nezināmo regresijas funkciju, visbiežāk izmanto: atbilstības kritēriji zaudējumu funkcijas.

1. Mazākā kvadrāta metode, saskaņā ar kuru efektīvā rādītāja novēroto vērtību kvadrātā novirze no modeļa vērtībām tiek samazināta līdz minimumam, kur regresijas vienādojuma koeficienti; ir argumentu vektora vērtības "-M novērojumā :

Tiek atrisināta vektora aplēses atrašanas problēma. Iegūto regresiju sauc vidējais kvadrāts.

2. Mazāko moduļu metode, saskaņā ar kuru efektīvā rādītāja novēroto vērtību absolūto noviržu summa no modulārajām vērtībām tiek samazināta līdz minimumam, t.i.

Iegūto regresiju sauc nozīmē absolūts(mediāna).

3. Minimax metode tiek samazināts līdz efektīvā rādītāja novērotās vērtības maksimālās novirzes moduļa samazināšanai y, no modeļa vērtības, t.i.

Iegūto regresiju sauc minimums.

Praktiskajos lietojumos bieži rodas problēmas, kurās tiek pētīts nejaušais mainīgais y, atkarībā no dažiem mainīgo lielumu kopas un nezināmiem parametriem. Mēs uzskatīsim () kā (k + 1)-dimensiju vispārējā populācija, no kuras nejauša apjoma izlase P, kur () ir /-tā novērojuma rezultāts. Ir nepieciešams novērtēt nezināmus parametrus, pamatojoties uz novērojumu rezultātiem. Iepriekš aprakstītais uzdevums attiecas uz regresijas analīzes uzdevumiem.

regresijas analīze izsauciet gadījuma lieluma atkarības statistiskās analīzes metodi plkst uz mainīgajiem, kas regresijas analīzē tiek uzskatīti par nejaušiem mainīgajiem neatkarīgi no patiesā sadalījuma likuma

Statistiskajā modelēšanā regresijas analīze ir pētījums, ko izmanto, lai novērtētu attiecības starp mainīgajiem. Šī matemātiskā metode ietver daudzas citas metodes vairāku mainīgo modelēšanai un analīzei, kad galvenā uzmanība tiek pievērsta attiecībām starp atkarīgo mainīgo un vienu vai vairākiem neatkarīgiem mainīgajiem. Precīzāk, regresijas analīze palīdz saprast, kā mainās atkarīgā mainīgā tipiskā vērtība, ja mainās viens no neatkarīgiem mainīgajiem, bet pārējie neatkarīgie mainīgie paliek nemainīgi.

Visos gadījumos mērķa rādītājs ir neatkarīgo mainīgo funkcija, un to sauc par regresijas funkciju. Regresijas analīzē ir arī interesanti raksturot atkarīgā mainīgā izmaiņas kā regresijas funkciju, ko var aprakstīt, izmantojot varbūtības sadalījumu.

Regresijas analīzes uzdevumi

Šī statistiskā pētījuma metode tiek plaši izmantota prognozēšanai, kur tās izmantošanai ir būtiska priekšrocība, bet dažkārt tā var radīt ilūzijas vai nepatiesas attiecības, tāpēc šajā jautājumā ieteicams to izmantot uzmanīgi, jo, piemēram, korelācija nenozīmē cēloņsakarība.

Regresijas analīzes veikšanai ir izstrādāts liels skaits metožu, piemēram, lineārā un parastā mazāko kvadrātu regresija, kas ir parametriska. To būtība ir tāda, ka regresijas funkcija ir definēta kā ierobežots nezināmu parametru skaits, kas tiek novērtēti no datiem. Neparametriskā regresija ļauj tās funkcijai ietvert noteiktu funkciju kopu, kas var būt bezgalīga.

Regresijas analīze kā statistiskā pētījuma metode praksē ir atkarīga no datu ģenerēšanas procesa formas un no tā, kā tā ir saistīta ar regresijas pieeju. Tā kā patiesā datu procesa ģenerēšanas forma parasti ir nezināms skaitlis, datu regresijas analīze bieži vien zināmā mērā ir atkarīga no pieņēmumiem par procesu. Šos pieņēmumus dažkārt var pārbaudīt, ja ir pieejams pietiekami daudz datu. Regresijas modeļi bieži vien ir noderīgi pat tad, ja pieņēmumi ir mēreni pārkāpti, lai gan tie var nebūt vislabākie.

Šaurākā nozīmē regresija var īpaši attiekties uz nepārtrauktas atbildes mainīgo lielumu novērtēšanu, pretstatā klasifikācijā izmantotajiem diskrētajiem atbildes mainīgajiem. Nepārtraukta izvades mainīgā gadījumu sauc arī par metrisko regresiju, lai to atšķirtu no saistītajām problēmām.

Stāsts

Agrākā regresijas forma ir labi zināmā mazāko kvadrātu metode. To publicēja Legendre 1805. gadā un Gauss 1809. gadā. Leģendrs un Gauss izmantoja metodi, lai pēc astronomiskajiem novērojumiem noteiktu ķermeņu orbītas ap Sauli (galvenokārt komētas, bet vēlāk arī jaunatklātās mazās planētas). Gauss 1821. gadā publicēja mazāko kvadrātu teorijas tālāku attīstību, tostarp Gausa-Markova teorēmas variantu.

Terminu "regresija" 19. gadsimtā ieviesa Frensiss Galtons, lai aprakstītu bioloģisku parādību. Būtība bija tāda, ka pēcteču pieaugums no senču pieauguma, kā likums, regresē līdz normālam vidējam rādītājam. Galtonam regresijai bija tikai šī bioloģiskā nozīme, bet vēlāk viņa darbu pārņēma Udni Jolejs un Karls Pīrsons un pārņēma vispārīgākā statistikas kontekstā. Yule un Pearson darbā atbildes un skaidrojošo mainīgo kopīgo sadalījumu uzskata par Gausa. Šo pieņēmumu Fišers noraidīja 1922. un 1925. gada dokumentos. Fišers ierosināja, ka atbildes mainīgā nosacītais sadalījums ir Gausa sadalījums, bet kopīgajam sadalījumam nav jābūt. Šajā ziņā Fišera ieteikums ir tuvāks Gausa 1821. gada formulējumam. Pirms 1970. gada regresijas analīzes rezultāta iegūšanai dažkārt vajadzēja pat 24 stundas.

Regresijas analīzes metodes joprojām ir aktīvas pētniecības joma. Pēdējās desmitgadēs ir izstrādātas jaunas metodes stabilai regresijai; regresijas, kas ietver korelētas atbildes; regresijas metodes, kas uzņem dažāda veida trūkstošos datus; neparametriskā regresija; Bajesa regresijas metodes; regresijas, kurās prognozējamo mainīgie tiek mērīti ar kļūdu; regresijas ar vairāk prognozētāju nekā novērojumiem un cēloņsakarības secinājumi ar regresiju.

Regresijas modeļi

Regresijas analīzes modeļi ietver šādus mainīgos:

• Nezināmi parametri, kas apzīmēti kā beta, kas var būt skalārs vai vektors.
• Neatkarīgi mainīgie, X.
• Atkarīgie mainīgie, Y.

Dažādās zinātnes jomās, kur tiek izmantota regresijas analīze, atkarīgo un neatkarīgo mainīgo vietā tiek lietoti dažādi termini, taču visos gadījumos regresijas modelis saista Y ar X un β funkciju.

Aproksimāciju parasti formulē šādi: E (Y | X) = F (X, β). Lai veiktu regresijas analīzi, jānosaka funkcijas f forma. Retāk tas ir balstīts uz zināšanām par attiecībām starp Y un X, kas nav atkarīgas no datiem. Ja šādas zināšanas nav pieejamas, tad tiek izvēlēta elastīga vai ērta F forma.

Atkarīgais mainīgais Y

Tagad pieņemsim, ka nezināmo parametru vektoram β ir garums k. Lai veiktu regresijas analīzi, lietotājam ir jāsniedz informācija par atkarīgo mainīgo Y:

• Ja tiek novēroti N datu punkti formā (Y, X), kur N< k, большинство классических подходов к регрессионному анализу не могут быть выполнены, так как система уравнений, определяющих модель регрессии в качестве недоопределенной, не имеет достаточного количества данных, чтобы восстановить β.

• Ja ievēro tieši N = K un funkcija F ir lineāra, tad vienādojumu Y = F(X, β) var atrisināt tieši, nevis aptuveni. Tas nozīmē N-vienādojumu kopas atrisināšanu ar N-nezināmajiem (β elementiem), kam ir unikāls risinājums, ja vien X ir lineāri neatkarīgs. Ja F ir nelineārs, risinājums var neeksistēt vai var būt daudz risinājumu.
• Visizplatītākā situācija ir tāda, ka datiem ir N > punkti. Šajā gadījumā datos ir pietiekami daudz informācijas, lai novērtētu unikālo β vērtību, kas vislabāk atbilst datiem, un regresijas modeli, ja to piemēro datiem, var uzskatīt par ignorētu sistēmu β.

Pēdējā gadījumā regresijas analīze nodrošina rīkus:

• Atrodot risinājumu nezināmiem parametriem β, kas, piemēram, samazinās attālumu starp Y izmērīto un prognozēto vērtību.
• Saskaņā ar noteiktiem statistikas pieņēmumiem regresijas analīzē tiek izmantota pārmērīga informācija, lai sniegtu statistisku informāciju par nezināmajiem parametriem β un atkarīgā mainīgā Y prognozētajām vērtībām.

Nepieciešamais neatkarīgo mērījumu skaits

Apsveriet regresijas modeli, kuram ir trīs nezināmi parametri: β 0 , β 1 un β 2 . Pieņemsim, ka eksperimentētājs veic 10 mērījumus vienā un tajā pašā vektora X neatkarīgā mainīgā vērtībā. Šajā gadījumā regresijas analīze nedod unikālu vērtību kopu. Labākais, ko varat darīt, ir novērtēt atkarīgā mainīgā Y vidējo un standarta novirzi. Tāpat, izmērot divas dažādas X vērtības, varat iegūt pietiekami daudz datu regresijai ar diviem nezināmajiem, bet ne par trim vai vairāk nezināmajiem.

Ja eksperimentētāja mērījumi tika veikti ar trīs dažādām neatkarīgā vektora mainīgā X vērtībām, tad regresijas analīze sniegtu unikālu aprēķinu kopu trim nezināmajiem parametriem β.

Vispārējās lineārās regresijas gadījumā iepriekš minētais apgalvojums ir līdzvērtīgs prasībai, ka matrica X T X ir invertējama.

Statistikas pieņēmumi

Ja mērījumu skaits N ir lielāks par nezināmo parametru skaitu k un mērījumu kļūdas ε i , tad parasti mērījumos ietvertā liekā informācija tiek sadalīta un izmantota statistiskām prognozēm par nezināmiem parametriem. Šo informācijas pārpalikumu sauc par regresijas brīvības pakāpi.

Pamatā esošie pieņēmumi

Klasiskie regresijas analīzes pieņēmumi ietver:

• Paraugu ņemšana reprezentē secinājumu prognozēšanu.
• Kļūda ir nejaušs lielums ar vidējo vērtību nulle, kas ir atkarīga no skaidrojošajiem mainīgajiem.
• Neatkarīgie mainīgie tiek mērīti bez kļūdām.
• Kā neatkarīgi mainīgie (prognozētāji) tie ir lineāri neatkarīgi, tas ir, nevienu prognozētāju nav iespējams izteikt kā citu lineāru kombināciju.
• Kļūdas ir nekorelētas, tas ir, diagonāļu kļūdu kovariācijas matrica un katrs elements, kas nav nulles elements, ir kļūdas dispersija.
• Kļūdu dispersija novērojumos ir nemainīga (homoscedasticitāte). Ja nē, tad var izmantot svērtos mazāko kvadrātu vai citas metodes.

Šiem pietiekamiem nosacījumiem mazāko kvadrātu aprēķiniem ir vajadzīgās īpašības, jo īpaši šie pieņēmumi nozīmē, ka parametru aplēses būs objektīvas, konsekventas un efektīvas, jo īpaši, ja tos ņem vērā lineāro novērtējumu klasē. Ir svarīgi atzīmēt, ka faktiskie dati reti atbilst nosacījumiem. Tas ir, metode tiek izmantota pat tad, ja pieņēmumi nav pareizi. Atšķirības no pieņēmumiem dažkārt var izmantot kā modeļa noderīguma mērauklu. Daudzus no šiem pieņēmumiem var mazināt, izmantojot progresīvākas metodes. Statistiskās analīzes pārskatos parasti ir iekļauta paraugu datu testu analīze un modeļa lietderības metodoloģija.

Turklāt mainīgie lielumi dažos gadījumos attiecas uz vērtībām, kas mērītas punktu vietās. Var būt telpiskās tendences un telpiskās autokorelācijas mainīgajos, kas pārkāpj statistikas pieņēmumus. Ģeogrāfiskā svērtā regresija ir vienīgā metode, kas apstrādā šādus datus.

Lineārās regresijas iezīme ir tāda, ka atkarīgais mainīgais, kas ir Y i , ir lineāra parametru kombinācija. Piemēram, vienkāršā lineārajā regresijā n-punktu modelēšanā tiek izmantots viens neatkarīgs mainīgais x i un divi parametri β 0 un β 1 .

Daudzkārtējā lineārā regresijā ir vairāki neatkarīgi mainīgie vai to funkcijas.

Ja izlases veidā tiek atlasīta izlase no populācijas, tās parametri ļauj iegūt lineārās regresijas modeļa izlasi.

Šajā aspektā vispopulārākā ir mazāko kvadrātu metode. Tas nodrošina parametru aprēķinus, kas samazina atlikuma kvadrātu summu. Šāda šīs funkcijas minimizēšana (kas raksturīga lineārajai regresijai) noved pie normālu vienādojumu kopas un lineāro vienādojumu kopas ar parametriem, kas tiek atrisināti, lai iegūtu parametru aplēses.

Pieņemot, ka populācijas kļūda parasti izplatās, pētnieks var izmantot šos standarta kļūdu aprēķinus, lai izveidotu ticamības intervālus un veiktu hipotēžu pārbaudi par tās parametriem.

Nelineārās regresijas analīze

Piemērs, kurā funkcija nav lineāra attiecībā uz parametriem, norāda, ka kvadrātu summa ir jāsamazina ar iteratīvu procedūru. Tas rada daudz sarežģījumu, kas nosaka atšķirības starp lineāro un nelineāro mazāko kvadrātu metodēm. Līdz ar to regresijas analīzes rezultāti, izmantojot nelineāro metodi, dažkārt ir neparedzami.

Jaudas un izlases lieluma aprēķins

Šeit, kā likums, nav konsekventu metožu attiecībā uz novērojumu skaitu salīdzinājumā ar neatkarīgo mainīgo skaitu modelī. Pirmo noteikumu ierosināja Dobra un Hardins, un tas izskatās šādi: N = t^n, kur N ir izlases lielums, n ir skaidrojošo mainīgo skaits un t ir novērojumu skaits, kas nepieciešams, lai sasniegtu vēlamo precizitāti, ja modelim būtu tikai viens skaidrojošais mainīgais. Piemēram, pētnieks izveido lineārās regresijas modeli, izmantojot datu kopu, kurā ir 1000 pacientu (N). Ja pētnieks nolemj, ka ir nepieciešami pieci novērojumi, lai precīzi noteiktu līniju (m), tad maksimālais skaidrojošo mainīgo lielumu skaits, ko modelis var atbalstīt, ir 4.

Citas metodes

Lai gan regresijas modeļa parametri parasti tiek novērtēti, izmantojot mazāko kvadrātu metodi, ir arī citas metodes, kuras tiek izmantotas daudz retāk. Piemēram, šīs ir šādas metodes:

• Bajesa metodes (piemēram, Bajeza lineārās regresijas metode).
• Procentuālā regresija, ko izmanto situācijās, kad procentuālo kļūdu samazināšana tiek uzskatīta par piemērotāku.
• Mazākās absolūtās novirzes, kas ir stabilākas, ja ir novirzes, kas noved pie kvantilās regresijas.
• Neparametriskā regresija, kurai nepieciešams liels skaits novērojumu un aprēķinu.
• Mācību metrikas attālums, kas tiek apgūts, meklējot jēgpilnu attāluma metriku dotajā ievades vietā.

Programmatūra

Visas galvenās statistikas programmatūras pakotnes tiek veiktas, izmantojot mazāko kvadrātu regresijas analīzi. Dažās izklājlapu lietojumprogrammās, kā arī dažos kalkulatoros var izmantot vienkāršu lineāro regresiju un daudzkārtējās regresijas analīzi. Lai gan daudzas statistikas programmatūras pakotnes var veikt dažāda veida neparametriskas un robustas regresijas, šīs metodes ir mazāk standartizētas; dažādas programmatūras pakotnes ievieš dažādas metodes. Ir izstrādāta specializēta regresijas programmatūra izmantošanai tādās jomās kā aptaujas analīze un neiroattēlveidošana.

Regresijas analīze ir viena no populārākajām statistikas pētījumu metodēm. To var izmantot, lai noteiktu neatkarīgo mainīgo ietekmes pakāpi uz atkarīgo mainīgo. Programmas Microsoft Excel funkcionalitātei ir rīki, kas paredzēti šāda veida analīzes veikšanai. Apskatīsim, kas tie ir un kā tos izmantot.

Bet, lai izmantotu funkciju, kas ļauj veikt regresijas analīzi, vispirms ir jāaktivizē analīzes pakotne. Tikai tad šai procedūrai nepieciešamie rīki parādīsies Excel lentē.

Tagad, kad mēs ejam uz cilni "Dati", uz lentes instrumentu kastē "Analīze" mēs redzēsim jaunu pogu - "Datu analīze".

Regresijas analīzes veidi

Ir vairāki regresijas veidi:

• parabolisks;
• jauda;
• logaritmisks;
• eksponenciāls;
• demonstrācija;
• hiperbolisks;
• lineārā regresija.

Sīkāk par pēdējā veida regresijas analīzes ieviešanu programmā Excel runāsim vēlāk.

Lineārā regresija programmā Excel

Zemāk kā piemērs ir tabula, kas parāda vidējo diennakts gaisa temperatūru uz ielas, un veikala klientu skaitu attiecīgajā darba dienā. Ar regresijas analīzes palīdzību noskaidrosim, kā tieši laika apstākļi gaisa temperatūras veidā var ietekmēt mazumtirdzniecības uzņēmuma apmeklējumu.

Vispārējais lineārās regresijas vienādojums izskatās šādi: Y = a0 + a1x1 + ... + axk. Šajā formulā Y nozīmē mainīgo, kura ietekmi mēs cenšamies izpētīt. Mūsu gadījumā tas ir pircēju skaits. Nozīme x ir dažādi faktori, kas ietekmē mainīgo. Iespējas a ir regresijas koeficienti. Tas ir, tie nosaka konkrēta faktora nozīmi. Rādītājs k apzīmē šo pašu faktoru kopējo skaitu.

Analīzes rezultātu analīze

Regresijas analīzes rezultāti tiek parādīti tabulas veidā iestatījumos norādītajā vietā.

Viens no galvenajiem rādītājiem ir R-kvadrāts. Tas norāda uz modeļa kvalitāti. Mūsu gadījumā šis koeficients ir 0,705 jeb aptuveni 70,5%. Tas ir pieņemams kvalitātes līmenis. Attiecības, kas mazākas par 0,5, ir sliktas.

Vēl viens svarīgs indikators atrodas šūnā līnijas krustpunktā "Y-krustojums" un kolonnu "Koeficienti". Šeit ir norādīts, kāda būs Y vērtība, un mūsu gadījumā tas ir pircēju skaits, un visi pārējie faktori ir vienādi ar nulli. Šajā tabulā šī vērtība ir 58,04.

Vērtība diagrammas krustpunktā "Mainīgais X1" un "Koeficienti" parāda Y atkarības līmeni no X. Mūsu gadījumā tas ir veikala klientu skaita atkarības līmenis no temperatūras. Koeficients 1,31 tiek uzskatīts par diezgan augstu ietekmes rādītāju.

Kā redzat, ir diezgan viegli izveidot regresijas analīzes tabulu, izmantojot Microsoft Excel. Bet tikai apmācīts cilvēks var strādāt ar izvadā iegūtajiem datiem un saprast to būtību.