Множественна линейна регресия

Да предположим, че разполагаме с n на брой r+1-торки от независими наблюдения

върху тези признаци.

Да приемем, че аналитичното представяне на линията на регресия е

y = ₀ + ₁ х₁ + ... +_r x_r,

където  е r+1-мерен вектор, чиито координати са неизвестни параметри. Тогава регресионният модел е

Тук  е стохастичната грешка с Е = 0 и D = ² < .

В това уравнение, някои променливи X₁, Х₂, ..., Х_r могат да бъдат функции от други промелниви измежду X₁, Х₂, ..., Х_r. Важното е регресионната функция да е линейна относно неизвестните параметри. Ако X₁ = Х, Х₂ = Х ², ..., Х_r = Х ^r имаме полиномна регресия.

За да получим оценките на неизвестните параметри по метода на най-малките квадрати, можем да използваме последователността

в Excel.

Тези параметри минимизират

и ако ги разглеждаме като случайни величини, те имат минимална дисперсия в сравнение с всички неизместени оценки, линейно зависещи от Y₁, Y₂, …, Y_n.

Получаваме следната оценка на уравнението на множествената регресия

= + X₁ + ... + X_r + ,

Ако са изпълнени условията от теоремата на Гаус-Марков, тази оценка на Y при зададени X₁ = х_1,i, Х₂ = х_2,i, ..., Х_r = х_{r, i} има минимална дисперсия измежду всички линейни оцeнки на Y при зададени X₁ = х_1,i, Х₂ = х_2,i, ..., Х_r = х_r,i.

При три неизвестни параметъра освен неизвестните параметри последователността

Tools  Data Analysis  Regression

в Excel извежда техните стандартни грешки, теоретични характеристики и доверителни интервали. При r = 2 изходната таблица има следния вид.

 CoefficientsStandard Errort StatP-valueLower 95%Upper 95%Intercept Р( | | > )X₁ Р( | | > )X₂ Р( | | > )Тук  ~ t( n – 3).

Забележка: За сега се интересуваме само от колонката Coefficients.

След намирането на уравнението на регресия можем да получим най-добра оценка за Y по зададено значение на X. Това става като заместим Х, в оценката на уравнението на регресия.

Ако в оценката на уравнението на регресия заместим независимите променливи с техните средни получаваме средната на резултативната веричина.

Последователността Tools  Data Analysis  Regression в Excel извежда още

RESIDUAL OUTPUTObservationPredicted YResidualsStandard Residuals12............Predicted Y представлява .

Residuals представлява - Y_i.

Standard Residuals представлява .

За да можем да направим статистически изводи за ₀, ₁, … , _r и Y първо трябва да оценим дисперсията ² и после да опишем разпределението на грешката. От теорията на общите линейни модели, най-добра неизместена оценка за ² е . Тази величина се нарича среден квадрат на грешката.

Величината се нарича стандартна грешка на модела.

Ако тази грешка е нула, значи имаме пълно съвпадение на изходните данни с техните оценки. Ако независимата променлива и грешката са некорелирани

При функционална зависимост между Х и Y, S_ = 0. Ако оценките на Y не се влияят от Х, S_ = . Ето защо ако отнесем S_ към стандартното отклонение на данните от извадката, отнасящи се за резултативния признак, ще получим величина, която е 0 при пълно съвпадение, т.е. при функционална зависимост между Х и Y и е 1 ако оценките на Y не се влияят от Х. На основата на тези разсъждения е образуван корелационния коефициент на Пирсън

Той се изменя от 0 до 1. Измерва силата на зависимостта на между зависимата променлива и факторпризноците. Тук се пресмятат и частни коефициенти на корелация. Виж следващата точка.

Анализираме остатъците от тяхната диаграма на разсейването. Проверяваме дали:

1. те имат случаен характер.

2. Дали са еднакво разпределени. Дали имат равни дисперсии.

3. Дали са некорелирани.

4. Дали са нормално разпределении.

Ако тези условия са удовлетворени можем да направим проверка на хипотезата за статистическата значимост на коефициентите в уравнението на регресия и проверка на хипотезата за адекватност на тествания модел.

Под формата на ANOVA таблица Excel извежда следната таблица
ANOVAПричина за дисперсиятаdfSSMSFSignificance FRegression

Регресиятаr F _емп = P(F(r, n – r - 1) > F_емп)Residual

Остатъцитеn – r - 1 Total

Общоn - 1 Хипотезите относно коефициентите ₀, ₁, … , _r могат да се разделят в три групи:

1 група. Н₀: ₀ = ₁ = … = _r = 0

срещу алтернативата

Н₁: «Поне един от тези коефициенти да е различен от 0».

Избираме риска за грешка от първи род   (0, 1).

Критичната област за нулевата хипотеза има вида

където С_ е 1-  квантилът на F(r, n – r -1).

При реализирането на тази проверка на Excel използваме горната таблица.

2. 
   група. За някое k от 1 до r можем да проверим
   

срещу алтернативата

Н₁:  _k  0.

Избираме риска за грешка от първи род   (0, 1).

Критичната област за нулевата хипотеза има вида

където С_ е 1- /2 квантилът на t( n – r -1).

При реализирането на тази проверка на Excel използваме следващата таблица. (При r = 3).

 CoefficientsStandard Errort StatP-valueLower 95%Upper 95%Intercept t _емп,0 = Р( |t _{емп, 0}| > ) X Variable 1 t _{емп, 1} = Р( |t _{емп, 1}| > ) X Variable 2 t _{емп, 2} = Р( |t _{емп, 2}| > ) 3. група. Ако проверяваме хипотезата само някои от коефициентите да са нули трябва да подходим по следния начин. Нека k  r. Проверяваме

Н₀: ₀ = ₁ = … = _k = 0

срещу алтернативата

Н₁: «Поне един от тези коефициенти да е различен от 0».

Избираме риска за грешка от първи род   (0, 1).

За да се провери тази хипотеза се прави регресионен анализ само за тези коефициенти. Да означим неговата стандартна грешка с , т.е. . Критичната област за нулевата хипотеза има вида

където С_ е 1-  квантилът на F(r - k, n – r - 1).

Преди да проведем регресионния анализ е добре да центрираме х-совете с техните средни. Тогава линията на регресия става

y = + ₁ W₁ + ₂ W₂ + … + _r W_r,

където W_i = X_i - , , i = 1, 2, …, r и = ₀ + ₁ + ₂ + … _r . В този случай ₁, ₂,…, _r са както преди, но = . Практическото и теоретическото преимущество на този подход е, че оценките и , , …, са некорелирани с . Това опростява намирането на доверителните интервали на .

В регредионния модел коефициентът _i измерва степента на изменение на Y в зависимост от X_i, когато всички останали Х-сове са фиксирани. Тези коефициенти, обаче могат да бъдат несъизмерими по величина, по тази причина е необходимо първо да стандартизираме независимите променливи. Нека

и за i = 1, 2, …, r.

Т.е. моделът на множествена регресия сега може да се запише във вида

където  е r+1-мерен вектор, чиито координати са неизвестни параметри, а  e стохастичната грешка с Е = 0 и D = ² < .

С развитата по-горе теория оценяваме неизвестните коефициенти и после се връщаме в изходния модел. Преимуществото на стандартизацията се състои в това, че Z_1,i, ..., Z_r,i, i = 1, 2, …,

n, се измерват на една и съща скала.

За да запишем формулите за стандартните грешки на коефициентите ще дадем горния регресионен анализ записан в матричен вид.

Нека

 = (₀, ₁, … , _r)^Т да е вектор-сталб от неизвестните коефициенти в уравнението на регресия,

 = (₁, ₂, … , _n)^Т да е вектор-сталб от грешките.

Матрицата на плана, съдържаща стойностите на факторпризнака ще означим с

Х _{n  r + 1} = .

Регресионният модел тогава може да бъде записан във вида

Тук векторът  трябва да има многомерно нормално разпределение N(0, ²I).

Диференцираме горното уравнение по отношение на неизвестните параметри в модела и приравняваме производните на нула. Получаваме

Така  се получава като решение на системата нормални уравнения:

Матрицата Х^TX е симетрична и се нарича информационна матрица на Фишер. Ако нейната детерминанта е различна от нула, Х^TX има обратна. Тогава решението на тази система има вида

Неизместената оценка на дисперсията на грешката е

Може да се докаже, че при фиксирани независими променливи, кoвариационната матрица на вектора е

Доверителният интервал за е

Оценката на вариацията на прогнозата в Х₀ = (1, Х₀₁, X₀₂, ..., X_0r) ^T e

Доверителният интервал за средното значение на Y при фиксирани X₁, X₂, ... X_r е

Величината

се нарича множествен коефициент на корелация между Y и X₁, X₂, …, X_r. Това е частта от дисперсията на Y, която се обяснява с регресионната зависимост на Y от X₁, X₂, …, X_r. Тази величина съвпада с корелационния коефициент на Пирсън. e максималното значение на простите коефициенти на корелация на Y и линейните комбинации на набора от променливи X₁, X₂, …, X_r. е инвариантен относно неизродени линейни преобразования на изходните променливи.

При = 1 имаме пълна линейна зависимост на Y от X₁, X₂, …, X_r.

Ако искаме да проверим

Н₀: = 0, т.е. ₀ = ₁ = … = _r = 0

срещу алтернативата

критичната област за нулевата хипотеза съвпада с

където С_ е 1-  квантилът на F(r, n – r -1).

Ако мерим корелацията на 2 променливи, а фиксираме някое множество от други променливи (т.е. слагаме тези променливи в условието) говорим за частна корелация. Фиксираните променливи се записват след точката (виж по-долу).

Ако фиксираните променливи са k говорим за коефициент на корелация от k – ти порядък.

В сила са следните тъждества между множествените и частните коефициенти на корелация:

1. Т.к.

2. Ако с e множество, което се състои от всички променливи от X₁, …, X_k с изключение на X_i

Ако искаме да проверим

срещу алтернативата

критичната област за нулевата хипотеза има вида

където s е броят на променливите в набора с, а С_ е 1-  квантилът на t(n – s - 2).

2. 
   1 - = (1 - )(1 - ).
   
3. 
   Частните коефициенти на корелация могат да бъдат изчислени на базата на рекурентни съотношения от предходните.
   

Ако с е кое да е множество от останалите променливи