Лекции по Въведение в статистиката Павлина Йорданова

Регресионният анализ е метод за моделиране на формата на зависимостта на един метриран резултативен признак Y, от един или няколко метрирани факторпризнаци X, наречени още независими променливи. Този анализ не отчита, че изменението на разглежданите величини може да се дължи на външни, невключени в модела фактори. Резултатът от регресионния анализ ни позволява ако знаем Х да предскажем Y, с известна грешка. Очакваната стойност на тази грешка се измерва в средноквадратичен смисъл. По-точно средноквадратична грешка на Y относно f(X) това е

Ако факторпризнакът е един, говорим за единична регресия. Иначе говорим за множествена регресия. Ще означаваме независимите променливи с X = (X₁, X₂, ..., X_r ).

Предполагаме, че правим независими опити от наблюдения върху X и Y, при едни и същи условия на експеримента. Т.е. при всеки опит имаме реализации на X и Y.

Общият алгоритъм на регресионният анализ е следният.

1. Регресионният анализ започва с изчертаване на корелационните полета на данните. В зависимост от кривата, около която се групират точките от тези полета се избира клас G от функции, в който ще моделираме линията на регресия. Да приемем, че аналитично им представяне е

Y = f(X, ) + ,

където  е r+1-мерен вектор, чиито координати са неизвестни параметри на функцията f, а  e стохастична грешка със средно Е = 0 и с крайна дисперсия D = ².

Оценката на линията на регресията е онази функция f от разглеждания клас G, която минимизира средноквадратичната грешка на Y относно f(X). В множеството от всички функции това е

f(x) = E(Y|X = x).

Ако функцията f е линейна относно неизвестните параметри , но не обезателно линейна относно независимите променливи, говорим за линеен регресионен модел. Иначе моделът се нарича нелинеен.

2. Първата задача на регресионния анализ е да се построят най-добри точкови и интервални оценки на параметрите на регресията така, че измежду всички линии с това аналитично представяне, при получените оценки на параметрите, да имаме най-малка сума от квадратите на грешките. По данните от извадката, използвайки метода на най-малките квадрати, правим оценка на вектора . Ще я означаваме с . Тя е такава, че да минимизира

.

Намира се като се реши относно , следната система

наречена система нормални уравнения.

3. От полученото уравнение на регресия пресмятаме оценките на стойностите на зависимата променлива Y при наблюдаваните Х. Тези оценки ще означаваме с , т.е.

4. Следва анализ на остатъците  = Y - . Разглежда се тахната диаграма на разсейване. Проверяват се следните условия на Гаус-Марков.

• 
  Дали отклоненията  на фактическите стойности на резултативната величина Y от техните оценки имат случаен характер.
  
• 
  Дали тези остатъци са еднакво разпределени. Дали имат равни дисперсии.
  
• 
  С някои от критериите за съгласие се проверява дали разпределението им е нормално.
  
• 
  Проверява се хипотезата за липса на корелация в остатъчния компонент. То е все едно да проверим дали има корелация между X и .
  

Може да тестваме повече от една функция f. При всяка от тях ще получаваме различни оценки и съответно различни . Най-добър модел за съответните данни ни дава тази линия, за която сумата от квадратите на отклоненията на фактическите (измерените) значения на резултативната величина Y от техните оценки е минимална. Т.е. моделът с най-малка стандартна грешка е най-подходящ за нашите данни.

6. Ако условията на Гаус-Марков са удовлетворени се прави проверка на хипотезата за статистическата значимост на коефициентите в уравнението на регресия и проверка на хипотезата за адекватност на регресионния модел.

7. Друг измерител на качеството на направения модел е корелационният коефициент на Пирсън

Той се изменя от 0 до 1. Измерва силата на струпване на точките от корелационното поле около избраната линия на регресия. Т.е. силата на зависимостта на резултативната величина от включените в модела фактори.

8. 100% се нарича коефициент на детерминация (определеност). Това е частта от дисперсията на Y, която се обяснява с регресионната зависимост на Y от X₁, X₂, …, X_r. Колкото коефициентът на детерминация е по-близо до 100%, толкова моделът е по-добър.

9. 100% се нарича коефициент на индетерминация(неопределеност). Показва каква част от вариацията на Y се дължи на невключени в модела фактори.

10. Много широко приложение в практиката намират различните коефициенти на еластичност. В общия случай те имат вида

и показват при изменение на независимата променлива с 1% от разглежданата стойност, с колко процента ще се измени резултативната величина.

Използат се още следните величини:

• 
  показва, с колко единици средно, в приетата за резултативния признак Y мярка, би се изменил той, ако изменим факторпризнака Х с една единица, в приетата за него мярка.
  
• 
  показва при изменение на Х с 1% от разглежданата стойност, с колко абсолютни единици ще се измени резултативната величина.
  
• 
  показва при изменение на Х с единица в приетата за Х мярка, с колко процента ще се измени Y.
  

Нека изследваме влиянието на фактора Х върху резултативния признак Y. Т.е. r = 1. Изчертаваме корелационно поле на данните. По абсцисната ос се нанасят измерените значения на признака X, а по ординатната, измерените значения на резултативната величина Y. Да предположим, че разполагаме с n на брой двойки от независими наблюдения (X₁,Y₁), (X₂,Y₂),… ,(X_n,Y_n). Изчертали сме корелационното поле и сме видели, че точките се групират около права. Избираме линия на регресия

където ₀ и ₁ са неизвестни параметри. Тогава регресионният модел е

Тук  е стохастичната грешка, която трябва да е със средно Е = 0 и D = ² < .

Най-добрите оценки на ₀ и ₁ се получават по метода на най-малките квадрати. Те са такива, че минимизират сумата от квадратите на отклоненията

.

Да означим тези оценки с и . Намираме ги от системата нормални уравнения, която в случая има вида

(1) .

Решението на тази система е:

Ако гледаме на тези оценки като на случайни величини, те са неизместени и имат минимална дисперсия в сравнение с всички неизместени оценки, линейно зависещи от Y₁, Y₂, …, Y_n.

Оценката на уравнението на регресия е

Коефициентът в това уравнение показва, с колко единици средно, в приетата за резулта-тивния признак Y мярка, би се изменил той, ако изменим факторпризнака Х с една единица в прие-тата за него мярка. При правопропорционална зависимост на резултативния признак от факторпризнака, > 0. Обратно, ако зависимостта на Y от Х е обратнопропорционална, този коефициент е отрицателен. Коефициентът е равен на ординатата на точката, в която линията на регресия пресича ординатната ос. Линията на регресия ще е успоредна на абсцисната ос ако значенията на резултативния признак не се влияят от тези на факторпризнака.

Като заместим измерените значения на факторпризнака Х, в уравнението на регресия, намираме съответните оценки за значенията на резултативния признак Y. Сумата и съответно средната аритметична на тези оценки е равна на съответната характеристика на изходните данни.

За да можем да направим статистически изводи за ₀, ₁ и Y първо трябва да оценим дисперсията ² и после да опишем разпределението на грешката. От теорията на общите линейни модели, най-добра неизместена оценка за ² е

Тази величина се нарича среден квадрат на грешката.

(2) ,

се нарича обща стандартна грешка на модела.

Ако значи имаме пълно съвпадение на изходните данни с техните оценки.

Често пъти резултатите от изследването се оформят в таблица от вида:

Следва “Анализ на остатъците”. Анализира се техния графичен образ или се правят следните проверки на хипотези:

1. Дали остатъците имат случаен характер.

2. Дали са еднакво разпределени. Дали имат равни дисперсии.

3. Дали разпределението им е нормално.

4. Дали са некорелирани. То е все едно да проверим дали има корелация между X и .

В случая на нормално разпределени грешки, които удовлетворяват горните условия, можем да направим проверка на хипотезата за адекватност на тествания модел. В случая проверяваме хипотезата

Н₀: ₁ = 0

срещу алтернативата

Н₁: ₁  0.

Избираме риск за грешка от първи род   (0, 1).

Критичната област за нулевата хипотеза има вида

където С_ е 1-  квантилът на F(1, n - 2).

Същата проверка на хипотези може да се направи и с критичната област

където _ е 1 - /2 квантилът на t(n - 2).

Вече можем да проверим допълнителни хипотези. Например можем ли да закръглим кофициентите си. В този случай в числителя на емпиричната характеристика имаме разликата на оценката и тестватната константа, а в знаменателя стои стандартната грешка на оценката. Костантата С_ е 1 -  /2 квантилът на t(n - 2).

Можем да построим и доверителни интервали на ₀ , ₁, E(Y|X = x) и EY. Нека

При функционална зависимост между Х и Y, S_ = 0. Ако оценките на Y не се влияят от Х, S_ = . Ето защо ако отнесем S_ към стандартното отклонение на данните от извадката, отнасящи се за резултативния признак, ще получим величина, която е 0 при пълно съвпадение, т.е. при функционална зависимост между Х и Y и е 1 ако оценките на Y не се влияят от Х. В последния случай всички оценки на резултативния признак ще са равни помежду си и по тази причина ще са равни на своята средна аритметична и на средната аритметична на изходните данни за този признак. На основата на тези разсъждения е образуван корелационния коефициент на Пирсън

Той се изменя от 0 до 1. За посоката на зависимостта се съди по знака на . Измерва силата на праволинейната зависимост между X и Y. Равен е на коефициента на корелация на Браве.

2. 
   Функцията LINEST(y; x; 1; 1) връща матрица със следното съдържание:
   

Ако не желаем да използваме вградения в Excel апарат за статистически анализ, а искаме да

пресмятаме всички характеристики, полезни се оказват следните връзки:

; ; ; ;

; ; ;

Преди да проведем регресионния анализ е добре да центрираме X-совете с техните средни. Тогава линията на регресия става

където W_i = X_i - и = ₀ + ₁. В този случай оценката на ₁ е както преди, но = . Практическото и теоретическото преимущество на този подход е, че оценките и са некорелирани.

При простата линейна регресия може да се направи още една проверка за адекватност, а именно да се провери хипотезата