Моделите за добавената стойност се считат за прецизни индикатори за оценка на ефективността на образованието. Те стават все по-популярни и се използват в редица развити образователни системи, като например САЩ, Англия, Нидерландия, Полша, Чехия, Норвегия, Чили и др.
Целта на този проект е да апробира методиката за изследване на ефективността на училищата в България, основана на моделите за добавена стойност, като се използват резултати от националните оценявания.
Резултатите от националните оценявания за последните няколко години се представят в така наречения „суров тестов бал“ (брой точки) и таблица за превръщане на точките в „шестобална“ оценка. Като се използват тези данни, за всяко училище може да се пресметне средния му бал, което дава възможност за сравняване на училищата помежду им.
Оказва се, че този начин за сравняване на училищата и за оценка на тяхната ефективност не е добър, понеже не се вземат пред вид важни фактори, влияещи върху успеваемостта на ученици, като например: вродените качества на учениците, социално-икономическата им среда, влиянието на извънучилищната среда, придобитите знания и умения до постъпване в конкретно училище и др. Използването на модели за добавена стойност дава възможност да се изследва и да се вземе пред вид влиянието на такива фактори (наречени „контекстуални характеристики“) върху оценката на ефективността на всяко училище.
За да се приложат модели за добавената стойност, трябва да имаме данни от оценяване на знанията на едни и същи ученици в два различни момента от тяхното обучение. В случая за този проект за използвани данни от национални оценявания на едни и същи ученици когато те са завършвали 4 клас през пролетта на 2009 година и когато същите ученици са завършвали 7 клас през пролетта на 2012 година. Данните са предоставени от МОМН е три файла със следната структура:
Първият файл съдържа данни от националното оценяване в края на 4 клас през 2009 година плюс данни за пола на учениците и езика, който се говори в къщи. Вторият файл съдържа данни от националното оценяване в края на 7 клас през 2012 година. Третият файл съдържа номенклатурни данни за училищата.
Обработка на данните
При обработката на данните бяха забелязани следните проблеми:
Три реда в оригиналната база данни бяха с грешен формат. Тези редове бяха изтрити.
Файла с данни за 4 клас съдържа информация за 64808 ученици. При съединяването му с файла с данни за 7 клас, се получиха 48529 съвпадения на, т.е. толкова ученици имат записи едновременно и в дават файла. Това показва известна несъвместимост в оригиналната база данни. Анализите са направени с тези 48529 ученици в 1918 училища, за които може да пресметнем добавената стойност.
Открити са липсващи данни, които са под 1%, което не дава повод да се счита, че липсата им е систематична. Количествените липсващи данни са заменени с средната стойност на наличните, а категорните – с модата на наличните.
За нуждите на статистическия анализ е направен следната структура от данни:
Резултати от теста по математика в 4 клас,
Резултати от теста по български език и литература в 4 клас,
Резултати от теста по математика в 7 клас,
Резултати от теста по български език и литература в 7 клас,
Код за езика, който се говори в къщи,
Код за пола на ученика,
Код на училището в 4 клас,
school type1 за училището в 4 клас (виж Таблица 1),
school type2 за училището в 4 клас,
Код на за училището в 7 клас,
school type1 за училището в 7 клас (виж Таблица 1),
school type2 за училището в 7 клас,
Кодовете за езика, който се говори в къщи, са:
Език
Код
Български
1
Ромски
2
Турски
3
Друг
4
За техническо удобство е направена следната обединяване на номеклатурните номера на училищата в променлива type1 code:
Номенклатурен код
Type1 code
2, 6
1
3, 7
2
4, 10
3
8, 71
4
21, 32
5
50, 51, 52, 53, 54, 55, 56, 57, 58
6
Променливата type2 code показва дали училището е частно или не (1 – частно, 0 – не е частно). Номенклатурните кодове на училищата са дадени в таблица 1.
Използвани са следните такива характеристики: резултатите от националните оценявания по български език и литература и по математика в 4 и в 7 клас; езика, който се говори в къщи; пола на ученика.
На фигурите 1 и 2 са представени разпределенията съответно на езика, който се говори в къщи, и пола на учениците.
Вижда се, че за децата, представени в извадката, основният език, говорен у дома, е българският, следван от турския и ромския. Момичетата са повече от момчетата.
Хистограмите (графиката на честотата на срещанията на баловете) на резултатите от националните оценявания по математика и по български език и литература (БЕЛ) и в 4 клас са представени съответно на фигурите 3 и 4. Забелязва се, че голям брой чуеници са получили висок резултат от двата изпита, като броят на слабите оценки е незначителен. Разпределението на точките не е нормално (Гаусово), тъй като не се характеризира с така наречената „камбановидна крива“, имаща максимум в средния бал и бързо намаляваща към нулата в най-ниските и най-високите точки. Нормалното разпределение на резултатите е очаквано за всички тестове, които могат да разграничават „знаещите“ от „незнаещите“ ученици. На графиките от фигурите 3 и 4 разпределенията имат бързо (експоненциално) нарастване. Това показва, че тестът е бил лесен за повечето ученици.
Средната стойност и дисперсията (разпръскването, разсейването около средната стойност) на тези параметри са дадени в Таблица 2. Очевидно е, че тези разпределения не са „близки до нормалното“ с твърде голямо разсейване на резултатите в сравнение със средния брой точки. Това не е сериозен проблем за качествата на регресионните модели, защото тези параметри са предиктори.
По аналогичен начин са представени с хистограми (фигури 5 и 6) и таблица (Таблица 3) резултатите от националните оценявания по математика и по български език и литература (БЕЛ) и в 7 клас.
Трябва да се отбележи, че разпределението на резултатите по математика и български език и литература в 7 клас няма ясно изразени опашки (няма рядко срещащи се балове, а всичките са с честоти приблизително равни на честотата на средния бал) и е с дисперсия много по-голяма от очакваната (това е дисперсията на нормално разпределение със същия размах (обхват) на данните). Този факт е причина за ниската стойност на коефициента в регресионните модели, тъй като за разлика от разпределението на предикаторите, разпределението на отклика е от съществено значение за тяхната пълна идентификация. Интересен е фактът, че разпределението на точките от изпита по математика има изразен бимодален вид (има две максимални стойности), което говори за нехомогенност на данните (т.е. данните могат да се разглеждат като данни на две различни извадки с различни характеристики). Този факт може да се дължи на участието или неучастието на всички ученици в двата модула.
Таблица 3. Средна стойност и дисперсия, 7 клас
Математика
БЕЛ
Средна стойност
35.5989
35.4081
Дисперсия
289.0382
212.3981
Характеристики на ниво училище
Използвани са следните две такива характеристики: Type1 code, който е обяснен в Таблица 1, и индикатор за това дали училището е частно или не е. Разпределението на тези два параметъра са дадени съответно на фигурите 7 и 8.
Преобладаващият брой на училищата в изследването са държавни, основни и средни общообразователни.
о аналогичен начин са представени с хистограми (фигури 5 и 6) и таблица (Таблица 3) резултатите от националните оценявания по математика и по български език и литература (БЕЛ) и в 7 клас.
в регресионните модели, тъй като за разлика от разпределението на предикаторите, разпределението на отклика е от съществено значение за тяхната пълна идентификация.