Юни 2013 Световна банка Регион Европа и Централна Азия

Резюме

1. 
   Докладът е втора поред разработка (в рамките на програмата за техническа помощ на СБ), посветена на оценката на добавената стойност на училищата. През април 2011 Световната банка изготви и представи на МОМН обзорния материал: „Използване на резултатите от външното оценяване за определяне на добавената стойност на училищата: техники и приложения за подобряване на учебния процес и отчетността на училищата“). Неговата цел беше да представи същността на анализа на добавената стойност на училищата, международния опит в прилагането и употребата на такива анализи, както и описание на основните класове статистически модели и подходи използвани в практиката досега за оценка на добавената стойност на училища. Ръководството на МОМН взе решение за апробиране на модели на добавената стойност в България и сформира работна група от експерти на МОМН, която участва в подготовката на техническото задание за пилотното приложение на модели за оценка на добавената стойност на българските училища.
   

2. 
   Целта на настоящата разработка е да документира процесите и резултатите от пилотно апробиране на набор от статистически модели за оценка на добавената стойност на училища. Докладът описва спецификациите на статистическите модели и извършените статистическия анализи. Получените резултати за добавената стойност са представени в Анекс 1 на база извадка от включените в анализа училища (включени са резултатите на 177 училища на територията на Столична община). Докладът набелязва и основните ограничения и препоръки за последващи анализи и работа по изготвянето на оценки за добавената стойност на българските училища.
   

3. 
   Моделът на добавената стойност представлява анализ на резултатите на едни и същи ученици в две времеви точки, коригирани с набор от показатели за социално-икономическия статус на всеки ученик, в резултат на което се изолира приносът на училището към резултатите на учениците от действието на фактори извън контрола на училищата. Този изолиран принос представлява добавената стойност на училището.
   
4. 
   Концепцията за „добавена стойност на училищата“ е израз на разбирането, че придаването на особено значение на данните от външното оценяване за определяне на качествата на дадено училище би било несправедливо, ако липсват точни показатели, измерващи приноса на училището към наученото от учениците, тъй като резултатите на учениците зависят както от фактори, пряко свързани с процесите в класната стая, така и и с редица фактори извън контрола на училището.
   
5. 
   Моделите за добавената стойност придобиват все по-голяма популярност и се считат за прецизни индикатори за оценка на ефективността на образованието. Редица развити образователни системи рутинно прилагат модели на добавената стойност /например САЩ, Англия, Нидерландия, Полша, Чехия, Норвегия, Чили и др./, но те се различават както по отношение на употребата им, така и като анализ и подход. Различните модели за определяне на добавената стойност, разработени досега, обслужват конкретни политики и специфични цели, заложени в образователните системи на страните, в които се прилага, затова е невъзможно да се определи „истински“, „най-добър“ или универсално приложим модел.
   

6. 
   За нуждите на анализа са използвани данни от външните оценявания по български език и литература /БЕЛ/ и математика на едни и същи ученици в две времеви точки – резултатите от външните оценявания след 4 клас /2009 г. / и след 7 клас /2012 г. /, допълнени от набор от контекстуални характеристики на учениците. В анализът участват всички училища, предлагащи образование от 4 до 7 клас. Данните от двете години и от различните предметни тестове са свързани посредством уникални идентификационни кодове, анонимизиращи ЕГН на включените в анализа ученици. След преглед на наличните данни за учениците в информационните системи на МОМН бе установено, че единствената променлива, която би могла да се използва в качеството си на контекстуална характеристика, описваща социално икономическия статус на учениците, е „език, говорен у дома“. Тази информация е събрана за учениците по време на външното оценяване в 4 клас през 2009 г.
   
7. 
   За по-прецизното изчисление на добавената стойност е необходим по-богат набор от контекстуални характеристики, влияещи върху представянето на учениците. МОМН изготви анкетна карта /Анекс 2/ с богат набор от въпроси са за набиране на информация за социално икономическия статус на учениците. Практическото приложението на въпросника имаше като резултат твърде нисък дял на учениците с пълен набор отговори и съществен дял непопълнени анкетни карти, поради което данните от него не бяха включени в анализа. В резултат на това анализът на добавената стойност борави само с променливите „език, говорен у дома“ и „вид училище“. Силно ограничаващо анализа обстоятелство е, че е налице същественото разминаване между броя на учениците с данни от външното оценяване в 4 и 7 клас, като броят на учениците, за които е възможно да се свържат данните от двете години и двата изследвани предмета е едва около 48000 /7 клас/ спрямо над 64000 ученика /4 клас/ в изследвания випуск.
   

8. 
   За анализа на добавената стойност са използвани линеен регресионен модел и многостепен модел. Сходните резултати от двата модела на база налични данни показва, че за предпочитане е използването на по-опростен модел /линейно регресионен/ при условие че (i) се пристъпи към евентуално бъдещо рутинно приложение на модел на добавената стойност на училищата и (ii) същото сходство на резултатите между двата класа модели се получава и при използването на по-голям набор от контекстуални данни на учениците.
   

9. 
   На основата на корелационен анализ между резултатите за добавената стойност на училищата и обикновените усреднени резултати от външните оценявания се получава висок корелационен коефициент 0.8241, което, най-общо казано, означава, че принципно по-високите усреднени резултатите от националното оценяване в края на 7 клас съответстват на по-високи добавени стойности на училищата и обратно, по-ниски средни стойности на резултатите от националното оценяване в края на 7 клас съответстват на по-ниски добавени стойности на училищата.
   
10. 
    При преглед на данните за отделните училища все пак се наблюдават различия в позициите на едно и също училище от гледна точка на добавена стойност и усреднени резултати, което потвърждава полезността на анализа на добавената стойност /Анекс 1/.
    
11. 
    Необходимо е да се преразгледат и хармонизират целите на външните оценявания след 4 и 7 клас, което включва и промени в дизайна на самите тестовете. Понастоящем те не са достатъчно съпоставими за получаването на достатъчно валидна и надеждна преценка на добавената стойност на училищата. Критериите за успешно покриване на стандартите в теста след 4 клас са занижени и множеството от тестваните ученици показват високи постижения с нетипично разпределение на резултатите. Тестът след 7 клас съдържа два модула и не всички ученици решават втория модул, но за разлика от теста за 4 клас, нивото на трудност е по високо и се постига по-нормално разпределение на резултатите. Необходимо е да се преразгледат
    
    1. 
       тестовите материали с цел да се повиши способността им да дават обективно отражение на знанията на учениците и да регистрират както много ниски нива на знания и умения, така и на много високи.
       
    2. 
       скалата за оценяване
       
    3. 
       елиминирането на възможностите за подсказване, преписване и др. По време на външните оценявания
       
12. 
    Изключително важно за евентуално бъдещо рутинно прилагане на модел на добавената стойност на училищата е да се разшири набора от контекстуални променливи за учениците. Може да се очаква, че това ще повиши стойността на коефициента в линейния модел, тъй като ниска стойност на може да се дължи и на изпускането на важни предикатори, които могат да окажат влияние на отклика.
    
13. 
    Необходимо е да се направи допълнителен анализ с цел да се установи:
    

• 
  какво е количеството на липсващите данни,
  
• 
  достатъчно голям ли е процентът на учениците, които може да се включат в оценката на добавената стойност за всяко училище, за да се гарантира валидна оценка на ниво училище
  
• 
  правило за моделиране на добавената стойност при наличието на ученици, които сменят училището си или напускат системата /например, ученик може да бъе включен в оценката на добавената стойност на дадено училище ако се е обучавал в него поне 150 дни преди датата на външното оценяване/
  
• 
  Стабилност по отношение на статистическите модели. До колко използването на различни статистически модели за добавена стойност влияе върху крайния резултат?
  
• 
  Стабилност през годините. До колко повтарянето на оценката на добавена стойност е стабилна ако изследването се повтаря всяка година?
  

14. 
    Ако се окаже, че с наличните данни от допълнителния въпросник има „голяма“ група от училища с висок процент отговорили на въпросника ученици, би могло да направи оценка на добавената стройност на тази група училища с и без използване на данните на въпросника. След това да се сравнят изводите. Така може да се прецени дали включването на допълнителни контекстуални данни съществено влияят на резултатите.
    
15. 
    Анализът на добавената стойност може да се повтори с данни за следващия випуск, този, който е имал национално оценяване в края на 4 клас през 2010 и в края на 7 клас през 2013 година. Това е смислено и би имало положителен ефект върху подобен род изследвания, стига наличните данни от оценяванията да са в по-добър вид. В процеса на подготовка на подобен допълнителен анализ би следвало да бъдат намерени решения на следните проблеми, идентифицирани в рамките на пилотната апроация: