Юни 2013 Световна банка Регион Европа и Централна Азия



страница1/5
Дата21.01.2018
Размер0.62 Mb.
  1   2   3   4   5


България

Апробация на прилагането на статистически модели за оценка на добавената стойност използващи резултатите от националните оценявания на учениците

Основни резултати и изводи

юни 2013
Световна банка

Регион Европа и Централна Азия

Сектор „Човешко развитие“


Благодарности

Настоящото резюме обобщава основните резултати и изводи от пилотната апробация на статистически модели за оценка на добавената стойност на българските училища на основата на резултатите от външните оценявания след четвърти и седми клас. Пилотната апробация бе осъществена по молба на Министерството на образованието, младежта и науката (МОМН) с финасовата и експертна подкрепа на Световната банка (СБ) в рамките на тригодишната програма (2010 г. - 2013 г.) за безвъзмездна техническа помощ на СБ в областта на образованието. Докладът е изготвен под ръководството на Пламен Данчев (Специалист в сферата на образованието, СБ) и под общите насоки на Алберто Родригес (Директор на сектор „Образование“, регион „Европа и Централна Азия“, СБ) от експертен екип на Българското дружество за измерване и оценяване в образованието (БДИОО) в състав Кирил Банков (водещ консултант), Весела Стоименова (консултант, статистически анализ) и Димитър Атанасов (консултант, статистически анализ.

Обхватът на пилотното апробиране, ключовите параметри за дейността и необходимите данни за анализа бяха определени от работна група от експерти от МОН, водена от г-н Красимир Вълчев, главен секретар на МОН и включваща Евгения Костадинова (МОН), Орлин Кузов (МОМН), Димитър Енчев (МОН), Любка Груева (МОН), Румяна Томова (МОН), Стела Мицова (МОН), Неда Кристанова (ЦКОКУО), Светла Петрова (ЦКОКУО), Сашко Арабаджиев (ЦКОКУО) и Радосвета Дракева (АдминСофт).


Съдържание



Резюме 4

Увод 1


Налични данни 1

Обработка на данните 1

Дескриптивна статистика 3

Регресионни модели 6

Следващи стъпки 15

Използване на моделите за добавена стойност 16

Анекс 1. Въпросник за контекстални характеристики на учениците 17

Анекс 2: Добавена стойност на училищата в една българска община 23





Резюме


Предистория:

  1. Докладът е втора поред разработка (в рамките на програмата за техническа помощ на СБ), посветена на оценката на добавената стойност на училищата. През април 2011 Световната банка изготви и представи на МОМН обзорния материал: Използване на резултатите от външното оценяване за определяне на добавената стойност на училищата: техники и приложения за подобряване на учебния процес и отчетността на училищата“). Неговата цел беше да представи същността на анализа на добавената стойност на училищата, международния опит в прилагането и употребата на такива анализи, както и описание на основните класове статистически модели и подходи използвани в практиката досега за оценка на добавената стойност на училища. Ръководството на МОМН взе решение за апробиране на модели на добавената стойност в България и сформира работна група от експерти на МОМН, която участва в подготовката на техническото задание за пилотното приложение на модели за оценка на добавената стойност на българските училища.

Цели на доклада:

  1. Целта на настоящата разработка е да документира процесите и резултатите от пилотно апробиране на набор от статистически модели за оценка на добавената стойност на училища. Докладът описва спецификациите на статистическите модели и извършените статистическия анализи. Получените резултати за добавената стойност са представени в Анекс 1 на база извадка от включените в анализа училища (включени са резултатите на 177 училища на територията на Столична община). Докладът набелязва и основните ограничения и препоръки за последващи анализи и работа по изготвянето на оценки за добавената стойност на българските училища.

Същност на моделите на добавената стойност на училищата:

  1. Моделът на добавената стойност представлява анализ на резултатите на едни и същи ученици в две времеви точки, коригирани с набор от показатели за социално-икономическия статус на всеки ученик, в резултат на което се изолира приносът на училището към резултатите на учениците от действието на фактори извън контрола на училищата. Този изолиран принос представлява добавената стойност на училището.

  2. Концепцията за „добавена стойност на училищата“ е израз на разбирането, че придаването на особено значение на данните от външното оценяване за определяне на качествата на дадено училище би било несправедливо, ако липсват точни показатели, измерващи приноса на училището към наученото от учениците, тъй като резултатите на учениците зависят както от фактори, пряко свързани с процесите в класната стая, така и и с редица фактори извън контрола на училището.

  3. Моделите за добавената стойност придобиват все по-голяма популярност и се считат за прецизни индикатори за оценка на ефективността на образованието. Редица развити образователни системи рутинно прилагат модели на добавената стойност /например САЩ, Англия, Нидерландия, Полша, Чехия, Норвегия, Чили и др./, но те се различават както по отношение на употребата им, така и като анализ и подход. Различните модели за определяне на добавената стойност, разработени досега, обслужват конкретни политики и специфични цели, заложени в образователните системи на страните, в които се прилага, затова е невъзможно да се определи „истински“, „най-добър“ или универсално приложим модел.

Данни, включени в анализа на добавената стойност на училищата в България:

  1. За нуждите на анализа са използвани данни от външните оценявания по български език и литература /БЕЛ/ и математика на едни и същи ученици в две времеви точки – резултатите от външните оценявания след 4 клас /2009 г. / и след 7 клас /2012 г. /, допълнени от набор от контекстуални характеристики на учениците. В анализът участват всички училища, предлагащи образование от 4 до 7 клас. Данните от двете години и от различните предметни тестове са свързани посредством уникални идентификационни кодове, анонимизиращи ЕГН на включените в анализа ученици. След преглед на наличните данни за учениците в информационните системи на МОМН бе установено, че единствената променлива, която би могла да се използва в качеството си на контекстуална характеристика, описваща социално икономическия статус на учениците, е „език, говорен у дома“. Тази информация е събрана за учениците по време на външното оценяване в 4 клас през 2009 г.

  2. За по-прецизното изчисление на добавената стойност е необходим по-богат набор от контекстуални характеристики, влияещи върху представянето на учениците. МОМН изготви анкетна карта /Анекс 2/ с богат набор от въпроси са за набиране на информация за социално икономическия статус на учениците. Практическото приложението на въпросника имаше като резултат твърде нисък дял на учениците с пълен набор отговори и съществен дял непопълнени анкетни карти, поради което данните от него не бяха включени в анализа. В резултат на това анализът на добавената стойност борави само с променливите „език, говорен у дома“ и „вид училище“. Силно ограничаващо анализа обстоятелство е, че е налице същественото разминаване между броя на учениците с данни от външното оценяване в 4 и 7 клас, като броят на учениците, за които е възможно да се свържат данните от двете години и двата изследвани предмета е едва около 48000 /7 клас/ спрямо над 64000 ученика /4 клас/ в изследвания випуск.

Апробирани модели:

  1. За анализа на добавената стойност са използвани линеен регресионен модел и многостепен модел. Сходните резултати от двата модела на база налични данни показва, че за предпочитане е използването на по-опростен модел /линейно регресионен/ при условие че (i) се пристъпи към евентуално бъдещо рутинно приложение на модел на добавената стойност на училищата и (ii) същото сходство на резултатите между двата класа модели се получава и при използването на по-голям набор от контекстуални данни на учениците.

Основни изводи

  1. На основата на корелационен анализ между резултатите за добавената стойност на училищата и обикновените усреднени резултати от външните оценявания се получава висок корелационен коефициент 0.8241, което, най-общо казано, означава, че принципно по-високите усреднени резултатите от националното оценяване в края на 7 клас съответстват на по-високи добавени стойности на училищата и обратно, по-ниски средни стойности на резултатите от националното оценяване в края на 7 клас съответстват на по-ниски добавени стойности на училищата.

  2. При преглед на данните за отделните училища все пак се наблюдават различия в позициите на едно и също училище от гледна точка на добавена стойност и усреднени резултати, което потвърждава полезността на анализа на добавената стойност /Анекс 1/.

  3. Необходимо е да се преразгледат и хармонизират целите на външните оценявания след 4 и 7 клас, което включва и промени в дизайна на самите тестовете. Понастоящем те не са достатъчно съпоставими за получаването на достатъчно валидна и надеждна преценка на добавената стойност на училищата. Критериите за успешно покриване на стандартите в теста след 4 клас са занижени и множеството от тестваните ученици показват високи постижения с нетипично разпределение на резултатите. Тестът след 7 клас съдържа два модула и не всички ученици решават втория модул, но за разлика от теста за 4 клас, нивото на трудност е по високо и се постига по-нормално разпределение на резултатите. Необходимо е да се преразгледат

      1. тестовите материали с цел да се повиши способността им да дават обективно отражение на знанията на учениците и да регистрират както много ниски нива на знания и умения, така и на много високи.

      2. скалата за оценяване

      3. елиминирането на възможностите за подсказване, преписване и др. По време на външните оценявания

  4. Изключително важно за евентуално бъдещо рутинно прилагане на модел на добавената стойност на училищата е да се разшири набора от контекстуални променливи за учениците. Може да се очаква, че това ще повиши стойността на коефициента в линейния модел, тъй като ниска стойност на може да се дължи и на изпускането на важни предикатори, които могат да окажат влияние на отклика.

  5. Необходимо е да се направи допълнителен анализ с цел да се установи:

  • какво е количеството на липсващите данни,

  • достатъчно голям ли е процентът на учениците, които може да се включат в оценката на добавената стойност за всяко училище, за да се гарантира валидна оценка на ниво училище

  • правило за моделиране на добавената стойност при наличието на ученици, които сменят училището си или напускат системата /например, ученик може да бъе включен в оценката на добавената стойност на дадено училище ако се е обучавал в него поне 150 дни преди датата на външното оценяване/

  • Стабилност по отношение на статистическите модели. До колко използването на различни статистически модели за добавена стойност влияе върху крайния резултат?

  • Стабилност през годините. До колко повтарянето на оценката на добавена стойност е стабилна ако изследването се повтаря всяка година?

Следващи стъпки:

  1. Ако се окаже, че с наличните данни от допълнителния въпросник има „голяма“ група от училища с висок процент отговорили на въпросника ученици, би могло да направи оценка на добавената стройност на тази група училища с и без използване на данните на въпросника. След това да се сравнят изводите. Така може да се прецени дали включването на допълнителни контекстуални данни съществено влияят на резултатите.

  2. Анализът на добавената стойност може да се повтори с данни за следващия випуск, този, който е имал национално оценяване в края на 4 клас през 2010 и в края на 7 клас през 2013 година. Това е смислено и би имало положителен ефект върху подобен род изследвания, стига наличните данни от оценяванията да са в по-добър вид. В процеса на подготовка на подобен допълнителен анализ би следвало да бъдат намерени решения на следните проблеми, идентифицирани в рамките на пилотната апроация:
  1   2   3   4   5


База данных защищена авторским правом ©obuch.info 2016
отнасят до администрацията

    Начална страница