Езикови тестове за социална интеграция и миграция – насоки за тези, които определят политиката на изпитните програми



Дата09.03.2017
Размер182.63 Kb.
#16494


Езикови тестове за социална интеграция и миграция – насоки за тези, които определят политиката на изпитните програми

(транслация: Julia Todorinova)

Авторски колектив:

Andrew Balch Shalini Roppe

Michael Corrigan Heinrich Rübeling

Sara Gysen Steffi Steiner

Henk Kuijper Piet Van Avermaet

Michaela Perlmann-Balme Beate Zeidler
С допълнителна помощ от страна на Групата на АЛТЕ, която се занимава с Езиковото оценяване за целите на миграцията и интеграцията.

This study was published by the Council of Europe as part of a collection of "Thematic Studies on the linguistic integration of adult migrants" prepared in view of a seminar organised in Strasbourg in 2008 (www.coe.int/lang).



1. Въведение

Много европейски страни въвеждат или утвърждават езикови изисквания за целите на емиграцията, законното пребиваване и гражданството, а властите често изискват езикови тестове или други официални процедури за оценяване. Целта на тази глава не е да насърчи използването на подобни тестове, а там, където те вече се прилагат или се обмисля тяхното въвеждане, да предложи професионално ръководство, основано на добрата практика в изпитването чрез тестове, за да се гарантира, че потребностите на заинтересованите страни са задоволени и че тестовете са безпристрастни по отношение на всички кандидати. Когато се обмисля въвеждането на тестове, тези, които определят политиката на отделните изпитни програми, се задължават най-напред да разгледат задълбочено следните проблеми:



  • По-подходящо ли е да се използва друга форма на изпитване и оценяване вместо тест?

  • Ако не, какъв вид тест би бил подходящ?

  • Как ще се използват резултатите от теста?

  • Какви ще бъдат последствията от теста върху обществото?

  • Какво ще бъде въздействието върху емигрантите?

Когато се обсъждат тези въпроси, не трябва да се забравят границата на грешката и възможните пристрастия, присъщи на всички точкови резултати от тестове. Съставителите на тестове носят отговорност границата на грешката и пристрастията да са в рамките на допустимите норми, в съответствие с международно признатите стандарти(виж секция 3). Все пак, въпреки че тестът може да работи перфектно за много голяма група от кандидати, той не може да отчете индивидуалните личностни характеристики на кандидата, колко време е изучавал езика, неговата личната история. Следователно от гледна точка на индивида, който се явява на тест, точковият резултат от теста не винаги може да определи истинските му умения и способности и затова не е възможно да се изключи с абсолютна сигурност известен елемент на пристрастност в теста. По тази причина общата полза, която се очаква, че ще бъде постигната чрез провеждането му, трябва да бъде разглеждана и във връзка с последствията при неуспех да се издържи тестът, тъй като някои от решенията, основани на резултатите от теста, може да са погрешни.


След като тези въпроси бъдат обсъдени, ако се прецени, че езиков тест трябва да се използва, всички онези, които се занимават със създаването и провеждането му, включително и тези, от които зависи политиката на отделните изпитни програми, трябва да гарантират, че тестовете функционират така, както е планирано и че съответната политика се прилага по подходящ начин и безпристрастно. Безпристрастността при теста е от практическо значение за всички типове езикови тестове и за всички кандидати, за които е предназначен, но е особено важна в случаите, когато тестовете са свързани с емиграция, законно пребиваване и гражданство, заради сериозните последици за кандидатите, по отношение на техните граждански и човешки права. За да подпомогне тези, които са отговорни за въвеждането на такива тестове, тази глава предоставя информация как да се извърши селекцията на онези, които ще създадат и проведат теста, как да се осъществи мониторинг над работата им и как да се обезпечи отпускането на достатъчно средства за планираните фази на проекта. Прилагането на добрата практика при изпитването чрез тестове би трябвало да гарантира, че не само необходимите умения и знания се оценяват (което прави теста валиден), но и че това се прави еднакво обективно за всички кандидати и всички варианти на теста са абсолютно съпоставими (което прави теста надежден).

2. Вземане на решение какво да се тества

2.1 Общ преглед

В тази секция са очертани стъпките, които гарантират, че дизайнът на теста съответства напълно на неговата цел. Първата стъпка в този процес е точното и недвусмислено определяне на целта на теста. След като това е направено, следват принципните начини за установяване на съдържанието и трудността на теста. Накрая задължително трябва да бъде изработен документът за спецификациите на теста, който е от съществено значение в следващите етапи от неговата разработка.



2.2 Определяне целта на теста и изискванията на реалния живот към кандидатите

Преди разработването на всеки тест е необходимо първо да се определи точната цел на теста. Не е достатъчно да се обяви, че тестът е за целите на миграцията и гражданството, защото дори в рамките на тази област има наличие на широк кръг от съображения за изпитване на емигрантите, като се започне от мотивацията на обучаваните (да им се помогне да използват и подобряват настоящата си компетентност по изучавания език), установяване дали тяхната компетентност е достатъчна за участието им в ясно дефинирани социални ситуации ( напр. учене или работа), до вземане на решения, които засягат техните права, определени от закона, като правото им да останат легално в страната или да придобият гражданство.

Само когато целта е ясно дефинирана, е възможно да се определят истинските изисквания на реалния живот, с които кандидатите ще се сблъскат (например, необходимостта да вземат участие в обществените процеси и да упражнят правата и отговорностите си като граждани) и които трябва да бъдат отразени в теста. Освен за информиране на тези, които ще изработват теста, една ясна и точно формулирана цел не само ще помогне за изясняване на очакванията на кандидатите, което допринася за безпристрастността на теста, но също така ще позволи на останалите членове на обществото коректно да интерпретират и по подходящ начин да използват резултатите от теста. Този процес на установяване на потребностите се нарича анализ на потребностите.

При провеждането на този анализ на потребностите е необходимо също да се вземе под внимание фактът, че съществуват различни подгрупи от емигранти със собствени специфични нужди. Онези например които искат да се включат в пазара на труда, колкото е възможно по-скоро, често имат по- различни потребности от онези, които планират да отглеждат малки деца вкъщи. При анализа на потребностите добра практика за изработващите теста е да определят какво точно оценява тестът и за какво точно трябва се използва от групата от хора, за които е предназначен. При планирането на такъв анализ на потребностите тези, от които зависи тестовата политика, трябва да гарантират, че осигуряват достатъчно средства и че представители на различни сфери на обществото участват при дефинирането на потребностите.



2.3 Определяне на езиковите умения

След като се определят изискванията на реалния живот, те трябва да бъдат превърнати в езикови изисквания, определящи не само знанията и изпитваните умения, но също така и нивото на способност за всяко умение, което е необходимо на кандидата. Ако например един езиков тест е замислен да провери дали кандидатът притежава необходимите езикови умения, за да посещава професионален курс на обучение, би трябвало да очакваме, че тестът оценява способността му да разбира уроците и упражненията, да общува с преподавателите и съкурсниците си, да чете съответната литература, да пише домашни задания и др. Този анализ може да помогне за точното определяне на подходящото ниво на изискваната езикова компетентност (или изискваните нива при всяко отделно оценявано умение като четене и писане, например). Ако, от друга страна, един езиков тест е съставен, за да сертифицира преводачи на писмена или устна реч, един сравнителен анализ на потребностите на професията би показал, че изискваното ниво на езикова компетентност е много по-високо. Също така ще се разкрие, че от преводача на писмена реч биха били изисквани по-високи нива на компетентност при четене и писане, докато при преводача на устна реч компетентността говорене би била по-важна.

За разлика от горните примери, езиковите изисквания, произлизащи от съответните задачи на реалния живот, са далеч по-малко ясни, особено при емигрантите и кандидатите за гражданство. Връзката между владеенето на официалния език и способността да се интегрираш в обществото и да упражняваш правата и отговорностите си на гражданин е хлабава и много трудна за установяване. В края на краищата, ако владеенето на езика беше единственият значим фактор, всички жители на една страна, за които той е роден език, биха били напълно интегрирани граждани. Тъй като това не е така, може да се заключи, че има и други важни фактори. Задачата на изработващия езиковия тест е все пак да определи съответните езикови изисквания, които поставя. След внимателен анализ на потребностите, както е описано по-горе, изключително важно е да се гарантира, че погрешни предположения относно културното и образователното минало на кандидатите няма да повлияят на теста. На езиковите тестове за учение и работа в повечето случаи, се явяват групи от кандидати, които са хомогенни по отношение на образователно минало и когнитивни умения, докато тестовете за интеграция и гражданство (тестовете за придобиване на граждански права) трябва да обхващат пълния спектър от възможни кандидати и затова трябва да бъдат достъпни както за хората с недостатъчна грамотност или абсолютно неграмотните, така и за онези, които притежават висока степен на академично образование.

2.4 Установяване на подходяща степен на трудност

След като езиковите изисквания са определени, изработващите теста трябва да се заемат с тяхното сравняване с подробно описаните в Общата европейска езикова рамка дескриптори какво „може да прави” (can do) носителят на съответното езиково ниво. Рамката е публикувана за първи път на английски език през 2001. Тя

осигурява обща основа за изработване на учебни програми по езици, нормативни документи за създаване на учебен план, изпити, учебници и др. в Европа. Тя описва възможно най-пълно това, което изучаващите езици трябва да научат, за да могат да си служат с езика в процеса на общуване, а също така знанията и уменията, които те трябва да придобият, за да могат да общуват успешно.”

Общата европейска езикова рамка е съставена от множество илюстративни скали (по една отделна скала за говорене, писане, четене, слушане и интеракция), които определят нивата на владеене на езика, показват това, което изучаващите езици могат да правят на всяко ниво и дават възможност напредъкът да бъде измерен по 6 степенна скала.


















C2













C1













B2













B1













A2













A1
















Основно владеене

Самостоятелно владеене

Свободно владеене

Трябва да се обърне внимание, че равноотдалечеността на нивата върху скалата не бива да се тълкува като изискване за сходна продължителност от време, необходимо за достигане на всяко следващо ниво. Затова в скалата към всяко ниво са добавени обхват от умения и езиково съдържание и по тази причина периодът от време, необходим, за да се придвижиш от едното ниво към следващото, се измерва с постигнатия напредък. Ето защо един анализ на потребностите за целите на теста трябва да е основан не на бройката часове за обучение, а на внимателно съпоставяне между потребностите на кандидатите и дескрипторите „може да прави”.

Съставителите на теста също така би трябвало да са наясно, че компетенциите на повечето хора, които изучават езици, не са еднакво разпределени за четирите умения: четене, слушане, писане и говорене. Точно обратното, по-често се наблюдава компетенциите при говоренето и слушането да са по-високи, отколкото при писането и четенето. Това наблюдение, заедно с внимателно проведен анализ на потребностите, са довели до идеята за профилиране на компетенциите. Затова сертификатите трябва да отразяват не само общото ниво на способност на кандидата, а най-вече достигнатото ниво при всяко отделно умение.

Неравномерният характер на компетенциите при четирите умения също така води до модулен подход в изпитването чрез тестове. Може да бъде по-мотивиращо за някои обучавани да се явят на тест само за едно или две умения, на които те са особено добри, отколкото да се явят за всичките четири умения наведнъж. На практика това означава, че например един устен тест може да бъде разделен и сертифициран на части. Този вариант би бил особено подходящ за групата на неграмотните емигранти или за хора с много малък опит в писането. Естествена последица от този подход е, че езиковите курсове могат да се съсредоточат върху онези умения, които се нуждаят от повече внимание. При публикуването на резултатите от теста, който не оценява всички компетенции, институциите трябва да са напълно наясно относно уменията, които са били подложени на оценка, така че да не настъпи объркване между тестове, предназначени да оценяват само някои умения и тестовете за всичките четири умения.

2.5 Изработване на спецификациите на теста

Когато е уточнено за кого е предназначен тестът, неговата цел и какво точно ще се оценява, всичко това трябва да бъде подробно описано и документирано в спецификациите на теста. Спецификациите също така описват тестовите въпроси (items) и типовете задачи, които се използват, формата на теста и някои други въпроси от практическо значение. Тези спецификации след това служат като отправен документ, даващ информацията, необходима, за да се вземат съответни решения на всички по-късни етапи от използването на теста.



3. Доказателство, че спецификациите на теста се прилагат на практика

3.1 Общ преглед

След като спецификациите на теста бъдат завършени, необходимо е да се премине през още няколко допълнителни етапа на работа, за да се провери дали на практика тестът работи така, както е замислен. Трябва да бъдат разработени критерии за оценяване, а също така да се определи форматът на теста. Тестовите въпроси (items) да бъдат съставени в съответствие със спецификациите. Да се докаже, че отговарят на изискванията им и след това да се сглобят в подходящи тестови комбинации съобразно същите спецификации. Веднъж изработен, тестът трябва винаги да бъде провеждан по един и същ начин и възможно най – безпристрастно с кандидатите, за които е предназначен. И накрая, данните , получени в резултат на провеждането на теста, трябва да бъдат анализирани, за да се докаже, че тестът е функционирал според очакванията и че направените поправки са уместни.



3.2 Критерии за оценяване и формат на теста

Това, което ще се оценява, както е описано в спецификациите (2.4), ще трябва да бъде разпределено на отделни конкретни тестови единици. Само тогава, когато се придобие ясна представа за начина, по който ще бъдат оценени резултатите от представянето на кандидата, работата по разработване на подходяща комбинация от тестови задачи и типове задачи може да започне. Преди всичко, изработващите теста трябва да имат предвид, че е необходимо да предоставят на кандидатите адекватни възможности, за да покажат, че отговарят на критериите за оценяване.



3.3 Съставяне на тестови въпроси (items)

За да съставят подходящи тестови въпроси, на авторите трябва да бъдат дадени ясни инструкции. Тези инструкции обикновено съдържат кратко описание за кого е предназначен тестът и неговата цел, както и общи съвети относно това дали определени теми са подходящи, или не са подходящи за дадения тест, каква да бъде дължината на входящата информация (например, броя на думите в текст за четене) и на продукцията (например, броят на думите, които кандидатът трябва да напише), степента, до която текстът може да бъде „автентичен”, и др., преди да се концентрират върху всеки пореден тип тестов въпрос. След като тестовите въпроси са съставени, други експерти трябва да преценят дали инструкциите са спазени по форма и същество.



3.4 Предварителен тест

Преценката на експертите (в 3.3 по-горе) следва да послужи за съставянето на тестови въпроси, които да са подходящи за целите на теста. Все пак, за да се потвърди, че тестовите задачи действително работят по предназначение (например: оценяват исканите езикови умения, като разграничават добре силните и слабите кандидати, не показват пристрастие към даден профил кандидати, и др.), необходимо е материалите да се подложат на предварителен тест в условия, сходни или много близки до условията на провеждане на истинския тест и с кандидати с колкото може по - близък демографски профил до истинските кандидати, за е предназначен тестът. Предварителният тест на обективно оценяваните отговори (например, при тестови въпроси с много вариантен избор на отговор, т.нар. multiple-choice) завършва с подробен статистически анализ, докато този на субективно оценяваните отговори (например, при тестове за говорене) е по-вероятно да доведе до качествен анализ на продукцията на кандидатите, за да се определи степента, до която тестът отговаря на очакванията на съставителите.

Въз основа на тези анализи, тестовите въпроси (items) и задачи могат да бъдат приети за употреба в бъдещите истински тестове, да бъдат редактирани и отново подложени на предварителен тест или да бъдат отхвърлени. Освен това, ако се създаде банка от тестови въпроси (items) и се напълни с тестови въпроси с доказано близки характеристики, след това могат да бъдат конструирани тестове с определени желани характеристики, покриващи точен обхват от нива на способност.

3.5 Провеждане на теста

Авторите на теста трябва да гарантират, че тестът се провежда при условия, които са еднакво равни за всички кандидати. За тази цел се разработват процедури, чиято цел е свеждане до минимум различията при провеждането на теста. Тези процедури трябва да гарантират, че:



  • Центровете, където се провежда тестът, са подходящо акредитирани за цялостното му провеждане.

  • Персоналът на тестовия център е професионално компетентен, достатъчно информиран и подпомогнат, а също и контролиран по подходящ начин.

  • В изпитните центрове се поддържа висока степен на сигурност и поверителност по време на целия процес от записването на кандидатите до издаването на документи за резултатите и отчетните доклади за резултатите от изпитите, в края на процеса.

  • Физическите условия в изпитните стаи са подходящи (ниво на шума, температура, разстояние между кандидатите, др.).

  • За кандидати със специални изисквания се полагат грижи и се правят целесъобразни промени.


3.6 Включване на кандидати със специални изисквания
Тестовата система не трябва да дискриминира кандидатите със специални изисквания. Това са кандидати с временно физическо, умствено или емоционално състояние, слабост, смущение или неспособност, смущения и разстройства при учене, временно или продължително заболяване, неграмотност на майчиния език или на езика, на който се провежда тестът, религиозни предписания, излежаване на наказателна присъда в затвора или каквито и да е други обстоятелства, които затрудняват или възпрепятстват кандидатът да се яви на теста като всеки друг кандидат.

Трябва да съществуват предписания за:



  • Вземане на решение дали някои кандидати със специални изисквания ще бъдат освободени от явяване на теста или на част от теста.

  • Вземане на подходящи мерки, за да се гарантира, че кандидатите със специални нужди се оценяват безпристрастно.

  • Определяне коя институция е отговорна да вземе решение дали тестът трябва да бъде взет от кандидат с увреждане

  • Какви специални условия да се прилагат във всеки отделен случай (например, тестът да бъде на Брайловата азбука, тестът да бъде отпечатан с едър шрифт, предоставяне на Брайлеров апарат или на компютър със специални функции, осигуряване на човек, който да чете или пише вместо кандидата, или помощник, удължено време за някои части от теста, допълнителни почивки, преводач на жестомимичен език, специални дати за изпита или специално място, където тестът да се проведе).
    Да гарантират, че искане за такова решение е възможно, да информират кандидатите как се отправя такова искане и да описват начина, по който трябва да бъде взето крайното решение.

Информацията за тези предписания и изключенията трябва да бъде публично достояние и достъпна за кандидатите.

Допълнителна библиография:

"Special Educational Needs in Europe. The Teaching & Learning of Languages. Teaching Languages to Learners with Special Needs", European Commission, DG EAC 23 03 LOT 3, January 2005.



3.7 Проверяване и оценяване

Обективно оценяваните тестови въпроси (items) могат да бъдат акуратно проверявани с машини или с обучени проверители. Субективно оценяваните тестови въпроси (items) трябва да се проверяват от специално обучени оценители. Много по - вероятно е тази процедура да доведе до два вида грешка: грешно оценяване или грешно вписване на оценката. Грешката при оценяване се появява при липса на съгласуваност при интерпретиране на отговорите на кандидатите и / или прилагане критериите за оценяване на теста. Екзаминаторите може да нямат съгласуваност или когато са сравнени с други екзаминатори, или по начина, по който те самите прилагат критериите за оценяване. Такава несъгласуваност може значително да бъде намалена чрез прилагане на добро обучение и строги процедури за наблюдение, както и чрез допълнителната проверка на част или на цялостното представяне на кандидата от други оценители. Работата на проверителите би могла също така да бъде „оценявана” по подходяща скала, за да се компенсира последователната снизходителност/строгост, макар че по-вероятно е значителните различия да изискват допълнително обучение.



3.8 Мониторинг

Както е важно да се наблюдава и контролира поведението на проверителите (3.6 по-горе), така също е важно и авторите на езиковите тестове да събират и анализират информацията за отговорите на кандидатите и техните демографски данни (например възраст, пол и националност). Това е необходимо, за да се гарантира, че:



  • Всеки тест измерва тези способности, които се иска да измери.

  • Способностите се измерват по един и същ начин от всички минали и бъдещи варианти на един и същ тест.

  • Всеки тест функционира по начин, който е безпристрастен по отношение на всички кандидати, независимо от техния произход, националност, възраст, образование и др.

Резултатите от такъв контрол могат след това да бъдат използвани като гаранция, че резултатите от теста описват съвсем точно способността на кандидата. Освен това заключенията от анализа могат да бъдат използвани обратно при конструиране на теста, провеждането му и процеса на поставяне на оценки, така че всички тези процеси да бъдат подобрявани непрекъснато.


3.8.1 Мониторинг на отговорите на кандидата

По време на реалните тестове отговорите на кандидатите на тестовите въпроси (items) и задачи (tasks) се използват както за предоставяне на суровите тестови балове, така и за да дадат на съставителите на теста, информация колко добре функционират тестовите въпроси и задачи при измерването на способността на кандидата (виж 3.4 по-горе). Тестовите въпроси (items) трябва да измерват точно не само заради нивото си на трудност, но и заради степента, до която те разграничават по-силните и по-слабите кандидати (защото основната цел на теста е да направи разграничение между тези две групи). Тези резултати и други статистически данни трябва да се съхраняват и да се направи сравнение между минали и бъдещи варианти на теста. Това ще позволи на съставителите да гарантират, че резултатите от един вариант са сравними с тези от друг. Там, където конструирането на теста се основава на предварителен тест , има голяма вероятност тестовите въпроси и задачи да функционират и при реалния тест според очакванията. И все пак потвърждение, получено чрез анализ, е от изключителна важност, а там, където функционирането не е според очакванията, може да е необходимо проучване, последвано от коригиращо действие. Разбира се, също така е важно даден вариант на теста да измерва способността на кандидатите по начин, който е съвместим с миналите и бъдещи варианти. По тази причина данните от реалните отговори често се използват като помощно средство при установяване на оценъчните интервали и броя на точките, който трябва да бъде постигнат, за да може тестът да бъде взет успешно. Ако един кандидат трябва да се яви на два различни варианта на един и същ тест, има малка вероятност да постигне абсолютно същия суров тестов бал. Въпреки това е възможно съставителят на теста да гарантира с приемлива сигурност, че кандидатът би получил същата оценка или би попаднал от една и съща страна на необходимия прагов бал и на двата теста. Това може да стане чрез приравняване на един тест с друг или като се прецени кой точков резултат на тест Б е равен на резултата, необходим да се вземе тест А. Там, където е направен предварителен тест, такава преценка може по-лесно да се направи и има вероятност да е по-точна.


3.8.2 Мониторинг за пристрастие

Подобни техники на тези, описани в 3.7.1 по-горе, следва да се прилагат и към представянето на групи от кандидати с еднакви нива на способност. Ако например в сравнение с други кандидати със същата способност се оказва, че кандидатите от една националност се справят значително по-добре или по-зле с един тестов въпрос или с група тестови въпроси (items), това може да се дължи на пристрастието към или против хората, точно от тази националност и би било несправедливо. Въпреки това причината може да бъде също в езиковите различия / прилики между родния и изучавания език, които не могат да се считат за несправедливи. И в двата случая е необходимо да се направи изследване на качеството на тестовия въпрос. И ако се установи, че тестовият въпрос е пристрастен, това може да наложи неговото отстраняване и / или промени в процедурите, по които се изработват тестовите въпроси.


4. Заключение

Както е описано в другите секции на тази публикация, резултатите от теста може да имат важни последствия и за самия кандидат, и за големи групи от хора, а също и за обществото като цяло. По тази причина въпросите, дали един тест е необходим за предначертаната цел и какво се очаква да измерва той, би трябвало много внимателно да бъдат разгледани. Там, където е решено да се използва тест за целите на емиграцията, изключително важно е тестът да отговаря на изискванията, изложени в тази глава. Тестът трябва непрекъснато да се контролира, за да се гарантира неговото функциониране и качество. След като решението да се използва един тест вече е взето, за да може той успешно да се прилага като инструмент за политика, онези, които я определят, трябва да работят със съставителите на теста върху редица негови аспекти. Това включва прецизното определяне на целта на теста и осигуряване на необходимите средства. А онези, които го създават, никога не бива да забравят, че най-важното е безпристрастността по отношение на всички кандидати.





Каталог: dg4


Сподели с приятели:




©obuch.info 2024
отнасят до администрацията

    Начална страница