Изследвания и експерименти

6. Изследвания и експерименти

1. 
   Валидиране на разработения набор от стереотипи и оценяване на тяхната способност да описват групите от потребители на системата
   
2. 
   Оценяване на ефективността на предложения метод за класифициране на потребителите към стереотипите
   
3. 
   Оценяване на ефекта от прилагане на адаптивност при търсене, посредством адаптиране на заявката. В тази група спадат и експериментите, проведени с Модела, имащи за цел да валидират неговите възможности да достави данни (атрибути), в съответствие с първоначалните очаквания и изисквания. Проведени са и набор от експерименти, целящи да оптимизират Модела и да настроят неговите параметри.
   

1. 
   Първи етап на изследването: Валидиране на разработения набор от стереотипи
   

Разработката на стереотипи е свързана с предварителна работа по събиране на данни, относно профила на потенциалните потребители. В настоящата работа, част от предварителната работа беше спестена, тъй като ние имахме преимуществото да работим с вече изградена система, в чийто център се намира разработена онтология. Съществуващите данни за потребителите и данните, закодирани в онтологията ТЕО, под формата на класове, инстанции и анотации, послужиха като първоначални данни при създаване на стереотипите. В онтологията ТЕО са въведени данни за повече от 58 образователни институции и агенции, 15 типа роли, 4 цели, набор от езици и области/предмети на интерес.

• 
  Представените в онтологията институци и агенции (списъкът не е пълен):
  

Centro Territoriale Permanente per l'Istruzione e la Formazione in età adulta

Agenzia Nazionale Sviluppo Autonomia Scolastica

Agenzia Nazionale Sviluppo Autonomia Scolastica

Centro Iniziativa Democratica Insegnanti

Ministerio de Ciencia e Innovación

Ministerio de Educación, Política Social y Deportes

…

• 
  Представените в онтологията роли са:
  

Разработчик на съдържание

Библиотекар

Издател

Университетски преподавател

Обучител на обучители

…

• 
  Целите, зададени в онтологията са: Обучителна цел, Образователна цел, Наблюдателна цел и Визуализационна цел.
  

• 
  Дефинираните езици включват: английски, испански, италиански и български и др.
  

Тези първоначални данни, послужиха като изходна точка на изследването, като впоследствие беше проведено допълнително проучване, състоящо се в он-лайн събиране на информация за отделните институции и роли в тях, разговори с преподаватели, целящи да задълбочат и конкретизират събраното знание и запознаване с други примерни системи. Следващият етап в работата, след събирането на данните, беше логичното им обединяване в шаблони (стереотипи), способни да групират потребителите въз основа на значими техни прилики. Пряко свързани с дефинирането на стереотипите стояха идентифицирането и задаването на типичните нужди за всяка от стереотипните групи.

Например за дефиниране на стереотипа „Български Инструктор от CISCO мрежова академия“ се запознахме с начина на работа в академията, което включваше разговори с преподаватели и он-лайн проучване на платформите за обучение в академията (сайтът cisco.netacad.com). Това ни позволи да идентифицираме езика на преподаване, ролята на инструктура и темите на преподаване, и оттам да дефинираме нуждите на този стереотип, а именно: (1) Управление на курс в платформата за електронно обучение на български език и (2) Подготвяне на присъствен урок за български курсисти в област компютърни мрежи.

Във фазата на анализ беше осъзнато, че е възможно с течение на времето да има промяна в състава на потребителите, която да доведе до отпадане на част от стереотипите и необходимост от създаване на нови. Тъй като стереотипите са създадени „статично“, а не динамично те остават в системата, независимо дали се „използват“ или не и се изисква администраторска намеса за тяхната промяна (добавяне или премахване). Поради това е запланувано провеждането на периодични тестове и изследвания, които да установят дали има съществени изменения в състава на потребителите, изискващи предефиниране на набора от стереотипи.

Въз основа на предварителните проучвания и събраните данни бяха дефинирани 50 (петдесет стереотипа). На по късен етап от изследването попаднахме на потребители, който не могат да бъдат класифицирани към нито един от наличните стереотипи. Вследствие на това осъзнахме, че е нужно създаването на допълнителен стереотип „по подразбиране“, който да обхваща потребителите, не спадащи към нито един от наличните стереотипи. Този стереотип „по подразбиране“ послужи за оценяване на ефективността на създадения набор от стереотипи да групира потребителите. Методът, който използвахме се основава на оценка на това, какъв процент от потребителите попадат в стереотипа „по подразбиране“. Ако този процент е твърде висок, това ще е доказателство, че наборът не е достатъчен да обхване потребителите и трябва да се създадат допълнителни стереотипи. Ние приехме за начална допустима стойност 20% от потребителите да бъдат класифицирани към стереотипа „по подразбиране“, без да се налага добавяне на нови стереотипи или промяна в съществуващите.

Друг момент от изследването беше да установим дали някой от стереотипите не е „излишен“, като това е свързано с оценяване на минималната утилизация на стереотип. Това налага дефинирането на минимален брой потребители, които да бъдат класифицирани към стереотип. Ако този брой е под определен минимум, то тогава този стереотип не е нужен в системата. След така, направената постановка на очакванията и изискванията към системата, пристъпихме към оценяване на резултатите. Вследствие на проведените експерименти се оказа, че на този етап създаденият набор от стереотипи удовлетворява поставените цели и изисквания.

2. 
   Втори етап на изследването: Оценяване на ефективността на метода за класифициране на потребител към стереотип
   

Предложеният метод за класифициране се базира на създаване на вектор на потребител от въведените от него данни и сравняване на този вектор с предварително дефинираните вектори на стереотипите в системата. Резултат от това сравнение е получаване на числена стойност между нула и сто процента. При този процес е възможно получаването на стойност за сходство, което обаче е твърде малко и поради това от несъществено значение. Това налага необходимостта от дефиниране на стойност на сходствота, която да се приеме за значима (съществена) и да води до класифицирането на потребител към вектор. Изчисляването на сходството между потребител и всички стереотипи в системата води до извеждане на набор от стереотипи, с които потребителят е сходен в някаква степен.

Фиг.20 Конструиране на вектор на потребителя X от зададени от него данни

Конструираният вектор се сравнява с векторите на всички стереотипи в системата, използвайки метода на косинусовото сходство. Методът е демонстриран по-долу, като е изчислено сходството между вектора на потребителя X и два от стереотипите.

Таблица 18 показва използване на модела вектор-пространство за изчисление на сходство между вектор на потребител и два стереотипа - Stereotype15 и Stereotype19 с цел изчисляване на тяхното сходство. В таблицата са показани теглата на елементите на векторите. Всеки уникален елемент от векторите е координата в Евклидовото пространство и се използва като измерение в модела вектор-пространство.

Вектор на потребителя:

_ = [BG(1), TeachingGoal(1), Trainer(1), TrainingInstitutionBG_1(1), ComputerScience(1)]

Вектор на Stereotype15:



Вектор на Stereotype19:_



Елементи Вектор	BG	TeachingGoal	Trainer	TrainingInstitutionBG_1	Computer Science
 Потребител	1	1	1	1	1
 (Stereotype15)	0	1	0	0	0
 (Stereotype19)	1	1	1	1	1

• 
  Изчисляване на сходство между потребителя и стереотипа Stereotype15
  

sim( _, _) = cos�� = _{ } ~0,31

• 
  Изчисляване на сходство между потребителя и стереотипа Stereotype19
  









Изчисленията показват, че е налице пълно сходство от 100% между потребителя и стереотипа Stereotype19 и едва 31% между потребителя и стереотипа Stereotype15. Вследствие на изчисляване на сходството и при дефинирана гранична стойност от 80% за приемливо сходство, потребителят X е класифициран към Stereotype19.

В последния етап на експеримента на потребителят X е представен списък със всички стереотипи, от който той да избере този който приема за най-сходен със себе си. Резултатите между изчисления и избрания стереотип съвпадат.

Очаквани резултати: Очакваните резултати са да има съвпадение между автоматичното класифициране на потребителя и избрания от него стереотип в мнозинството от случаите.

Получени резултати: Получените резултати показват съвпадение между изчисления по предложения метод стереотип и стереотипа, избран лично от потребителя.

Изводи: Проведените експерименти показват недвусмислено, че предложеният метод за изчисляване на сходство между потребител и стереотип е изключително надежден и ефективен. Благодарение на предвиденият стереотип „по подразбиране“ е възможно класифицирането на всички потребители на системата.

3. 
   Трети етап в изследването: Оценяване на адаптивността при търсене; експерименти с Модела
   

Валидирането на първата серия от експерименти се реализира, като се съпоставят прогнозируемите, очаквани резултати от действието на Модела с реално получените. Валидирането на втората серия от експерименти се осъществява, като на потребител, преминал през процес на класифициране към стереотип се представят резултатите от адаптивно търсене и той оцени тази адаптация като положителна.

• 
  Първа серия от експерименти: експерименти с Модела
  

• 
  Експерименти с априорните вероятности и задаването на доказателства на възлите от най-горния слой
  

• 
  Експерименти с разпространяването на доказателства към възлите от долните два слоя
  

Фиг.22 Резултат от задаване на доказателство лъжа на всички възли от най-горния слой

Фиг.23 Mоделът при зададени доказателства истина на Stereotype16 и доказателства лъжа за всички останали стереотипи

• 
  Втора серия от експерименти: експерименти с адаптиране на заявката
  

Адаптивност на търсенето е процес, посредством който отделните потребители получават резултати, съобразени с личните им предпочитания. Следствие от този процес е извеждането на различни резултати от една и съща заявка, тогава когато тези потребители се различават помежду си.

Вследствие на извод с Модела, което в случая с потребителя X е свързано със задаване на доказателство истина на Stereotype19 и лъжа на всички останали стереотипи, се извеждат атрибутите: BG, LessonPlan, LearningDesignUnit, ComputerScience.

Подобен процес протича за потребителя Y, който е класифициран към стереотип Stereotype7. След извършване на извод, Моделът извежда атрибутите за потребител Y, които са: IT, LessonPlan и TeacherTraining-PhisicalTraining.

Изведените атрибути от Модела се използват за адаптиране на заявката, при което простата заявка за търсене по ключова дума се преобразува в разширена. Това се реализира, като се зарежда формата за разширено търсене в портала на Share.TEC и нейните полета се попълват със съответните за потребителя атрибути, според методът:

1. Въведените от потребителя ключови думи попълват полето - With all of the words.

2. Изведените атрибути от Бейсов модел за адаптиране и персонализиране попълват следните полета:

• 
  Атрибутите от тип „Език“ попълват полето Resource language
  
• 
  Атрибутите от тип „Тип на дигиталното съдържание“ попълват полето DigitalContentType
  
• 
  Атрибутите от тип „Област на знание“ попълват полето KnowledgeAreaElement
  

Ф
иг.25 Адаптиране на заявката с формата за разширено търсене в Share.TEC

Адаптираната заявка за потребител X ще има формата:

With all of the words: lesson

Resource language: BG

DigitalContent Type: LessonPlan, LearningDesignUnit

KnowledgeAreaElement: ComputerScience
Адаптираната заявка за потребител Y ще има формата:

With all of the words: lesson

Resource language: IT

DigitalContent Type: LessonPlan

KnowledgeAreaElement: TeacherTraining-PhisicalTraining

Адаптираните заявки за двата потребителя се изпращат към хранилището с информационни ресурси. Получените резултати се представят на потребителите.