Решение на такава задача от мозъка може да бъде обработката на информация от обикновеното зрение (human vision). Във функциите на зрителната
Теория на статистическото обучение
Изтегляне 1.78 Mb. Pdf просмотр
|
Свързани:
Kniga uchitel IT 6. klas Даниела Убенова (1), Kniga uchitel IT 8. klas Даниела Убенова, elektronno-obuchenie
| 2.14. Теория на статистическото обучение В този раздел ще се обърне внимание на теорията на обучение (learning theory), свързана с решението на фундаментални въпроси, които управляват обобщените способности на невронните мрежи. Този въпрос ще бъде разгледан в контекста на обучението с учител. Моделът на обучение с учител се състои от три взаимосвързани компонента. Среда (environment). Средата е стационарна. Тя е представена от вектора х с фиксирана, но неизвестна функция на разпределение на вероятности Учител (teacher). Учителят генерира желаният отговор d за всеки входен вектор х , получен пт външната среда, в съответствие с условната функция на разпределение , която е фиксирана, но неизвестна. Желаният отговор d и входният вектор х са свързани със следващото съотношение: Където е шум, т.е. отначало се предполага за „зашумени” данни на учителя. Обучаема машина (learning machine). Обучаемата машина (невронна мрежа) е „способна да реализира множество функции на отражение” вход-изход, описани от съотношението: Където у – фактически отговор, генериран от обучаемата машина в отговор на входния сигнал х; w – избор на свободни параметри (синаптически тегла), избрани от пространството на параметри W. 76 Уравненията (2.69) и (2.70) записани в термините на примерите, използвани при обучението. Фиг. 2.22. Модел на процеса на обучение с учител Задачата на обучението с учител се състои в избор на конкретна функция , която оптимално (в статистически смисъл) апроксимира очаквания отговор d. Избора се основава на множеството N неазвисими, равномерно разпределени примери на обучение, описани от формула (2.53). За удобство използваме следния запис: Всяка двойка се избира от обучаващата машина на множеството Т с някоя обобщена функция на разпределение на вероятностите , която както и другите функции на разпределение е фиксирана, но неизвестна. Принципните възможности на обучението с учител зависят от отговора на следния въпрос: Съдържат ли примерите от множеството достатъчно информация за създаване на обучаема машина, която да има добри обобщаващи способности? Отговорът на този въпрос се намира в резултатите получени през 1971г. Пазглеждаме задачата за обучение с учител като задача за апроксимация (approximation problem), състояща се в намиране на функцията , която приближава желаната функция Нека е мярка на загубите или несходствата между желаният резултат d, съответният му входен вектор х, и отговора , генерирани от обучаващата машина. В качеството на мярката се разглежда квадратичната функция на загубите (quadratic loss function), определяща квадрата на разстоянието между и апроксимацията Квадратичното разстояние в формула (2.64) – то е усреднение на множеството от теглата на всички примери (х, d) разширени по мярката 77 Основното свойство на задачите в теориите на статистическото обучение е това, че функцията на загубите не играе особена роля. Очакваната величина на загубите се определя от функцията на риска (risk functional) Където интегралът се взема по всички възможни стойности на (х, d). Целта на обучението с учител се явява минимизация на функцията на риска в класа на функциите за апроксимация . Оценката на функцията на риска се усложнява от това, че обобщаващата функция на разпределение е независима. При обучението с учител всичката достъпна информация се съдържа в множеството данни за обучение Т. За да се избегне това математическо усложнение се използва индуктивният принцип на минимизация на емпирическия риск. Той се основава на достъпността на обучаващото множество Т, което е идеално съгласучано с философията на невронните мрежи. Изтегляне 1.78 Mb. Сподели с приятели:
|