Как да вмъкнем априорна информация в структурата на невронните мрежи

28
Фиг.1.20. Пример за мрежа с реципрочни области и съвместно използване на тегла. Всички четири скрити неврона за реализцията на синаптическите връзки съвместно използват едно и също множество от тегла.
Тази мрежа има ограничена архитектура. Първите шест възела на източника образуват рецепторно поле скрития неврон с номер 1 и така за всички останали скрити неврони на мрежата. Индукционното локално поле скрито за неврона може да бъде описано със следният израз където определя един и същи набор от тегла съвместно използвани от четирите скрити неврона, а е сигнал получен от възела на източника с номер
. Мрежата за пряко разпространение с локални връзки и съвместно използвани тегла се нарича сума от извивки (convolution network).
Как да вмъкнем инварианти в структурата на невронната мрежа
Ще разгледаме следните физически явления:
• Ако изследваният обект се върти то съответният образ се изменя, изменя се и неговият образ възприеман от наблюдателя.
• В кохерентният радар обезпечаващ информацията от амплитудата и фазата на източника на околната среда, ехото от движещият се обект се изместя по честотата. Това е свързано с ефекта на Доплер, който възниква при радиално
(въртеливо) движение на наблюдавания обект относно радара.
• Диктор може да произнася думи, както с тих глас, така и с висок глас, както бавно така и бързо говорейки.
Диапазона на трансформация (transformation) на наблюдаваният обект - едно от основните изисквания при разпознаване на образи е създаването на такъв класификатор, който е инвариантен към тази трансформация. С други думи резултатът

29
на класификация не трябва да указва влияние върху трансформацията на входния сигнал постъпваща от обекта за наблюдение.
Съществуват три приома на обезпечавана на инвариантност на невронната мрежа класифицирани към подобни трансформации:
1. Структура на инвариантност (invariance by structure) – инвариантността може да бъде внесена в невронните мрежи чрез съответната структуризация, в частност синаптическите връзки между отделните невронни мрежи се строят така че трансформационните версии на един и същи сигнал да показват един и същ изходен сигнал. Ще разгледаме невронна мрежова класификация на входен сигнал, която трябва да е инвариантна по отношение на плоското въртене на изображението относно неговият център.
Структурната инвариантност на мрежата относно въртенето може да се изрази така: Нека синаптическо тегло на неврона свързано с пиксела i на входното изображение. Ако условието се изпълнява за всички пиксели лежащи на равно разстояние от центъра на изображението невронната мрежа ще бъде инвариантна спрямо въртенето. За да обезпечим инвариантността относно въртенето е нужно да се дублира синаптическото тегло на всички пиксели равно отдалечени от центъра на изображението.
Недостатъка на стурктурата на инвариантността е това, че количеството синаптически връзки на изображението даже на среден размер ще бъде много голямо.
Фиг.1.21. Диаграма на система, използваща пространството от инвариантни признаци
2.
Инвариантност на обучението (invariance by training). Невронните мрежи имат естествената способност за класификация на образите. Тя може да се използва за обезпечение на инвариантност на мрежите към трансформация.
Мрежата се обучава от множество примери на един и същи обект, при това всеки пример от обекта се подава в няколко изменени вида (например снимка с различни страни). От техническа гледна точка инвариантността на обучението има два съществени недостатъка. Първият е ако невронната мрежа е била научена да разпознава трансформации на обекта от някой клас, съвсем не е задължително тя да има инвариантност по отношение на трансформациите на обектите от друг клас. Вторият – такова обучение е много енергоемко, особено при голява размерност на пространството на признаците.

Изтегляне 1.78 Mb.

Сподели с приятели: