Мрежа с линейна активираща функция: делта

105
За еднослойната мрежа с изходен възел с линейна функция на активиност на изхода се задава просто чрез
j
j
j
y
x
ω
θ
=
+
∑
(3.10)
Такава проста изчислителна мрежа е способна да представи линейната зависимост между стойностите на изходните и на входните възли. Чрез праговата стойност на изхода, класификаторът може да бъдете построена (например както при Adaline на
Уидроу), но тук се концентрираме върху линейната зависимост и използуването на мрежата за задача на апроксимиране на функцията. В максималното измерение на входното пространство мрежата представлява (хипер)равнина и така ще бъде ясно, че множеството от изходни възли може да бъде дефинирано
Да предположим, че искаме да тренираме мрежа, която е станала хиперравнина, което е възможно за множеството от обучаващи образци, състоящи се от входните стойности
p
x
и желаните (или целевите) изходни стойности
p
d
. За всеки даден входен образец, изходът на мрежата се определя от целевата стойност
p
d
чрез (
)
p
p
d
y
−
, където
p
y
е текущия изход на схемата. Сега делта правилото използва оценъчна функция или функция на грешката основана на тези различия при регулиране на теглата.
Функцията на грешката, означена чрез наименованието най-малкото средно квадратично отклонение, е сумата от квадратите на грешките. Това е общата грешка Е, дефиниран по следния начин:
(
)
2 1
2
p
p
p
p
p
E
E
d
y
=
=
−
∑
∑
,
(3.11) където индекса р се изменя над множеството от входни образи и Е
р
представлява грешката на образеца р. Процедурата за най-малко средно квадратично търси стойности на всички тегла, които минимизират функцията на грешката чрез метода наречен спускане по градиента. Идеята се състои в това да се направи промяна в теглата пропорционални на отрицателната стойност на производната на грешката като измерена на текущия образец по отношение на всяко тегло:
p
p
j
j
E
ω
γ
ω
∂
= −
∂
,
(3.12) където
γ
е константа на пропорционалността. Производната е
p
p
p
p
j
j
E
E
y
y
ω
ω
∂
∂
∂
=
∂
∂
∂
(3.13)

106
Поради линейността на възлите (равенство (3.10)),
p
j
j
y
x
ω
∂
=
∂
(3.14) и
(
)
p
p
p
p
E
d
y
y
∂
= −
−
∂
(3.15) такова, че
p
p
j
j
y
x
ω
δ
=
(3.16) където
p
p
p
d
y
δ
=
−
е разликата между очаквания и действителния изход за образеца р.
Делта правилото променя подходящо теглата за очакваните и действителните изходи за който и да е поляритет и за непрекъснатите и двоични входни и изходни възли.

Изтегляне 1.78 Mb.

Сподели с приятели: