105
За еднослойната мрежа с изходен възел с линейна функция на активиност на
изхода се задава просто чрез jjjyxω
θ
=
+
∑
(
3.10)
Такава проста изчислителна мрежа е способна да представи линейната зависимост между стойностите на изходните и на входните възли. Чрез праговата стойност на изхода, класификаторът може да бъдете построена (например както при Adaline на
Уидроу), но тук се концентрираме върху линейната зависимост и използуването на мрежата за задача на апроксимиране на функцията. В максималното измерение на входното пространство мрежата представлява (хипер)равнина и
така ще бъде ясно, че множеството от изходни възли може да бъде дефинирано
Да предположим, че
искаме да тренираме мрежа, която е станала хиперравнина, което е възможно за множеството от обучаващи образци, състоящи се
от входните стойности pxи желаните (или целевите) изходни стойности
pd. За всеки даден входен образец, изходът на мрежата се
определя от целевата стойност pdчрез (
)
ppdy−
,
където pyе текущия изход на схемата. Сега делта правилото използва оценъчна функция или функция на грешката основана на тези различия при регулиране на теглата.
Функцията на грешката, означена чрез наименованието най-малкото средно квадратично отклонение, е сумата от квадратите на грешките.
Това е общата грешка Е, дефиниран по следния начин:
(
)
2 1
2
pppppEEdy=
=
−
∑
∑
,
(
3.11) където индекса
р се изменя над множеството от входни образи и
Ерпредставлява
грешката на образеца р. Процедурата за най-малко средно квадратично търси стойности на всички тегла, които минимизират функцията на грешката чрез метода наречен
спускане по градиента. Идеята се състои в това да се направи промяна в теглата пропорционални на отрицателната стойност на производната на грешката като измерена на текущия образец по отношение на всяко тегло:
ppjjEω
γ
ω
∂
= −
∂
,
(
3.12) където
γ
е константа на пропорционалността. Производната е
ppppjjEEyyω
ω
∂
∂
∂
=
∂
∂
∂
(
3.13)
106
Поради линейността на възлите (равенство (3.10)),
pjjyxω
∂
=
∂
(
3.14) и
(
)
ppppEdyy∂
= −
−
∂
(
3.15) такова, че
ppjjyxω
δ
=
(
3.16) където
pppdyδ
=
−
е разликата между очаквания и действителния изход за образеца
р.
Делта правилото променя подходящо теглата за очакваните и действителните изходи за който и да е поляритет и за непрекъснатите и двоични входни и изходни възли.
Сподели с приятели: