Многослойните перцептрони могат да правят

109
За дадена трансформация
( )
y
d x
=
, можем да разделим множеството то всички възможни вектори в два класа:
{
}
| ( ) 1
X
d
χ
χ
+
=
=
и
{
}
| ( )
1
X
d
χ
χ
−
=
= −
(3.19)
Докато има N входа, общия брой от възможни входни вектори
χ
е 2
N
. За всяко
p
X
χ
+
∈
скрития възел h, чиито активация
h
y
е 1, може да бъде определен, тогава и само тогава, когато специфичния образец р е представен на входа: можем да изберем неговите тегла
ih
ω
равни на специфичния образец
p
χ
и отклонението
h
θ
равно на 1 N
−
, така че
1 2
sgn
p
p
h
ih i
i
y
x
N
ω


=
−
+




∑
(3.20) е равно на 1 само при
p
h
w
χ
=
. По същия начин, теглата на изходният неврон могат да бъдат избрани така че изходът да бъде единствен, щом като за някой от M предикатни неврони е изпълнено:
1 0
2 1
sgn
M
p
h
h
y
y
M
=


=
+
−




∑
(3.21)
Този перцептрон ще даде
0 1
y
= само ако
X
χ
+
∈
: това изпълнява желаното означение.
Проблемът е големия набор от предикатни възли, който е равен на броя на образците в
X
+
, чиито максимална стойност е 2
N
. Разбира се може да се приложи същия трик за X
−
, и винаги ще вземаме минималния брой от предпазени възли, който е максимум 2
N
- 1
. По елегантно доказателство е дадено в книгата „Перцептрон” на Мински и Пепърт, но същността е че при сложни трансформации броят на желаните възли в скрития слой е експонента на N.

Изтегляне 1.78 Mb.

Сподели с приятели: