Решение на такава задача от мозъка може да бъде обработката на информация от обикновеното зрение (human vision). Във функциите на зрителната
Изтегляне 1.78 Mb. Pdf просмотр
|
Свързани:
Kniga uchitel IT 6. klas Даниела Убенова (1), Kniga uchitel IT 8. klas Даниела Убенова, elektronno-obuchenie
| Минимизация на структурния риск Под грешки на обучение (training error) се разбира честота на направените от машината грешки в течение на обучението на определения вектор на тегалата Аналогично под грешки на обобщение (generalization error) се разбира честотата на допуснатите от машината грешки при нейното тестване. Предполагаме, че тестовите данни принадлежат към това семейство, както и данните за обучение. Тези две величини обозначаваме с и съответно. Знаем, че е същата величина, която в предния раздел беше записана като . Обозначаваме със символа h VC-измерването на семейството от функции на класификация по отношение на пространството на входните сигнали X. Тогава в теорията на скоростта на равномерна сходимост може да се твърди, че с вероятност за количеството примери на обучение , едновременно за всички функции на класификация грешката на обобщение , има малки стойности на гарантирания риск (guaranteed risk), определена като сума от двойки на конкуриращи се величини 87 Където доверителния интервал се определя по формула (2.99). За фиксирани числа N на примерите за грешките на обучение, обучението монотонно намалява при увеличаване на VC-измерването h, а доверителния интервал монотонно се увеличава Фиг. 2.25. Взаимовръзка между грешките на обучение, доверителния интервал и гарантирания риск Следователно както гарантирани риск, така и грешките на оббощение имат точка на минимум. Общият случай на това твърдение е показан на фиг.2.25. До момента достигнатата точка на минимум на задачите за обучение се явява периодична (overdetermined) в този смисъл, че обемът на машината h е много малък, за да вмести целия обем на детайлите на обучението. След преминаване на точката на минимум, задачата за обучение се явява недоопределена (underdeterminated), т.е. обемът на машината е много голям за такъв обем от данни на обучение. При този начин на решение на задачите за обучение с учител е необходимо обезпечаване на максимална ефективност на обобщение за сметка на преведените в съответствие с обема на машината за допустимото количество данни за обучение. Методът на минимизация на структурния риск (method of structural risk minimization) обезпечава индуктивната процедура за постигане на тази цел, в която VC-измерването на обучаващата машина се разглежда като управляваща променлива. Ще разгледаме ансамбъла за класификация на образите и ще определим вложена структура, състояща се от n подобни машини: Така, че (см. Фиг.2.25) Където символът означава „съдържащи в”. Съответното VC-измерване на отделните класификатори на образите удовлетворява следното условие: 88 Затова говорим, че VC-измерването на всички класификатори е крайно. Тогава методът на минимизация на структурния риск може да се изложи по следния начин: Минимизация на емпиричния риск (т.е. грешката на обучение) за всеки от класификаторите. Определя се класификатор , който има най-малък гарантиран риск. Тази конкретна машина обезпечава компромиса между грешките на обучение (т.е. качество на апроксимираните данни за обучение) и доверителния интервал (т.е. сложност на функцията за апроксимация), които се конкурират помежду си. Нашата цел е да намерим такава невронна структура, в която намаляването на VC- измерването се достига за сметка на минималната възможност на увеличаване на грешките на обучение. Принципът на минимизация на структурния риск може да бъде реализиран чрез множество от различни способи. Например, VC-измерването h може да се изменя за сметка на изменянето на количеството скрити неврони. В качеството на примери се разглеждат ансамбли от пълносвързани многослойни мрежи за пряко разпространение, в които количеството на невроните в един от скритите слоеве монотонно нараства. В съответствие с принципа на минимизация на структурния риск наличната мрежа в това множество може да бъде такава, в която гарантирания риск да бъде минимален. VC-измерването се явява основно понятие не само за принципа на минимизация на структурния риск, но и на моделите за обучение, получили названието Изтегляне 1.78 Mb. Сподели с приятели:
|