Решение на такава задача от мозъка може да бъде обработката на информация от обикновеното зрение (human vision). Във функциите на зрителната
Конструктиви, независещи от разпределението на обобщаващата способност на
Изтегляне 1.78 Mb. Pdf просмотр
|
Свързани:
Kniga uchitel IT 6. klas Даниела Убенова (1), Kniga uchitel IT 8. klas Даниела Убенова, elektronno-obuchenie
| Конструктиви, независещи от разпределението на обобщаващата способност на невронните мрежи Ще разгледаме особен тип задача за двоична класификация на образи, в които очакваният отговор се определя от множеството . Функцията на загубите може да приема следващите две стойности: При тези условия функционала на риска и емпиричния риск , опрделени от формули (2.72) и (2.74) съответно, могат да имат следната интерпретация. Функционала на риска - вероятността от грешки на класификация (probability of classification error), обозначени с Функционала на емпиричния риск - грешки при обучение (training error) (т.е. честото появяване на грешки в процеса на обучение), обозначено с Съгласно закона за големите числа (low of large numbers) емпирическата честота на възникване на каквито и да било събития почти винаги е сходяща към фактическта вероятност за същите събития при количеството на опитите, стремящо се към безкрайност (предполага се, че всички опити са независими и еднакво разпределени). Този резултат овори, че някой вектор w, независещ от обучаващото множество и за някоя точност се изпълнява неравенството: Където N е размер на множеството на обучение. Но изпълняването на условие (2.91) не означава, че минимизацията на грешките на обучение при използването на някои правила на класификация (т.е. данните на векторите на теглата w) водят до минимизация на вероятностите на грешки на класификация . За съществено големия размер на N на обучаващото множество, близостта между и следва от следващото условие: В дадения случай се говори за равномерна сходимост на честотата на грешките на обучение с вероятности . Понятието VC-измерване натрупва ограничения на скоростта на равномерни сходимости. В частност, за множеството от функциите на класификация с VC- измерване равно на h, се използва следното неравенство: Където N е размерът на обучаващото множество; е – основа на натурален логаритъм. За да се достигне равномерна сходимост трябва да се постигнат малки стойности на първата част на неравенство (2.93) за N. За това може да послужи множителя 85 , множителят експоненциално намалява с нарастването на N. Оставащият множител представлява граница на растежа на функцията за семействата от функции . Този резултат описва лемата на Сауер (Sauyer’s lemma). Ограничавайки бързия растеж на функцията може да се обезпечи сходимост на първата част на неравенството към 0 при N стремящо се към безкрайност. Това се удовлетворява, ако VC-измерването h не се явява безкрайно голямо. С други думи краят на VC-измерването се явява необходимо и достатъчно условие за равномерна сходимост на принципа на минимиза VC-измерванеция на емпиричния риск. Ако изходното пространство Х на крайното множество, то семейството на дихотомиите F има крайно VC-измерване по Х. Обратното твърдрнир не винаги е вярно. Нека е верочтност на събитието Тогава с вероятност може да се твърди, че всеки вектор на тегловите коефициенти удоволетворява следващото неравенство Използвайки неравенство (2.93) и определената вероятност , можем да запишем: Нека е някоя стойност на , удовлетворяваща съотношението (2.95). Тогава получаваме следния важен резултат Величината се нарича доверителен интервал (confidence interval). Тази стойност зависи от размера на N, VC-измерването h и вероятността . Описаният израз (2.93) при достига в най-лошия случай вероятност , но не за малки стойности на , които са интересни при решаване на практически задачи. За малки стойности на е важно ограничението, което може да се получи в резултат на някои модификации на неравенство (2.93). В литературата са представени различни видове ограничения (2.97), зависещи от конкретната форма на неравенствата, използвани за получаването им. Ако неравенството (2.97) има вероятност едновременно за всяко се изпълнява съотношението: 86 Където е новия доверителен интервал, определен в термините на предния разглеждан доверителен интервал представен по следния начин: Този доверителен интервал зависи от грешките на обучение . При = 0 приема следващия упростен вид Могат да се определят две ограничения на скоростта на равномерна сходимост. 1. В общия случай скоростта на равномерната сходимост удовлетворява следващото неравенство Където се определя по формула (2.99). 2. При малки (близки до нула) стойности на грешките на обучение се използва неравенството 3. При големи стойности на грешките на обучение близки към единица се изпълнява следното ограничение Изтегляне 1.78 Mb. Сподели с приятели:
|