Решение на такава задача от мозъка може да бъде обработката на информация от обикновеното зрение (human vision). Във функциите на зрителната
Изтегляне 1.78 Mb. Pdf просмотр
|
Свързани:
Kniga uchitel IT 6. klas Даниела Убенова (1), Kniga uchitel IT 8. klas Даниела Убенова, elektronno-obuchenie
| Нека В – клас от понятия за средата Х. Счита се, че класа В се явява РАС-обучение, ако съществува алгоритъм L, имащ следните свойства. За всяко целево понятие , на всяко разпределение на вероятностите на Х и за всяко при използвания алгоритъм L за множествата от примери на обучение с вероятност не по-лоша от резултатът от алгоритъма за обучение L ще бъде хипотезата g с грешки при обучение . Тази вероятност се получава за всички подмножества на множеството Т и при всички вътрешни рандомизации, които може да съществуват в алгоритъма за обучение L. При това размерът на обучаващото множество N не трябва да надвишава стойността на никоя от функциите от С други думи, ако размерът N на обучаващото множество Т е достатъчно голям, то съществува вероятност, че в резултат на обучението на мрежата от този избор на примери на отражение на входа и изхода, реализирани от мрежата, ще бъдат „приблизително коректни” . Сложност на обучаващото множество При използването на теорията РАС-обучението на практика възниква въпрос за сложността на обучаващото множество (sample complexity). Той може да се формулира по следния начин: колко случайни параметъра е нужно да предостави алгоритъма за обучение, за да бъде неговата информация достатъчна за „изучаване” на неизвестното понятие с, избрано от класа понятия В, или колко голямо трябва да бъде обучаващото множество Т? Въпросът за сложността на обучаващото множество е тясно свързан с VC- измерването. Въвеждаме понятието съгласуваност (consistence). Нека е множество от маркирани примери, в които теглото и теглото . Тогава понятието с се нарича съгласувано с набора от примери Т (и наборът Т се нарича съгласуван с с), ако за всяко се изпълнява равенството . В концепцията на РАС-обучението критично се явява не размерът на множеството изчисления на невронните мрежи на функциите на отражение на входа в изход, а VC- измерването на мрежите. Разглеждаме невронна мрежа с крайно VC-измерване 1) Всеки състоятелен алгоритъм за обучение на тази невронна мрежа е алгоритъм за обучение на РАС. 2) Съществува такава константа К, която с достатъчна точност на обучаващото множество Т за всеки алгоритъм се явява Където - параметър на грешките; - параметър на доверие. Този резултат може да се използва в обучението с учител, независимо от типа на алгоритъма за обучение и разпределението на вероятностите на маркираните примери. При сравнението на този резултат, получен на основата на изчисленията на VC- измерването, с експериментални данни се получават различни стойности. Това не е удивително за ткаова разсъгласувано отразяване на независимото от разпределението и песимистичния характер (distribution-free, worst-case) на теоретичната оценка. Изчислителна сложност 91 Един от въпросите, на който трябва да се обърне внимание при разглеждането на концепциите на обучението РАС е изчислителната сложност. Този въпрос касае изчислителната ефективност на алгоритъма за обучение. Понятието изчислителна сложност (computational complexity) е свързано с песимистичните оценки във времето, необходими за обучението на невронните мрежи (обучаема машина) на множеството маркирани примери с мощност N. На практика работата на алгоритъма зависи от скоростта на използваните величини. От теоретична гледна точка е необходимо такова определяне на времето за обучение, което няма да зависи от конкретните устройства, използвани за обаработка на информацията. Времето за обучение (и съответната изчислителна сложност) се измерва в термините на количеството операции (сложност, умножение и съхранение), необходими за използваните изчисления. При изчисляване на сложността на алгоритъма за обучение е необходимо да се знае, как тя зависи от размерността на примерите на обучение т (т.е. от размера на входния слой на обучение на невронните мрежи). В този контекст алгоритъмът се счита за изчислително ефективен (efficient), ако времето за работа е пропорционално на , където . В този случай говорим, че времето за обучение полиноминално зависи от т (polynomically with m), а самият алгоритъм се нарича алгоритъм с полиноминално време на изпълнение (polynominal time algorithm). Задачите за обучение, основани на алгоритъма с полиноминално време на изпълнение се считат за „прости”. Още един параметър, на който трябва да се обърне внимание е параметъра за грешки . При сложността на обучаващите множества, параметъра за грешки се явява фиксиран, но произволен; а при оценката на изчислителната сложност на алгоритъма за обучение е необходимо да се знае, как тя зависи от този параметър. Интуитивно следва, че при използване на параметъра задачта за обучение се усложнява. Следователно трябва да се достигне до някое състояние, което обезпечава вероятностно-коректния в смисъл на апроксимация изход. За обезпечаване на ефективността на изчисленията съответстващото състояние се достига за полиноминално време 1/ . Обединявайки тези разсъждения можем да сформираме следното твърдение: Алгоритъмът за обучение се явява изчислително ефективен по параметъра за грешки , размерността на примерите за обучение т и размерът на обучаващото множество N, ако времето за изпълнение се явява полиноминално по N, и съществува такава стойност , достатъчна за РАС-обучението, при която алгоритъмът се явява полиноминален по т и . |