Основни понятия и принципи за пренасяне на дискретни съобщения
Изтегляне 462.5 Kb.
|
Свързани:
sistemi-za-avtomatichno-regulirane-sar
| К а н а л
Дискретният канал напълно се определя чрез задаването на входното А и изходното В множества символи, вероятността p(βj[n]/αi[n]) за това, че при подаване на входа на последователността от символи αс[n] на изхода се получава n-последователност βт[n] и броят на символите vk, предавани за единица време. Ако вероятностите за прехода на отделните символи p(βj/αi) не зависят от предисторията (от предаваните и приемани преди това символи), каналът се нарича дискретен канал без памет. В практиката по-често се използват кавали с памет, в които преходните вероятности зависят от предисторията. Ще се разглеждат канали с идеална синхронизация, когато на всяка входна последователност с дължина n отговаря изходна последователност с дължина n. Като се означи обема на входната азбука А чрез mA, обема на изходната азбука В чрез mВ и се разделят входните и изходните последователности на блокове с дължина n, то тези блокове могат да се разглеждат като символи на нов канал с входна азбука Аn и обем mАн и изходна азбука Bn и обем mAn. Такъв канал се нарича разширение на изходния канал със степен n. Каналът без памет напълно се определя от преходните вероятности p(βj/αi) за всички j=1, 2, 3,..., mB и с.1, 2, 3,..., mA. За разлика от източника каналът обикновено има фиксирана скорост на предаване vk=1/Tk,, където Тk е времето за пренасяне на един символ. В този модел се губят много физически особености на канала. Нека като вход и изход на канала се използват гнездата на телеграфния комутатор. Пълно описание на канала може да се получи като се подават на входа контролни последователности от импулси и на изхода се измерват статистическите вероятности на различните преходи на канала. При такова определение на канала физическата природа на каналообразуващата апаратура (радио, радио-релеен, сателитен канал или кабелна линия) остава неизвестна. Неизвестни са и параметрите на апаратурата: мощност на предавателя, вид на модулацията, способа за вторично уплътнение, ширината на ефективно пренасяната честотна лента и др. Тези въпроси не са и интересни, защото при такова задаване на канала не може да се изменя неговата вътрешна структура(мощност, вид на модулацията, преносна среда и др.). Този подход създава редица удобства за оценка на ефективността на способите за обработка и съхраняване на информацията и позволява оценката да се прави от позицията на клиента, който не може да изменя поръчания и получен канал (в повечето случаи каналите са комутирани и се заемат само за времето на пренасяне на съобщението). П р и м е р 5. Най-простият дискретен канал е каналът без памет с входна азбука α1, α2 и изходна азбука β1, β2. Обикновено се приема α1= β1=0 и α2= β2=1. такъв канал напълно се определя от диаграмата на преходите, показана на фиг. 2. , където p(0/0) и p(1/0) са вероятности за правилно приемане на символите 0 и 1, а p(1/0) и p(0/1) – вероятности за грешка в същите случаи. Причина за грешките са смущенията, които при изучаване на дискретния канал не се използват. Смущенията в такъв канал имат някои свойства на стационарност, защото каналът няма памет. Ако каналът е без памет, то вероятностите за преходите ще имат значения p(1/0)=p(0/1)=0 и p(0/0)=p(1/1)=1. фиг. 2.1. Дискретен симетричен канал без памет 2.2. Количество на информацията При пренасяне на информация е важно да се определи количеството на пренасяната информация. Това позволява да се прави количествена оценка на методите за обработка на съобщенията и да се избират пътища за повишаване на ефективността им. По-горе се определи оптималната основа на кода, с който се преобразуват пренасяните съобщения. При дължина на съобщението n с двоичен код могат да се пренесат N = 2n различни съобщения. В практиката е по-удобно да се използва не величината N, а някаква функция от тази величина. Основната идея на теорията на информацията е, че информацията може да се определя количествено (да се измерва), като количеството информация трябва да се определя независимо от конкретното съдържание на символа (съобщението). Ясно е, че ако пренасяното съобщение е точно известно, то не носи никаква информация. Ако някакво събитие е “почти известно”, то вероятността за появяването му е близка до единица и получаването на съобщение, потвърждаващо това събитие носи съвсем малко информация. В обратния случай, съобщението за малко вероятно събитие, представлява “сензация”, носи много информация. Затова мярката за количеството информация трябва да се избира така, че да отразява степента на оригиналност, неочакваност, новината на оценяваното съобщение. До тук не се говори за полезността, ценността на информацията и затова учудващия, носещ повече информация факт може за дадения наблюдател да бъде съвсем безполезен. Такива свойства на съобщението като оригиналност, новост, неочакваност са свързани само с вероятността за появяване на съобщението. Затова може да се смята, че количеството информация, съдържащо се в символа xk е някаква функция на вероятността му i(xk)=i(p(xk)). По интуиция може да се иска изпълнението на следните свойства на функцията i(xk), наричана частно количество информация: а) i(xk)=0, ако p(xk)=1; б) i(xk) нараства, ако pi намалява; в) i(p(xk)) е непрекъсната диференцируема функция на p(xk); г) i(xk,xj) = i(xk) + i(xj), където i(xk,xj) е количеството информация в двете независими съобщения xk и xj. Първото свойство означава, че съобщението за достоверно събитие не носи информация. Третото свойство означава адитивност на информацията за несвързани помежду си събития (например, информацията за положението на един зрител в киносалона се състои от номера на реда и номера на стола). Второто свойство означава “плавно” изменение на информацията при изменение на вероятността. М оже да се покаже, че единствената функция, отговаряща на условията “а”, “б”, “в” и “г” има следния вид (2.3) i(xk) = Основата на логаритъма може да бъде произволна; от избора й зависи само единицата за измерване на информацията1. В комуникациите се използва основа на логаритъма а=2 (виж 1.1.2) и количеството информация се нарича двоична единица. Това е частното количество информация, съдържащо се в съобщението за събитие, което с еднаква вероятност може да се сбъдне, или да не се сбъдне (например, хвърлянето на правилна монета, раждането на момче или момиче, това събитие ще стане през деня или през нощта и др.). 2.3. Ентропия Нека източник на информация да дава последователност от символи с дължина не по-голяма от n. Количеството информация, съдържащо се в тази последователност съгласно (2.1) е равно на log и е случайна величина. Средното количество информация, съдържащо се в един знак от тази последователност ще бъде и също е случайна величина, имаща различни значения за различните последователности с дължина n. (2.4) M { } = Математическото очакване на тази величина характеризира количеството информация, съдържащо се в един знак от последователността с дължина n и по всички съдържащи се в тях знаци. Границата на (2.4) при n→∞ се нарича ентропия на източника H(X): (2.5) H(X)= M { }= Терминът ентропия е взет от термодинамиката, където има аналогичен по форма израз, характеризиращ неопределеността на състоянията на физическа система1. В теорията на информацията ентропията H(X) също характеризира неопределеността до предаването на съобщението, защото предварително не се знае какво от съобщенията на източника ще бъде предадено. Колкото по-голяма е ентропията, толкова по-силна е неопределеността и толкова повече информация носи съобщението на източника. По такъв начин ентропията представлява средното количество информация, съдържащо се в един знак от последователността на източника при неограничено увеличаване на дължината на тази последователност. Ентропията представлява мярка за степента на неопределеност, която съществува в източниците на информация и притежава следните основни свойства: - тя е реална, положителна и ограничена по стойност величина; - при равновероятни състояния на системата ентропията е максимална; - тя е равна на нула ако вероятността за едно от пренасяните съобщения е равна на единица; - ентропията на няколко независими източника е равна на сумата от ентропиите на тези източници. Ако появяванията на отделните знаци са независими събития източникът се нарича източник без памет. Тогава средното количество информация, съдържащо се в различните знаци на съобщението ще бъде равно на сумата от вероятностите за появяване на отделните знаци (2.6) H(X) = Следователно, за източника без памет количеството информация се определя от вероятностите за появяване на отделните знаци. Може да се покаже, че за източника с памет (2.7) H (X) ≤ , където l е брой на елементите в съобщението; за българския език l=30. Изтегляне 462.5 Kb. Сподели с приятели:
|