Основни понятия и принципи за пренасяне на дискретни съобщения
Изтегляне 462.5 Kb.
|
Свързани:
sistemi-za-avtomatichno-regulirane-sar
| (2.9) I= log2N = nlog22 =n
Последната формула показва, че един двоичен импулс съдържа един bit (бит) информация. При увеличаване на броя на състоянията, които може да приема импулса, количеството на информацията расте по логаритмичен закон. Това показва, че е неизгодно да се увеличава броя на състоянията, приемани от импулса, защото количеството на пренасяната информация расте бавно, а сложността на апаратурата (и нейната цена) е пропорционално на броя на състоянията. Затова най-изгодни са двоичните кодове, както се доказа по-горе. 2.4. Количество информация и ентропия Количеството информация е равно на ентропията само когато напълно се премахва неопределеността на ситуацията. В общия случай може да се смята, че количеството информация е намаляване на ентропията (неопределеността, незнанието) чрез опит, някакъв друг познавателен акт или след получаване на съобщение. Ако неопределеността изчезва напълно, информацията е равна на ентропията и тогава I = H Непълно премахване на неопределеността отговаря на частична информация, която е разлика между началната и крайната (остатъчната) ентропия I = H1 – H2. Максимално количество информация се получава при пълно премахване на максималната неопределеност, когато всички събития са равновероятни. Това отговаря на максимално възможното количество информация по Хартли I’= log2Q = log2(1/p) = -log2p където Q е броят на събитията, а р е вероятността за появяването им. Следователно I = Hмакс Абсолютният излишък на информацията Dабс е разлика между максимално възможното количество информация и ентропията Dабс = I’- H или Dабс = Hмакс – H. Относителният излишък може да се определи така D = . Относителният излишък се намира в границите 0 D 1 и е ненамаляваща функция на дължината на кодовите комбинации n. Величината H/Нмакс се нарича коефициент на свиване, който показва до каква степен може да се свиват (отстранява излишъка) пренасяните съобщения. Източникът на информация с излишък предава излишно количество информация. Това увеличава времето за пренасяне на съобщенията и намалява ефективността от използването на канала, средата и апаратурите. Чрез подходящо кодиране може да се отстрани информационния излишък. Информацията трябва да се пренася чрез най-икономично създадени съобщения. Такива са равновероятните и независимите съобщения. 2.5. Условна ентропия Нека разглежданият дискретен канал има входна азбука А и изходна азбука В. Нека на входа на канала се появяват последователности от символи αn на азбуката А и за всяко n са известни вероятностите появяване p(αn) на всички последователности от символи αn с дължина n. Тогава входът на канала може да се разглежда като източник на символи А с ентропия (2.10) , определяща средното количество информация, съдържаща се в един символ, изпращан в канала. На изхода на канала се появяват последователности от символи на азбуката В. За всяко n съществуват условни вероятности p(βnj/αni) за това, че на изхода се появява последователност βnj с дължина n, ако на входа е постъпила последователност αni. Тези условни вероятности и определят дискретния канал. От теорията на вероятностите е известно, че като се знаят вероятностите p(βnj/αni) и p(αni) могат да се намерят безусловните вероятности p(βnj) за появяването на последователности от символи с дължина n на изхода на канала (2.11) , където m е обема на азбуката на източника А. Каналът заедно с източника А на входа може да се разглежда като източник В на символи β на изхода на канала и да се определи ентропията му (2.12) , измерваща средното количество информация, съдържащо се в един изходен символ на канала. Ентропията е чисто количествена мярка на информацията и не е свързана със съдържанието. Затова величината H(B) сама по себе си нищо не говори за това доколко информацията, съдържаща се в приетите символи βj отговаря по съдържанието си на информацията, представена от символите αi, постъпващи на входа на канала. Ако каналът е идеален, то между символите αi и βj ще има еднозначно съответствие и информацията на входа и изхода на канала би била еднаква, както количествено, така и качествено. Това означава, че като се наблюдава последователността от символи βj на изхода на идеалния канал може точно да се определи входната последователност от символи αi и да се получи цялата входна информация. Ако каналът има много смущения, то изходната последователност от символи βj се определя само от смущенията и не зависи от входните символи αi. В тези условия независимо, че ентропията H(B) може да бъде много голяма, информацията, носена от символите β няма нищо общо с информацията, постъпваща на входа на канала със символите α и се определя само от смущенията. Определянето на средното количество информация, съдържащо се в пренасяното съобщение (или в един знак от съобщението) става с помощта на следните разсъждения. Нека получателят на съобщението отначало получи предадените символи βnj и след това научава по някакъв начин предадената последователност αni. В резултат на това на получателя ще бъде предадена пълната информация за входните символи α. Количеството на тази информация (определено за един символ) ще бъде H (A). Тази информация В процеса на приемането получателят отначало приема някакво количество информация I(B,A) (определено за един символ). Това количество информация се съдържа в последователността В на изходните (приетите) символи относно входните (предадените) символи. Като наблюдава входните символи получателят ще получи някаква допълнителна информация I2, Ясно е, че общото количество информация ще бъде равно на сумата от двете количества информация (2.13) H(A) = I(B,A) + I2 В случая за да се определи количеството информация I(B,A) трябва да се знае I2. В общия случай, като се наблюдава изходната последователност от символи β и има някакви априорни сведения за предадените символи1 може да се получат някои сведения каква последователност α е постъпила на входа на канала. Условна ентропия H(A/B) на източника на символи α при известни символи β по аналогия с (2.5) се нарича величината (2.14) . Тази условна ентропия определя средното количество информация, падащо се на един символ от входната последователност символи αni ако е известна съответната изходна последователност при неограничена дължина на тези последователности. Очевидно тя е величината, означена в (2.13) с I2. Условната ентропия е тази част от пълната информация H(A), изпращана от източника, която не се съдържа (липсва) в последователността от изходни символи β; тя се оказва загубена в процеса на пренасянето. Ако източникът и каналът са без памет, то изразът за условната вероятност става по-прост (2.15) Важно свойство на условната ентропия на източника на зависими съобщения е това, че при неизменен брой съобщения в източника, ентропията намалява при увеличаване на броя на съобщенията, между които има статистическа зависимост. Съществуването на статистическа зависимост между съобщенията винаги води до намаляване на количеството информация, съдържаща се средно в едно съобщение. Условната ентропия има следните свойства: Изтегляне 462.5 Kb. Сподели с приятели:
|