Основни понятия и принципи за пренасяне на дискретни съобщения
Изтегляне 462.5 Kb.
|
Свързани:
sistemi-za-avtomatichno-regulirane-sar
| p(xk) – вероятност за появяване на к-тото състояние на елемента;
Формула (2.7) показва, че паметта намалява неопределеността в съобщението; намалява и информацията, която то носи. Ентропията на източника има следните основни свойства: 1.H(X)≥0, H(X)=0 само тогава, когато източникът предава във всеки момент предварително определен символ с вероятност p(xk)=1. Действително от (2.5) следва, че H(X)≥0, защото p(xk)≥1 и затова всички членове на сумата са неотрицателни. Ако източникът дава във всеки момент предварително определен символ, то разширяването му в каква да е степен n дава с вероятност единица само една последователност, а всички останали възможни последователности имат вероятност нула. Затова всички членове на сумата във формула (2.5) при всякакво n са равни на нула. 2. Ако обемът на азбуката на източника l е фиксиран (например, буквите в текстовете на български език са 30), то ентропията ще бъде максимална, когато няма памет и всички знаци са равновероятни p(x1) = p(x2)==. . . =p(xl). В този случай H(X) = logl. Лесно може да се докаже, че във формула (2.3) за ентропията на източника без памет максимумът е при p(x1) = p(x2)=. . . =p(xl). Това става така. Представя се вероятността за появяването на един от символите (например, последния) чрез вероятностите на останалите символи: p(xl) = 1 – p(x2)-p(x3) - . . . –p(xl-1) Очевидно е, че максимум в (2.5) се достига, когато всички символи на последователността от разширения източник са равновероятни, а това е възможно само при отсъствие на памет. Като се има предвид това формула (2.6) се записва така (2.8) H(X)= За определянето на максимума на H(X) трябва да се намерят частните производни по всички p(xk) и да се приравнят към нула , или записано по друг начин =0, k = 1, 2, 3, . . . l-1 откъдето за всякакво k може да се запише или p (xk)=p (xi) Следователно ентропията е максимална ако вероятностите за появяване на всички знаци от азбуката на източника са равни p(x1)= p(x2)=p(x3)=- . . .=p(xl-1)= , което доказва свойство 2. Очевидно е, че максимумът в (2.8) се достига, когато всички символи в последователността на разширения източник са равновероятни, а това е възможно само при отсъствие на памет. В частния случай за двоичен канал без памет (l=2) ентропията е максимална и равна на единица при p(x1)=p(x2)=1/2.Тази зависимост е показана на фиг. 2.2. При p=0 или p=1, което отговаря на предаването на едно от съобщенията x1 или x2 неопределеността отсъства и ентропията е равна на нула. От определението и свойствата на ентропията следва нейното “физическо” пояснение като средна информативност на източника, създаващ последователност от символи. Действително, ако източникът създава само един символ (известен предварително), то от такъв източник няма информация. Ако всички символи на източника са равновероятни и независими, то информацията е максимална, тъй като съобщенията са най-неочаквани и не могат да се прогнозират. Например, съобщенията за резултатите от спортни срещи са много по-интересни, когато играят равностойни отбори, отколкото при игра на силни и слаби отбори. В същото време съобщението, че много слаб отбор е победил много силен отбор носи също много информация.1 Фиг. 2.2. Зависимост на ентропията от p(x) за двоичен канал без памет Това, че по-информативен е източника на най-хаотични съобщения може да се покаже странно. От примери 3 и 4 в предишния параграф и свойство 2 на ентропията се вижда, че ентропията на текста, отпечатан от маймунката е по-висока от ентропията на текста, отпечатан от журналиста. Това действително означава, че “маймунският” текст в известен смисъл съдържа повече информация от текста на журналиста. В това ще се убедите лесно ако се опитате да го научите наизуст. Ясно е, че смисловия текст може да се научи по-лесно и по-лесно ще се пренесе по канал със смущения, отколкото хаотическия. Ако при пренасянето на смислов текст се появят грешки, те лесно се поправят, а в “маймунския” текст да се открие и поправи приета неправилно буква е невъзможно. На фиг.2.2 е показана зависимосттта на ентропията от p(x) за двоичен канал без памет. Всичко това показва, че ентропията е удобна мярка за количеството информация, създавана от източника ако се абстрахираме напълно от съдържанието на тази информация, по-точно от това доколко тя е интересна и нужна на получателя. Предварително ще кажем, че ще бъде въведено по-общото понятие взаимна информация, което позволява да се определи колко голяма (като количество) е информацията, съдържаща се в съобщението за някакво случайно събитие, величина или процес. Съгласно това определение количеството информация в “маймунския” текст относно събитията в околната среда е равно на нула, а в текста на журналиста може да бъде много голямо съгласно обикновения смисъл на понятието “информация”. За източниците с фиксирана скорост важен параметър е производителността H’(X), определяна като произведение на скоростта vk с ентропията H(X) H’(X) = vkH(X) Тази скорост се измерва в битове за секунда. Следователно, физическият смисъл на производителността е количеството информация, създавано от източника средно за една секунда при непрекъсната работа. При кодиране на съобщенията с двоични кодове количеството на информацията ще се определи от двоичния логаритъм от броя на възможните съобщения. Общият брой на възможните съобщения, предадени с двоични комбинации с дължина n ще бъде N=2n. Количеството информация ще се определи така Изтегляне 462.5 Kb. Сподели с приятели:
|