Основни понятия и принципи за пренасяне на дискретни съобщения
Изтегляне 462.5 Kb.
|
Свързани:
sistemi-za-avtomatichno-regulirane-sar
| H (B/А) е условна ентропия на В относно А или мярката количеството информация в приемника, когато е известно, че се предава А.
H(A/B) е условна ентропия на А относно В или мярката на количеството информация за източника, когато е известно, че се приема В. Таблица 2.2
Когато в системата няма загуби и изкривявания, условните ентропии са равни на нула H (B/A)=0, H (A/B)=0, А количеството на информацията ще е равно на взаимната ентропия или на източника, или на приемника I (A, B)=H (A, B)=H (A)=H (B). За определяне на ентропията в системи със загуби трябва да се използват формули (2.14) и (2.15). 2.8. Математически свойства на ентропията Ентропията измерва количеството на неопределеност, на неочакваност или информацията, съдържаща се в някаква ситуация, или, например, в резултат на експеримент. По такъв начин тя е важна функция на вероятностите за отделните възможни събития. При планиране на експеримента е желателно да се максимизира очакваното количество получена информация или да се максимизира ентропията. За това е нужно поне частично да се управляват вероятностите за различните изходи (резултати) от експеримента; трябва по подходящ начин да се планира експеримента. За това е много удобен критерия за максимум на ентропията. Има смисъл да се изследва ентропията сама по себе си, независимо от използването й в конкретни задачи. Ентропията има много полезни математически свойства, които трябва да се изследват без да се задълбочава теорията. На фиг. 2.4 е показано първото свойство на функцията log2x. Като се построи допирателна в точката (1,0) може да се определи нейния наклон d(log2x)/dxx=1 = 1. Уравнението на допирателната има следния вид y-0=1=(x-1), откъдето се получава y=x-1. Фиг.2.4. График на функцията log2 x По такъв начин, при x0 се получава полезното равенство (2.18) log2x x-1. Равенство има само в точката x=1. От това следва, че ентропията на ситуация, за която вероятността е единица е равна на нула. Така се показва по друг начин, че съобщението за известно събитие не носи информация на получателя. Второто важно свойство изразява фундаменталното съотношение между две вероятностни разпределения. Нека първото разпределение е xk, за което (разбира се) , а второто разпределение е yk и . Във формулата участват и двете разпределения на вероятностите. Като се използва формула (2.1) се получава Като се премине отново към двоичен логаритъм се получава фундаменталното неравенство (2.19) В тази формула има равенство само когато xk =yk за всички k. Появява се естественият въпрос какво разпределение на вероятностите осигурява максимална ентропия (очевидно е, че минимумът ще бъде, когато една от вероятностите е единица, а всички останали са нули). Известна е зависимостта H(X) = при По-нататък може да се запише Като се използва неравенството (2.12 ) се получава log2 От това следва, че (2.20) H(X) log2l В последната формула равенството е възможно само когато всички pk = 1/l. Получи се доказано по друг начин свойство 2 на ентропията. Друго доказателство на това важно свойство на ентропията може да се направи с помощта на множителите на Лагранж като се разгледа функцията Тъй като последното уравнение не зависи от j, то всички pj трябва да са равни едни на други и всяко от тях да е равно на 1/l, където l е броят на членовете на разпределението. Затова максималното значение на ентропията ще бъде равно на H(X) = log2l. За всяко разпределение, различно от равномерното ентропията е по-малка от log2l. 1 Андрей Андреевич Марков (1856-1922) Известен руски математик, член на Руската АН. Работи в областта на теорията на числата и теорията на вероятностите. Пръв започва да разработва теорията на случайни процеси с предистория (зависимост от предишното състояние), наречени по-късно марковски. 2Това става в тривиалните, примитивни текстове. Преди повече от 30 години в. “Стършел” имаше рубрика “Езикова митница”, в която се представяха такива текстове. Така се критикуваха щампите и формализма в българския език, които го лишават от красотата и богатството му. 3Примерите са създадени от моя преподавател във ВАС “С.М. Будьони”, С. Петербург проф. дтн инж. Валерий Иванович Коржик (бел. на Г. К.). 1 Най-често се използват двоични или натурални логаритми. При а=2 единицата е bit, при а=е единицата за скорост се нарича nit, като 1 nit = 1,44269 bit; при а=10 единицата се нарича dit, 1 dit= 3,32193 bit. 1 Ентропията е въведена в термодинамиката (1865) от немския физик Рудолф Клаузиус (1822 - 1888), един от създателите на термодинамиката. 1 Затова в тотализатора (Еврофутбол) за такива срещи се плащат големи печалби. 1 В това няма нищо странно и то не означава, че получателят знае съобщението. Той знае вида на модулацията, какъв код се използва и др. Именно това са сведенията за предадените символи. Изтегляне 462.5 Kb. Сподели с приятели:
|