Основни понятия и принципи за пренасяне на дискретни съобщения
Изтегляне 462.5 Kb.
|
Свързани:
sistemi-za-avtomatichno-regulirane-sar
| 1.H(A/B)≥0, което се вижда от (2.14). Лесно може да се провери, че ако или ако в канала няма смущения, то H(A/B)=0.
2. H(A/B) ≤H(A), като H(A/B) =H(A), само когато входът и изходът на канала са статистически независими и p(αni/βnj)=p(αni). Последното твърдение се доказва чрез определението като се замести в (2.14) p(αni/βnj)=p(αni). 2.6. Количество на пренесената по дискретен канал информация По-горе се определи количеството информация чрез ентропията. Това може да се използва за определяне на количеството, пренесена по канала информация. Количеството информация, пренесена по канала може да се определи като разлика между количеството информация, постъпила на входа и количеството на загубената информация или между безусловната и условната ентропии (2.16) I (B, A) = H (A) – H (A/B) Означението I(A,B) трябва да се разбира като средно количество информация на изхода на канала В по отношение на входа А или, по-точно, като количество информация в изходната последователност относно входната последователност, определено за един символ при неограничено увеличаване на дължината на последователността. Като се имат предвид (2.10) и (2.14) за количеството информация може да се запише (2.17) I(A,B) = - Количеството информация има следните свойства: 1. I (B, A) ≥0. Това следва от свойство 2 на условната ентропия, като I(B,A)=0 само когато входът и изходът на канала са взаимно независими или когато връзката е прекъсната. 2. I(B,A) ≤H(A). Това следва от условната ентропия, като I(B,A) = H(A), само когато последователността αn се определя еднозначно по изходната последователност βn. Това е възможно в каналите със смущения. Това лесно се доказва като се положи в (3.16) p(βjn) =p(αni,), при i=j p(αni, βjn ) = 0, при i≠j 2а. I (A, A) = H (A). Това е частен случай на предишното свойство. Съгласно това свойство ентропията на източника може да се разглежда като количество информация (определено за един символ), съдържащо се в създаваните последователности символи (при неограничено увеличаване на дължината им). Затова понякога ентропията се нарича собствена информация. 3. I (B,A) = I(A,B) = H(B) – H(B/A). Това следва от факта, че формула (3.16) няма да се измени ако αni, и βjn сменят местата си. Условната ентропия на изхода при известна входна последователност H(B/A) има физически смисъл като количество информация в изходната последователност от импулси (съобщение) за смущенията в канала. Изходната последователност ще се различава от входната само поради действието на смущенията. Първите две свойства на количеството информация се съгласуват с интуицията. Информацията, пренесена по канала не може да бъде повече от информацията, създадена от източника. Тя е равна на нула само при прекъсване на връзката, когато входните и изходните последователности са независими. Третото свойство е по-малко очевидно и твърди за известна симетрия на входа и изхода. То позволява величината I(B,A) да се нарича взаимна информация между А и В и обяснява “равноправното” записване на А и В в израза. Не трябва да се разбира това свойство като тъждественост на условията за пренасяне на информацията в право и обратно направление. Също така то не означава, че неопределеността на входа при известен изход е равна на неопределеността на изхода при известен вход (защото равенството H(A/B) = H(B/A), по-точно казано, е неверно). На фиг. 2.3 е показан процесът на пренасяне на информация по канал със смущения. Източникът на входни символи създава средно количество информация, равно на Н(А); поради смущенията част от тази информация се губи в канала Н(А/В) и се създава лъжлива (неправилна) информация Н(В/А). Количеството информация на изхода (пълното, а не относително източника!) е равно на сумата от количеството информация I(A,B), пренесено по канала и лъжливата информация H(B,A), създавана от смущенията. Фиг. 2.3. Пренасяне на информация по канал със смущения Ако е известна скоростта vk, броя на символите, постъпващи в канала за секунда може да се определи скоростта на пренасяне на информацията по канала като количество информация, пренесено в единица време в канала I′(B, A) = vk I(B,A) Тази величина, както и производителността се измерва в bit/s. По-горе бе дефинирано количеството информация I(B,A), пренесено по канала. Аналогично може да се определи количеството информация, съдържащо се във всякакъв наблюдаван обект В, относно интересуващите ни сведения А. В примерите 3 и 4 в 2.1 може да се смята, че В е печатния текст, а А – сведения за събитията в света. Тогава при работа на маймуната на компютъра I(B,A) = 0, а при работа на журналиста I(B.A) > 0. Забелязва се, че благодарение на свойство 1 величината I(B,A) може да бъде параметър, измерващ статистическата връзка между обектите А и В. В много случаи тази величина е по-удобна от коефициента на корелация, който измерва само степента на линейна зависимост. Винаги трябва да се помни, че количеството информация определя свойствата на входните и изходните последователности на канала, а не на отделните символи. Несъобразяването с този факт може да доведе до неправилни изводи. Може да се дефинира понятието условно количество информация I(A,A/Г) като количество информация В относно А при известно условие Г. За разлика от условната ентропия условното количество информация може да бъде по-голямо или по-малко от безусловното. Може да се оцени количеството информация, съдържащо се в учебна лекция по квантова физика, четена пред ученици от началните класове, пред студенти-физици и пред учени-физици от БАН. Нека В е съдържанието на лекцията, А – множеството научни факти, Г – сведенията от квантовата физика, известни на аудиторията. Тогава за детската аудитория поради малкото предварителни знания I(B,A/Г) = 0; за студентите, достатъчно подготвени за слушането на такива лекции I(B,A/Г) ще бъде много голяма величина; за учените, които добре знаят съдържанието на лекцията пак I(B,A/Г) ≈ 0. В много случаи на изхода на канала се поставят устройства, преобразуващи последователностите от изходни символи в други символи. Пример за това е декодирането в персоналните компютри. В теорията на информацията се доказва, че при всякакви преобразования на изхода, количеството на пренесената по канала информация не се увеличава. Това не означава, че такива преобразования са вредни, защото в много случаи те са необходими за вземане на окончателно решение или опростяване на изходната последователност. Ако преобразуването е обратимо, то количеството информация за входните последователности остава постоянно. Изтегляне 462.5 Kb. Сподели с приятели:
|