1. Информация,съобщения,сигнал,система

може да се означи честотата на настъпване на дадено събитие.

Когато броят на опитите расте и клони към безкрайност, ка­то експериментите се провеждат в неизменна обстановка, се за­белязва, че ﾵ клони към една устойчива граница ﾵ->P. Това е количественият израз на вероятността за настъпване на дадено събитие.

При хвърлянето на хомогенен зар с идеална кубична форма няма основание той да се обърне по-голям брой пъти с шестица­та нагоре, отколкото с която и да е от останалите страни. Тогава

P₁=M₁/N=P₃=M₃/N=… P₆=M₆/N=P=1/6=1/n (4.2)

и казваме, че събитията М₁ доМ₆ са равновероятни.

Подобен е случаят с вероятностите за обръщане на монетата на герб или стотинка.

Достатъчно е да се наруши геометрията или хомогенността на зара, за да се наруши и горното равенство на вероятностите. Па­дането на определена страна ще бъде неравновероятностно съ­битие. Тогава

P₁≠ P₂≠ P₃ ≠…≠P₆. (4.3)

Сумата на вероятностите и за двата случая е P₁+P₂+…+P₆=1.

Кога едно събитие ще се запомни за цял живот или ще при­влече вниманието? В ежедневната практика се казва — това, кое­то ни изненадва, което е неочаквано. Или с други думи — това събитие, вероятността за настъпването на което е по-малка. За­това и съобщението за него е от особено значение. Прието е да се казва, че то носи пове информация. Тази зависимост е била описана математически от Клод Шенон.По неговата известна формула количеството информация I, кое­то се съдържа в съобщението за настъпването на събитието с пред­варителна (априорна) вероятност P₁, е

I=log P2/P1, (4.4)

където P₂ е вероятността за настъпване на събитието след по­лучаването на съобщението. Нарича се апостериорна вероятност.

Поставянето на апостериорната вероятност в израза отразя­ва реалното състояние на нещата. Ако каналът е идеален и P1=1, като се вземе под внимание, че log 1 = 0,

I=log P₂-log P₁=-log P_1. (4.5)

В зависимост от основата на логаритъма се получават раз­лични дименсии за количеството информация. Ако се работи с логаритъм при основата 2, измерването ще стане в двоични еди­ници - bit.

За количеството информация се получава I≥0. То е равно на 0 при P₁=1, т.е. при напълно известни събития, за които няма друг изход освен познатия, известния. На съвременния човек не му прави никакво впечатление съобщението, че Земята се вър­ти. А някога за предаването на това съобщение се е заплащало с живота. . . За реален канал 0<Р₂<1 и тогава количеството информация в приемния край ще бъде по-малко.

Писмеността, буквено-цифровите съобщения са типични ди­скретни съобщения. Такива са и телеграфните съобщения, инфор­мацията, обменяна между изчислителните машини. Във всички тези случаи информацията може да се кодира чрез определен брой- символи и разреди. Ако се опитаме да направим елемент с 10 устойчиви състояния, бихме предавали числото 1239 чрез 4 импулса в определена последователност и с амплитуда, съответствуваща на стойността на цифрата в разреда. В изчислителната тех­ника и в системите за връзка се използува изключително двоич­ният код.

Ако всички дискретни състояния са равновероятни, N е об­щият брой на възможните състояния, a P₁=1/N, то количеството информация, което носи съобщението при Р₂=1, е

I=-log₂P₁=-log₂ 1/N=log₂N, bit. (4.6)

При условие чe дискретното съобщение се кодира чрез код с равновероятни символи с m на брой състояния, трябва N≤rnⁿ , където n е броят на разредите на кода. Тогава

I=n log₂ m, bit. (4.7)

Това е изразът за количеството информация, дадено от Хартли.

Така например за предаване на всички букви, цифри и препи­нателни знаци, както и за подаване на служебни команди в ASCII. В него импулсите могат да приемат само две стойности -1 и 0. Тогава обшият брoй на комбинациите се определя от m=2 и n=8 и е N=2⁸=256

Ако се приеме, че всички букви в българската азбука са равно­вероятни, може по израза “I=n log₂ m, bit” да се пресметне какво количество информация се съдържа в дву, - три, - четири- и т. н. буквени думи. В този случай m=30, а n=2, 3, 4. Но това няма да отразява реал­ното състояние на нещата. В нашия, а и в който и да е друг език, не могат да съществуват думи от рода на ЬЬЬЬЬЬ, ВВВВВВ и други подобни. Истината е, че буквите се срещат с различна ве­роятност. За оценка на количеството информация, съдържаща се в съобщение, съставено от неравновероятни символи, е най-добре да се използува въведеното от Шенон понятие ентропия. Това е мярка за степента на неопределеност, която съществува в из­точник на информация. Нарича се още средно количество инфор­мация или средна големина на неопределеността у получателя до предаване на информацията от източника. В термодинамиката се използува същото понятие в аналогичен смисъл. Разликата е, че при хаотичното Брауново движение неопределеността се увели­чава, докато в теорията на информацията всеки следващ приет символ намалява неопределеността.

Нека азбуката, с която може да се кодира съобщението, да съдържа m на брой символа, като априорната вероятност за поя­вата на всеки от тях е P₁(s_j), където j=1,2, . . . , m. Тогава ен­тропията

H=-∑=P₁(S_j)log₂P₁(S_j),bit (4.8)

От този израз може да се направи изводът, че колкото е по-голяма вероятността за някакво събитие, толкова е по-малка ентро­пията, т.е. неопределеността. Той е очевиден и е в съответствие с разсъжденията в началото па рездела. Най-голяма е ентропия­та при равновероятни събития и се бележи с H_max, т.е. при P₁=P₂=…P_k, H=H_max.

Ефективността от източника на кодирането се проявява само ако се отчетат тези основни положения. За символите, които носят голяма информация, понеже са най-малко вероятни, трябва да се отдели най-голяма част от кодираното съобщeние. Шенон разглежда постройката nа писменото съобщение като случаен про­цес. Тези закономерности са били почувствувани от Самуел Морз при създаването на телеграфната азбука, която носи неговотo име. Той преброява използуваnите букви в една каса в печатни­ца. На най-вероятната буква определя най-малко време за пре­даване. Най-малко вероятната сe предава най-трудно и за най- дълго време. А най-често срещаната буква - Е на английски - се кодира с най-късата комбинация. Така се решава въпросът за предаване на съобщението за по-кратко време, т. е. за създаване­то на оптимални кодове.

Информационният излишък е важна количествена оценка, свързана със синтезирането на системи за обра­ботка и пренасяне на информация, тъй като пречи за тяхното ефекти­вно използуване. Това означава влагане на повече средства за тяхното изграждане и експлоатация при условие, че не са използуват пълноцен­но. Тогава възвръщаемостта на средствата се забавя и води до съотве­тни неблагоприятни последици.

Информационният излишък се определя с израза

R=1- H/H_max, (4.9)

където H е действителната ентропия;

H_max - максималната

Вече видяхме как се определят Н и H_max.

Излишъкът може да се използува за повишаване на достоверността при предаване на информация от една на друга система чрез защита от грешки. Това е характерно за шумоустойчивото кодиране, което позволява откриване и коригиране на грешно предадени символи. Об­стойните пояснения в писмени текстове и устни беседи съдържат също така излишък, и ако той е избран сполучливо, ще осигури най-добра цена за достоверността. Типичен пример е повтаряното на съобщени­ята по гарите, на важни изречения и думи от телефонни разговори и пр.

За кратък период от време се появяват няколко фундаментални работи, отнасящи се до основните положения на теорията на ин­формацията. Това са трудовете на Клод Шенон, Норберт Винер и акад. Колмогоров.

На първо място трябва да се постави статията на Клод Ше­нон „The Mathematical Theory of Communications", „Математическа теория на връзките", публикувана през 1948 г., с която 32-годишният изследовател става родоначалник на теория, дала пряко отражение върху развитието на науката и техниката до наши дни.

В какво се състои всеобхватността и широката приложимост на теорията,

предложена от Шенон? Универсалността на теорията на информацията идва от това, че тя поставя критерии за сравнение на различните методи, системи и канали за връзка, като изхожда от най-главния показател - шумоустойчивостта.

Нееднократно беше споменавано за шум и за борба с шумове­те. В технически смисъл шум е всяко изкривяване или друго сму­щение (пропадане на сигнал, интерференция на два сигнала, на­слагването на сигнали от два източника и т. н.), отличаващо се от полезния сигнал или съобщението, което се предава. Шумове­те винаги съществуват във всички системи за връзка. Те са основ­ният ограничаващ фактор в тези системи.

Сигналът и шумът са с еднаква физическа природа. Обаче в съвременните съобщителни системи, в изчислителната техника, автоматиката и др. борбата с шумовете не може да се води само по линията на повишаване на мощността. По-горе беше посоче­но, че съществуват смущения, които се дължат на нарушаване на физическата цялост на канала за връзка - например кратко­трайно разпадане на връзката или на загубата на няколко сигна­ла. Въпреки всичко това не трябва да се допуска пропадане или загуба на информация. Шенон доказва, че може да се достигне определена шумоустойчивост чрез подходящо кодиране на източ­ника и на канала за връзка. Той въвежда формулата, която изра­зява връзката между възможността за предаване на определено количество информация за единица време, наричана информа­ционна пропускателна способност или само пропускателна спо­собност и отношението сигнал/шум по канала за връзка. Тя е известна като закон на Шенон и има следния вид:

C=∆F log₂(1+P_c/P_ш), (4.10)

където ∆F е широчината на лентата на пропускане на канала (широчината на амплитудно-честотната му характеристика, в коя­то амплитудните изкривявания са в границите на приетите норми); Рс е мощността на сигнала и Р_ш е мощността на шума. Ако честотата се измерва в Hz и логаритъмът е при основа 2, дименсия­та на пропускателната способност е двоични единици /s или bit/s.

Не­обходимо е да се отбележи и значението на отношението сигнал/шум. То трябва да бъде голямо, т.е. мощността на източника да превишава значително мощността на шумовете, но това най-често е трудно да се постигне. Както беше посочено в предишната глава изразяването на P_c/P_ш става в логаритмичен мащаб с единиците децибели dB чрез зависимостта,

Отношението сигнал/шум определихме като динамичен обхват и е важна характеристика за сигналите и каналите при пренасянето на информа­ция. Изразяването на D в логаритмични единици чрез десетични логаритми не бива да се смесва с изразяването на количеството информация чрез логаритми при основа 2.

На фиг.4.1. е дадена обобщена схема на телекомуникационна система. В нея е отразен предложения от Клод Шенон .... за кодиране на източника и кодиране на канала за връзка.

Бе посочено, че е желателно да се работи с голям динамичен обхват, но това не винаги е възможно.В сателитните комуникации мощността на излъчване е ограничена от капацитета на слънчевите панели. Мощността на излъчване на сателитния телефон е ограничена от капацитета на батерията и санитарните норми за излъчваната мощност. Разстоянията между приемника и предавателя са стотици километри (а при сателитната телевизия 40000 км.) с наличието на шумове и смущения от най-различно естество.Затова решението е в изходящото кодиране на източника и на сигнала към канала за връзка. Типичен пример е преминаването от аналоговите към мобилни комуникационни системи,довело не само до намаляване на енергийните показатели,при многократно увеличение на отношение Р_с/Р_ш, но и разширяване на броя и вида на източниците, които потребителя може да използва.

Фиг.4.1.
В системата на фиг.4.1 означенията са:

ИИ - източник на информация;

КИ – кодиране на източника;

ОС/ЦОС/ - обработка на сигналите / в съвременните системи,предимно Цифрова Обработка на Сигналите/;

КК – кодиране на канала;

ДКК – декодиране на канала;

ДКИ – декодиране на източника;

ПИ – Получател на информацията;

Това е еднопосочна система - от точка в точка. Ако ПИ са голям брой -хиляди и милиони, това е типична система на разпръскане – радио и телевизия – от точка към много точки.

При мобилните комуникации системата е двупосочна. Тогава трябва да се начертае още една система огледален образ на начертаната. В мястото, точката където е ПИ трябва да се постави ИИ и да се формира обратния канал.

Какво представлява кодирането на източника например в телевизията? Това е преобразуването на светлинния сигнал от камерата в електрически сигнал,носител на информация за изображението. Акустичният сигнал се преобразува от микрофона в електрически сигнал за звука. В резултат на обработката (цифрова в съвременните телевизионни системи) се формира цифровия сигнал , в който е премахнат излишъка с прилагането на някой от известните стандарти. По този начин е възможно кодиране на канала, което означава сигналът, носител на информацията,да се обработи с цел шумоустойчиво кодиране и след това да се използва съответната модулация по стандартите за цифрова телевизия. Съответните кодирания на източника и канала и цифровата обработка позволяват в честотната лента на един аалогов телевизионен канал да се вместят и предадат 8 цифрови телевизионни канала,т.е. пропускателната способност е повишена 8 пъти.