Možda postoji bilo koji simbol abecede u položaju svakog simbola. A M.; Količina informacija na jednom poruci je jednaka prosječnoj vrijednosti podataka na svim abecednim znakovima. A M.:

Ukupni iznos informacija sadržanih u poruci iz n. Simboli su:

Ako svi likovi abecede A M. pojavljuju se sa jednakom verovatnoćom, onda sve p i \u003d p. Kao Σr I \u003d 1T. p \u003d 1 / m.

Formula u slučaju kada su svi simboli abecede jednaki, uzima oblik

I \u003d. n.*Dnevnik. 2 (m.).

Izlaz: shannonova formula u slučaju kada svi likovi abecede jednako tranzitni, prelazi u hartley formulu.

U općem predmetu, broj entropije H proizvoljnog sistema X. (slučajna varijabla) koja može biti u m. Različite države x 1, x 2, ... x m Sa verovatnoće p 1, str 2, ... P m izračunata Shannon formulom jednaka je

Podsjeti se na to p 1 + P 2 + ... + P M \u003d 1. Ako svi p. I isto, onda sav status sistema X. ekvivalent; u ovom slučaju p i \u003d 1 / m, a formula ide u hartley formulu: H (x) \u003d log 2 (m).

Komentar.Broj entropije sistema (slučajna varijabla) H. ne ovisi o tome što konkretno navodi x 1, x 2, ... x m može biti sistem, ali ovisi o broju m. ta stanja i verovatnoća p 1, str 2, ... P m Sa kojom sustav može biti u tim državama. To znači da su dva sistema u kojima je broj država jednako i vjerovatnoća ove države p 1, str 2, ... P m jednak (s tačnošću redoslijeda prijenosa), imaju jednaku entropiju.

Teorem.Maksimalna entropija H (x) Postiže se u slučaju kada su sve države sistema jednako jednako. To znači da

Ako x sistem može biti samo jedna država ( m \u003d 1.), tada je njena entropija jednaka nula.

Razmotrite sistem koji može poduzeti samo dvije države. x1 i x2 Sa verovatnoće p1 i p2.:

Broj entropije takvog sistema je jednak

H (x) \u003d - (1/2 * log 2 (1/2) + 1/2 * log 2 (1/2)) \u003d -Log 2 (1/2) \u003d Log 2 (2) \u003d 1

Taj se iznos uzima po jedinici mjerenja entropije (informacije) i naziva se 1 bit (1 bit).

Razmotrite funkciju

h (x) \u003d - (x * log 2 (x) + (l-x) * log 2 (l-x))

Područje njegove definicije - interval (0 ;1) , Lim H (x) \u003d 0 za h.-\u003e 0ili h.-> 1.

Raspored ove funkcije prikazan je na slici:

Funkcija rasporeda H (x) \u003d - (x * log 2 (x) + (l - x) * log 2 (l - x))

Ako odredite X kroz p 1., ali (1-x) kroz str.T. p 1 + P 2 \u003d 1; p 1, P 2 î (0; 1), h (x) \u003d h (p 1, p 2) \u003d - (p 1 * log 2 (p 1) + (p 2) * log 2 (p 2)) - entropijski sistem sa dve države; maksimum H. ostvaren na p 1 \u003d P 2 \u003d 0,5.

H (x) graf može se koristiti prilikom rješavanja sljedećih zadataka:

Zadatak 1. Postoje tri slučajne varijable x, y, z, od kojih svaka odnosi dvije vrijednosti s vjerojatnostima:

1. p (x \u003d x1) \u003d 0,5; P (x \u003d x2) \u003d 0,5;

2. p (y \u003d y1) \u003d 0,2; P (y \u003d y2) \u003d 0,8;

3. P (z \u003d z1) \u003d 0,3; P (z \u003d z2) \u003d 0,7.

Snimanje P (x \u003d x1) \u003d 0,5 znači da slučajna vrijednost x uzima vrijednost x1 s vjerovatnoćom od 0,5. Potrebno je organizirati entropiju ovih sistema u uzlaznim redoslijedom.

Odluka.

Entropija H (x) jednaka je 1 i bit će najveća;

Entropija H (y) jednaka je vrijednosti funkcije H (x), () na x \u003d 0,2, i.e. H (y) \u003d h (0.2);

Entropija h (z) \u003d h (0,3). Prema grafikonu H (x), može se utvrditi da je h (0,2)< h(0.3). Следовательно, H(Y) < H(Z) < H(X).

Napomena 1. Entropija sustava je veća, što je manje razlika između vjerojatnosti svojih država jedna od druge.

Na osnovu toga možemo zaključiti da je h (y)< H(Z).

Na primjer, ako postoje vjerojatnosti za X i Y sa tri države: za x (0,4; 0,3; 0,3), za y (0,1; 0,1; 0,8), očito je da je neizvjesnost sustava x veća od neizvjesnosti Y sistema: Potonji najvjerovatnije, stanje će se provesti, čija je vjerovatnoća od 0,8.

Entropija H (x) karakterizira stepen nesigurnosti sistema. Što je veća količina informacija primljena o informacionom sistemu, više informacija o sistemu, a manje neizvjesno njegovo stanje bit će za primatelja informacija.

Ako entropija sistema nakon primitka informacija postane jednaka nuli, to znači da je neizvjesnost nestala, sve entropije "pređe" u informacije. U ovom se slučaju kaže da su dobijene potpune informacije o X sistemu. Količina informacija stečenih potpunom pojašnjenjem stanja fizičkog sistema jednaka je entropiji ovog sistema.

Ako nakon prijema određene poruke, neizvjesnost X sistema postala je manje, ali uopće nije nestala, količina informacija sadržanih u poruci jednaka je povećanju entropije:

I \u003d H1 (x) - H2 (x),

gdje je h1 (x) i h2 (x) entropija sistema prije i nakon poruke, respektivno. Ako je H2 (x) \u003d 0, zatim je dobijena mjera nesigurnosti sustava nula i potpune informacije o sistemu.

Primer. Želite pogoditi broj bodova koji pada na kocku za igranje. Primili ste poruku da je broj bodova pao. Koju količinu informacija sadrži ovu poruku?

Odluka. Entropijski sistem "Igranje kocke" H1.jednaki Log 2 6.jer Kocka može nasumično uzimati šest jednak mogućidržave (1, 2, 3, 4, 5, 6). Primljena poruka smanjuje broj mogućih stanja do tri: (2, 4, 6), I.E. Entropijski sistem je sada jednak H2 \u003d Log 2 3. Povećanje entropije jednaka je broju dobivenih informacija I \u003d H1 - H2 \u003d Log 2 6 - Log 2 3 \u003d Log 2 2 \u003d 1 bit.

Na primjeru rastavljenog zadatka može se objasniti jedna od zajedničkih definicija jedinice jedinice - 1 bita: 1 bit je niz informacija koje za dva puta smanjuje neizvjesnost statusa sustava.

Nesigurnost diskretnog sistema ovisi o broju svojih država N.

Entropija prije primanja informacija H1 \u003d log 2 n. Ako, nakon primitka informacija, neizvjesnost se dva puta smanjila, onda to znači da je broj država postao jednak N / 2, a entropiju H2 \u003d log 2 n / 2. Broj primljenih informacija I \u003d H1 -H2 \u003d Log 2 N - Log 2 N / 2 \u003d Log 2 2 \u003d 1 bit.

Razmotrite nekoliko zadataka o korištenju Shannon i Hartley formule.

Zadatak 2.Može entropij sustava, koji uzima nasumično jednu od 4 države, je: a) 3; b) 2,1 c) 1,9 g) 1; e) 0.3? Odgovor na objasnite.

Odluka.Maksimalna moguća vrijednost entropije sistema sa 4 države dostiže se u slučaju kada su sve države jednake. Ova vrijednost prema hartley formuli jednaka je zapisa 2 4 \u003d 2 bita. U svim ostalim slučajevima, entropija sistema sa 4 države bit će manja od 2, prema tome, moguće vrijednosti entropije iz gore navedenih mogu biti vrijednosti od 1,9, 1, 0,3.

Zadatak 3.Funkcija H (x) \u003d -x * log 2 (x) je postavljena - (1-x) * log 2 (1-x). Postavite sljedeće vrijednosti u uzlaznim redoslijedom: h (0.9), h (0.85), h (0.45), h (0.2), h (0.15).

Odluka.Koristite grafikon funkcije (3.5). Najveća vrijednost bit će H (0,45), najmanju vrijednost - h (0,9), zatim su u porastu vrijednosti h (0,15) i h (0.85) \u003d h (0,15); H (0.2). Odgovor: h (0.9)< H(0.15)=H(0.85)< H(0.2) < H(0.45). É

Zadatak 4.Poruke se prenose preko veze: a) "start_b_10"; b) loancha_1_v0. Uporedite iznos informacija u prvoj i drugoj poruci.

Odluka.Prva i druga poruka sastoje se od istih znakova: drugi se dobiva od prvog kao rezultat permutacije ovih likova. U skladu sa Schannonovom formulom, ove poruke sadrže istu količinu informacija. Istovremeno, prva poruka donosi smislene informacije, a druga je jednostavan skup znakova. Međutim, u ovom slučaju možemo reći da je druga poruka "šifrirana" prva opcija, a samim tim i količina informacija u obje poruke je ista.

Zadatak 5.Dobive se tri različite poruke A, B, C:

A \u003d "Dolazak u deset sati"; B \u003d "dolazak u deset sati nula minuta"; C \u003d "Dolazak točno deset sati." Koristeći pristup Entropiju Schannon, uporedite iznos informacija sadržanih u ovim porukama.

Odluka.Označite iznos informacija u porukama A, B, C kroz I (A), I (B), I (C), respektivno. U smislu "sadržaja", ove su poruke potpuno iste, ali isti se sadržaj izražava korištenjem različitog broja znakova. U ovom slučaju, svi simboli poruke A su sadržani u poruci B i C, poruka C \u003d A + "tačno", b \u003d a + "nula minuta"; U skladu sa Shannonovom pristupom, dobivamo: i (a)< I(C) < I(B).

Naš se svijet temelji na tri komponente: supstanci, energiju i informacije. Koliko u svijetu tvari, energije i informacija? Da li je moguće mjeriti ih i kako tačno? Znamo kako izmjeriti količinu tvari i energije. Ali šta je sa informacijama? Da li je moguće meriti?

Ranije je napomenuto da postoji nekoliko pristupa za procjenu broja informacija. Sada ćemo ostati detaljno na jednom od njih.

Svaka poruka bit će informativna ako nadopunjava ljudsko znanje, I.E. Smanjuje neizvjesnost njegovog znanja.

Usredni događaji

Primjer 1.

Na primjer, prilikom bacanja novčića, pokušavamo pogoditi na kojoj će strani pasti. Jedno od mogućnosti ishoda je moguće: novčić će biti u položaju "Orao" ili "Rush". Svaki od ova dva događaja bit će ekvivalentan, i.e. niko od njih nema prednosti na druge. Prije bacanja novčića, niko ne može znati kako to padne, i.e. Postoji neizvjesnost znanja. Nakon pojave događaja, naprotiv, postoji potpuna sigurnost, jer bacanje prima vizuelnu poruku o položaju novčića, koji zauzvrat, dva puta smanjuje neizvjesnost njegovog znanja, jer je jedan od dva ravnotežna događaja dogodilo se.

Primer 2.

Drugi primer je situacija sa šesterokutnom kockom, I.E. Prije bacanja, niko ne može znati koja će strana pasti. U ovom slučaju postoji prilika za postizanje jednog rezultata šest ekvivalenta. Stoga će prije bacanja neizvjesnosti znanja o bacanju biti jednaka 6, nakon bacanja, to će se smanjiti tačno 6 puta, jer je to 6 ekvivalentnih događaja koji se mogu pojaviti.

Primjer 3.

Razmotrite primjer gdje se pripremaju 40 ulaznica za ispit. Verovatnoća događaja koji će se dogoditi prilikom povlačenja karte bit će jednak 40. I ti će događaji biti jednaki. Istovremeno, neizvjesnost znanja učenika prije izbora ulaznice bit će jednaka 40. Prema tome, neizvjesnost znanja nakon što je student uzela kartu. Pitamo da li ovaj pokazatelj ovisi o broju izdužene karte. Ne, jer su događaji jednako).

Nakon analize svih gore razmatranih primjera, može se zaključiti da je veći početni broj mogućih ekvivalentnih događaja, što više vremena nesigurnost znanja opada, a više informacija će biti sadržane u izvještaju eksperimenta.

Događaji koji nisu ravnoteže

Razmislite kao primjer govorni jezik. Obraćamo se činjenicama dokazanog istraživanja, što pokazuju da na svim kolaborativnim jezicima neka se slova događaju mnogo češće od drugih. Rezultati istraživanja potvrđuju da 1.000 dolara slova na različitim suradničkim jezicima čini različit broj ponavljanja. Kao primjeri u tablici prikazuju neka slova na ruskom i engleskom jeziku:

Slika 1.

Pored toga, verovatnoća pojavljivanja pojedinih slova ovisit će o tome koja se pisma koriste pred njima. Dakle, na ruskom nakon samoglasnika, mekani znak nikada ne može podnijeti, kao i riječima, četiri samoglasnika se ne koriste itd. Izgovorni jezici u pravilu imaju vlastite karakteristike i obrasce. Zbog toga je količina informacija sadržanih u porukama bilo kojeg kolokvijalnog jezika neprihvatljiva za procjenu Hartelley Formule, koja se koristi u abecednom pristupu procjeni informacija i karakteristična je za primjere sa ekvivalentnim događajima (primjeri sa novcem i kockom i kockom ).

Kako odrediti koliko informacija sadrži, na primjer, tekst romana "Rat i mir", ili freske i platno velikih italijanskih umjetnika ili ljudskog genetskog kodeksa? Odgovori na ta pitanja i slična nauka još nisu poznati i, u cijeloj vjerojatnosti, neće biti poznati uskoro. Međutim, svi su zainteresirani, da li je moguće objektivno procijeniti iznos informacija? Zadatak ove vrste uključuje sljedeći primjer.

Kako saznati da li su ekvivalentne poruke "prva će izaći iz zgrade" i "Prvi će izaći iz zgrade"? Na ovo pitanje nema nedvosmislenog odgovora. Sve će zavisiti od kakve zgrade govorimo. Ako je to, na primjer, izgradnja ginekološke klinike, tada je vjerojatnost dobivanja prve žene vrlo visoka, ako je to vojna kasarna, tada će vjerojatnost da prvo izlaziti za muškarca bit će viši nego za ženu , ali ako je ovo bio kino zgrada, tada će vjerojatnosti izlaze prvo za muškarca i žene će biti iste.

Procjena broja informacija. Formula Shannon

Da bi se riješili problemi ove vrste, koristi se ukupna procjena broja informacija koje su predložili američki naučnici Claude Shannon 1948. godine Stvorena formulom za određivanje broja informacija može uzeti u obzir moguću nejednaku vjerojatnost poruka sadržanih u skupu. Shannon Prilikom stvaranja formule koja se koristi u matematici i hidrodinamici vjerovatnoća mjera neizvjesnosti (nazvana entropija) Da bi se u potpunosti procijenila status sistema koji se proučava i dobijaju najviše moguće informacije o procesima u ovom sistemu. Ova procjena broja informacija u osnovi je probabilistička mjera, a kao procjena neizvjesnosti odražava sposobnost bilo kojeg izvora da pokaže sve nove i nove države i na taj način daju informacije.

Definicija 1.

Shannon je definisao entropija. Kao prosječna logaritamska funkcija mnogih vjerojatnosti mogućih stanja sustava (mogući ishodi iskustva). Za izračunavanje entropije Shannon predložio je sljedeću jednadžbu:

$ H \u003d - (p_1log_2p_1 + p_2log_2p_2 + ... + p_nlog_2p_n) $) $

gdje je $ p_i $ vjerojatnost pojave u iznosu od $ i $ -th događaja u skupu od $ n $ događaja.

Tada iznos informacija dobivenih kao rezultat iskustva neće biti drugačije od razlike između entropije sustava do ($ H_0 $) i nakon ($ H_1 $) iskustvo:

Štaviše, ako je nesigurnost kao rezultat iskustva u potpunosti isključena, imamo:

$ I \u003d \\ sigma (p_ilog_2p_i), i \u003d 1, \\ točke, n $.

Razmotrite primjer koji potvrđuje upotrebu ove teorije ove kanan u praksi.

Primjer 4.

Pescari i pamuk živi u jezeru. Izračunao je broj pojedinaca u svakoj populaciji (Peskaza - 1.500 $, a PARME - 500 $). Potrebno je odrediti koliko informacija sadrži u izvještajima koje je ribar uhvatio pijesak, srušeno, u općim ribama?

Odluka. Događaji ulova Pescara ili Smuća nisu jednaki, jer se diple u jezeru stanuju mnogo manje od Pescare.

Ukupan broj peskaze i prebivališta skrbi u jezeru:

$1500 + 500 = 2000$.

Definiramo vjerojatnost Pescar Catch:

$ p_1 \u003d \\ frac (1500) (2000) \u003d 0,75 $,

Definiramo vjerojatnost ulovača na seri:

$ P_2 - \\ frac (500) (2000) \u003d 0,25 $.

$ I_1 \u003d log_2 (\\ frac (1) (p_1)), I_1 \u003d log_2 (\\ frac (1) (p_2)) $

gdje je $ i_1 $ i $ i_2 vjerojatnost ulova pijeska i smutnje.

Iznos informacija sadržanih u maturi:

$ I_1 \u003d log_2 (\\ frac (1) (0,75)) "0,43 $ bit,

Količina informacija sadržanih u luku ulova od perma:

$ I_2 \u003d log_2 (\\ frac (1) (0,25)) »Bitovi $ 2.

Količina informacija sadržanih u poruci o ulovama ribe (odvlačenja ili ruč) izračunava Shannonovu formulu:

$ I \u003d - p_1log_2p_1 - p_2log_2p_2 $

$ I \u003d -0.75 \\ CDOT LOG_20,75-0,25 \\ CDOT LOG_20,25 \u003d -0,75 \\ CDOT (\\ frac (LOG0,75) (LOG2)) - 0,25 \\ CDOT (\\ frac (log0.25) (log2)) \u003d 0,604 bita "0,6 $ bit.

Odgovor: Poruka sadrži podatke o bitu od 0,6 USD.

Njegov daljnji razvoj teorije informacija primljenih u radovima Claud Shannona, američkog inženjera i matematike (1916. - 2001.). Shannon je jedan od tvorca matematičke teorije informacija. Njegova glavna djela posvećena su teoriji relej-kontaktnih shema, matematičke teorije komunikacije, kibernetike. K. Shannon je studirao pitanja prenosa informacija u telegrafskom, telefoniju ili emitovanju u obliku signala elektromagnetskih oscilacija. Jedan od zadataka koji je K. Shannon stavio ispred njega bio da odredi sistem kodiranja koji vam omogućava optimiziranje brzine i tačnosti prenosa informacija. Budući da je tokom ratnih godina služio u odjelu za šifriranje, gdje se bavio razvojem kriptografskih sustava, kasnije mu je pomogao u otvorenim metodama kodiranja s korekcijom grešaka. U svojim radovama, 1948-1949, K. Shannon definirao je iznos informacija kroz entropiju - iznos poznat u termodinamičkoj i statističkoj fizici kao mjeri poremećaja sustava i po jedinici broja informacija primljenih onoga što je naknadno prihvaćeno zvao bi malo (bit).

Za daljnju prezentaciju potrebno je koristiti neke koncepte teorije vjerojatnosti: slučajni događaj, iskustvo, verovatnoću događaja, slučajna vrijednost. U svijetu oko nas događaju se razni događaji, a možemo intuitivno temeljiti na iskustvu, procijeniti neke od njih što više moguće od drugih. Nasumično se naziva događaj koji se može dogoditi ili ne može koračati kao rezultat određenog testa, iskustva ili eksperimenta. Označavamo događaje velikih slova A, B, CTS itd. Kvantitativna mjera mogućnosti pojave nekog događaja vjerovatno će biti vjerojatnost i upućena je na ASP (a), p- od engleske vjerojatnosti. Što je više moguće pojava slučajnog događaja, veća je njena vjerojatnost: ako je najvažnije možda, zatim p (a)\u003e p (b). Uveden je koncept pouzdanog događaja - događaj koji će doći. Ovaj događaj označava da vjeruje da je njena vjerojatnost () \u003d 1. nemoguće je nazvati događaj koji se nikada neće dogoditi. Označava da vjeruje da je njena vjerojatnost () \u003d 0. za vjerojatnost svih ostalih događaja, nejednakost se vrši ()< p(A)

Za događaje se uvodi koncept iznosa i rada. Zbroj događaja A + B je događaj koji se sastoji u pojavljivanju događaja A ili B. Rad događaja A * B sastoji se u istodobnom pojavljivanju događaja A i B. AIB događaja nepotpunoAko se ne mogu okupiti kao rezultat jednog testa. Verovatnoća iznosa nepotpunih događaja jednaka je zbroju njihove vjerojatnosti. Ako i u nepotpunim događajima, zatim P (A + B) \u003d P (a) + P (B).

Događaji A1, A2, A3, ... Pretvori puna grupaAko, kao rezultat iskustva, dođe barem jedan od njih. Ako su događaji A1, A2, A3, ... Ljut su nerazumljivi i formiraju kompletnu grupu, a zatim zbroj njihovih vjerojatnosti P1 + P2 + P3 + ... .pn \u003d 1. Ako su i jednako čak, tada je vjerovatnoća svaka jednaka \u003d 1 / n, gdje je broj događaja. Vjerovatnostdogađaji su definirani kao odnos broja povoljnih događaja iskustva u ukupnom broju ishoda. Učestalostdogađaji su empirijsko približavanje njegove vjerojatnosti. Izračunava se kao rezultat niza eksperimenata kao odnosa broja eksperimenata u kojima je događaj došao do ukupnog broja eksperimenata. Sa velikim brojem eksperimenata (testova), frekvencija događaja posvećena je njegovoj vjerojatnosti.

K. Shannon, koristeći prilaz R. Hartelley, skrenuo je pažnju na činjenicu da prilikom prenose verbalne poruke, frekvencija (vjerojatnost) korištenja različitih slova abeceda nije ista: neka se slova vrlo često koriste, drugi su rijetki.

Razmislite o abecedi a m koji se sastoji od ISMS-a. Označavaju verovatnoćom (frekvencijom) izgledom I-tH simbola u bilo kojem položaju prenesene poruke koja se sastoji od n znakova. Jedan IMA simbol abecede nosi iznos informacija jednak -Log 2 (P i). Prije troškova logaritama "minus", jer količina informacija je ne-negativna i dnevnik 2 (x)<0 при 0

Možda postoji bilo koji lik abecede A M na mjestu svakog simbola; Iznos informacija na jednom simbolu poruke jednak je prosječnoj vrijednosti podataka na svim abecednim znakovima A M:

Ukupan broj informacija sadržanih u poruci iz N znakova je:

(3.2)

Ako se svi likovi abecede A M pojavljuju s jednakom verovatnoćom, a zatim sve p i \u003d str. Dakle, sonde I \u003d 1, a zatim p \u003d 1 / m.

Formula (3.2) u slučaju kada su svi abecede jednaki, uzimaju

Zaključak: Shannon Formula (3.2) u slučaju kada su svi simboli abecede jednako jednako jednako jednakoj formuli Hartley (2.2).

U općem predmetu, broj entropije HPC sistema X (slučajna varijabla), koja može biti u M raznim stanjima x 1, x 2, ... XM se pretvara u P 1, str. 2, ... Pm, izračunao Shannon Formula, jednak

(3.3)

Podsjetimo da su P 1 + P 2 + ... + P M \u003d 1. Ako su svi p isti, tada su sve države sustava X jednako jednako; U ovom slučaju, p I \u003d 1 / m, a formula (3.3) ulazi u hartley formulu (2,5): h (x) \u003d log 2 (m).

Komentar.Broj entropije sistema (slučajna varijabla) x ne ovisi o tome koji konkretno stanja x 1, x 2, ... XM može biti sustav, ali ovisi o broju država i od vjerojatnosti P 1, str. 2 ,. .. pm, sa kojim sistemom može biti u tim državama. To znači da su dva sistema u kojima je broj država jednako, a vjerojatnosti tih stanja P 1, str. 2, ... P M su jednake (s tačnošću narudžbe), imaju jednaku entropiju).

Teorem.Maksimalna entropija H (x) postiže se kada su sve države sistema jednako jednako. To znači da

(3.4)

Ako sustav x može biti samo u jednoj državi (m \u003d 1), tada je njena entropija nula. Razmotrite sistem koji može poduzeti samo dvije države X1 i X2 s vjerovatnoćom P1 i P1:

Broj entropije takvog sistema je jednak

H (x) \u003d - (1/2 * log 2 (1/2) + 1/2 * log 2 (1/2)) \u003d -Log 2 (1/2) \u003d Log 2 (2) \u003d 1

Ovaj iznos uzima se kao jedinica mjerenja entropije (informacije) i naziva se 1 bit (1 bit).

Razmotrite funkciju

h (x) \u003d - (x * log 2 (x) + (1-x) * log 2 (1-x)). (3.5)

Područje njegove definicije je interval (0; 1), Limh (x) \u003d 0, na x0 ili 1. Raspored ove funkcije prikazan je na slici:

Sl. 4. Raspored funkcije (3.5)

Ako označite x by p 1, a (1-x) putem p 2, top 1 + p 2 \u003d 1; p 1, p 2  (0; 1), h (x) \u003d h (p 1, p 2 ) \u003d - (P 1 * Log 2 (P 1) + (P 2) * LOG 2 (P 2)) - Entropija sistema sa dvije države; Maksimalno H postiže se za 1 \u003d p 2 \u003d 0,5.

H (x) graf može se koristiti prilikom rješavanja sljedećih zadataka:

Zadatak 1. Daju se tri slučajne varijable x, y, z, a svaka od kojih svaka zauzima dvije vrijednosti s vjerojatnostima:

P (x \u003d x1) \u003d 0,5; P (x \u003d x2) \u003d 0,5;

P (y \u003d y1) \u003d 0,2; p (y \u003d y2) \u003d 0,8;

P (z \u003d z1) \u003d 0,3; P (z \u003d z2) \u003d 0,7.

Snimanje P (x \u003d x1) \u003d 0,5 znači da slučajna vrijednost x uzima vrijednost x1 s vjerovatnoćom od 0,5. Potrebno je organizirati entropiju ovih sistema u uzlaznim redoslijedom.

Odluka. Entropija H (x) jednaka je 1 i bit će najveća; Entropija H (y) jednaka je vrijednosti funkcije H (x), vidi (3.5), atx \u003d 0,2, i.e.h (y) \u003d h (0.2); entropyh (z) \u003d h (0,3). Prema grafikonu H (x), može se utvrditi da je h (0,2)< h(0.3). Следовательно, H(Y) < H(Z) < H(X).

Napomena 1.Entropija sustava je veća, što je manje razlika između vjerojatnosti svojih država jedna od druge. Na osnovu toga možemo zaključiti da je h (y)< H(Z). Например, если для систем X и Y с тремя состояниями заданы вероятности: дляX{0.4; 0.3; 0.3}, дляY{0.1; 0.1; 0.8}, то очевидно, что неопределённость системыXбольше, чем неопределённость системыY: у последней, скорее всего, будет реализовано состояние, вероятность которого равна 0.8 .

Entropija H (x) karakterizira stepen nesigurnosti sistema. Što je veća količina informacija primljena o informacionom sistemu, više informacija o sistemu, a manje neizvjesno njegovo stanje bit će za primatelja informacija.

Ako entropija sistema nakon primitka informacija postane jednaka nuli, to znači da je neizvjesnost nestala, sve entropije "pređe" u informacije. U ovom slučaju, kaže se da su pribavljena puna informacija o sistemu X. Broj informacija stečenih sa potpunim pojašnjenjem stanja fizičkog sistema, jednako entropiji ovog sistema.

Ako nakon prijema određene poruke, neizvjesnost sustava je manje, ali uopće nije nestala, iznos informacija sadržanih u poruci jednaka su povećanju entropije:

I \u003d H1 (x) - H2 (x), (3.6)

gdje je h1 (x) i h2 (x) entropija sistema prije i nakon poruke, respektivno. Ako je H2 (x) \u003d 0, zatim je dobijena mjera nesigurnosti sustava nula i potpune informacije o sistemu.

Primjer. Želite pogoditi broj bodova koji pada na kocku za igranje. Primili ste poruku da je broj bodova pao. Koju količinu informacija sadrži ovu poruku?

Odluka. Entropija sistema "Igranja kocke" H1 jednaka je zabiljegu 2 6, jer Kocka može nasumično uzimati šest jednak mogućidržave (1, 2, 3, 4, 5, 6). Primljena poruka smanjuje broj mogućih stanja do tri: (2, 4, 6), I.E. Entropija sistema je sada jednaka H2 \u003d dnevnik 2 3. Povećanje entropije jednak je broju dobivenih informacija I \u003d H1 - H2 \u003d Log 2 6 - Log 2 3 \u003d 1 2 \u003d 1 2 \u003d 1 2 \u003d 1 2 \u003d 1 2 \u003d 1 2 \u003d 1 2 \u003d 1 2 \u003d 1 2 \u003d 1 2 \u003d 1 2 \u003d 1 2 \u003d 1 2 \u003d 1 2 \u003d 1 2)

Na primjeru rastavljenog zadatka može se objasniti jedna od zajedničkih definicija jedinice jedinice - 1 bita: 1 bit je količina informacija koje dva puta smanjuje neizvjesnost statusa sistema.Nesigurnost diskretnog sistema ovisi o broju njegovih država. Entropija prije primitka InformationH1 \u003d Log 2 N. Ako je, nakon primitka informacija, neizvjesnost se smanjila dva puta, tada to znači da je broj država postao jednak tona / 2, a entropyH2 \u003d log 2 n / 2. Broj pribijanja informacija \u003d H1 -H2 \u003d LOG 2 N-LOG 2 N / 2 \u003d Log 2 2 \u003d 1 bita.

Razmotrite nekoliko zadataka o korištenju Shannon i Hartley formule.

Zadatak 2.Može entropij sustava, koji uzima nasumično jednu od 4 države, je: a) 3; b) 2,1 c) 1,9 g) 1; e) 0.3? Odgovor na objasnite.

Odluka.Maksimalna moguća vrijednost entropije sistema sa 4 države dostiže se u slučaju kada su sve države jednake. Ova vrijednost prema hartley formuli jednaki je TOLOG 2 4 \u003d 2 bita. U svim ostalim slučajevima, entropija sistema sa 4 države bit će manja od 2, prema tome, moguće vrijednosti entropije od gore navedenih mogu biti vrijednosti od 1,9, 1, 0.3.

Zadatak 3.Funkcija je postavljena (x) \u003d -x * log 2 (x) - (1-x) * log 2 (1-x). Postavite sljedeće vrijednosti u uzlaznim redoslijedom: h (0.9), h (0.85), h (0.45), h (0.2), h (0.15).

Odluka.Koristite grafikon funkcije (3.5). Najveća vrijednost će biti H (0,45), najmanja vrijednost - h (0,9), a zatim uzlazne vrijednosti važe (0,15) iCH (0.85) \u003d h (0.15); H (0.2). Odgovor: h (0.9)

Zadatak 4.Poruke se prenose preko veze: a) "start_b_10"; b) "loancha_1_v0". Uporedite iznos informacija u prvoj i drugoj poruci.

Odluka.Prva i druga poruka sastoje se od istih znakova: drugi se dobiva od prvog kao rezultat permutacije ovih likova. U skladu sa Schannonovom formulom, ove poruke sadrže istu količinu informacija. Istovremeno, prva poruka donosi smislene informacije, a druga je jednostavan skup znakova. Međutim, u ovom slučaju možemo reći da je druga poruka "šifrirana" prva opcija, a samim tim i količina informacija u obje poruke je ista.

Zadatak 5.Dobivaju se tri različita postova, b, c:

A \u003d "Dolazak u deset sati"; b \u003d "Dolazak u deset sati nula minuta"; c \u003d "dolazak je točno deset sati." Koristeći pristup Entropiju Schannon, uporedite iznos informacija sadržanih u ovim porukama.

Odluka.Označite količinu informacija u porukama A, B, C KROMI (A), I (B), I (C), respektivno. U smislu "sadržaja", ove su poruke potpuno iste, ali isti se sadržaj izražava korištenjem različitog broja znakova. U ovom slučaju, svi simboli poruke A su sadržani u poruci B i C, poruka C \u003d A + "tačno", b \u003d a + "nula minuta"; U skladu sa Shannonovom pristupom, dobivamo: i (a)< I(C) < I(B).

Američki inženjer R. Hartley 1928. godine proces pribavljanja informacija koje se smatraju izborom jedne poruke iz konačne izmjene određenog postavljenog iz N. ekvivalentne poruke i količina informacija I.sadržani u odabranoj poruci, definiran kao binarni logaritam N. .

Formula Hartley:

I \u003d log2. N.

Pretpostavimo da morate pogoditi jedan broj iz niza brojeva od jedne do sto. Prema HARTLEY FORMULI, možete izračunati koliko informacija je potrebno za ovo: i \u003d LOG2100\u003e 6.644. Stoga se poruka o pravilno nagađanja sadrži iznos informacija, približno jednak 6.644 jedinica informacija.

Dajemo drugima primjeri ekvivalentnih poruka:

1. Prilikom bacanja kovanica: "Rusk je pao", "Orao je pao";

2. Na stranici knjiga: "Broj slova je jasan", "Broj slova slova".

Sada definišemo su ekvivalentne poruke "Prvi će izaći iz vrata zgrade. i "Prvi će izaći iz vrata zgrade čoveka". Nedvosmisleno odgovorite na ovo pitanje ne može. Sve zavisi od kakve zgrade govorimo. Ako je to, na primjer, stanica metroa, tada je vjerojatnost izlaska iz vrata prva za muškarca i ženu, a ako je to vojna kasarna, tada je za čovjeka ta vjerovatnoća takva verovatnoća od žena.

Za zadatke ove vrste američkog naučnika Claude Shannon Predloženo 1948. druga formula za određivanje broja informacija koje uzimaju u obzir moguću nejednaku verovatnoću poruka u setu.

Shannon formula:

I \u003d - ( p.1log2. p.1 + p.2 Log2. p.2 +... + p.N Log2. pn.),

Gde pi - verovatnoća da i.-E-poruka je istaknuta u setu od N. poruke.

Lako je vidjeti da ako vjerojatnosti p.1, ...,pn. jednaki, tada je svaki od njih jednak 1 / N.A Shannonov formula pretvara se u hartley formulu.

Claude Shannon odlučan informacije , kao uklonjena nesigurnost . Preciznije, primanje informacija je neophodan uvjet za uklanjanje nesigurnosti. Nesigurnost se pojavljuje u situaciji izbora. Zadatak koji je riješen tijekom uklanjanja neizvjesnosti je smanjiti broj opcija u razmatranju (smanjenje raznolikosti) i na kraju izbor jedne odgovarajuće situacije opcije od broja mogućih. Odluke neizvjesnosti omogućavaju da se informira rješenja i činu. Ovo je uloga upravljanja informacijama.

Zamislite da ste otišli u trgovinu i zamolili da vam prodamo žvakaće gume. Prodavačica koja, koja, recimo, 16 razreda žvakaće gume u stanju je u stanju neizvjesnosti. Ne može ispuniti vaš zahtjev bez više informacija. Ako ste naveli, recite, "orbita", a od 16 početnih opcija za prodavač sada smatra samo 8, dva puta ste smanjili nesigurnost (trčanje naprijed, recimo to smanjenje neizvjesnosti dva puta u skladu je sa dobivanjem 1 bita informacija ). Ako, bez pritvora, jednostavno je naznačio prst na prozoru trgovine ", ovo je ovo!", Neizvjesnost je u potpunosti uklonjena. Opet trčeći naprijed, recimo da je ova gesta u ovom primjeru obavijestila prodavač 4 bita informacija.

Situacija maksimalna nesigurnost Pritisne prisustvo nekoliko ujednačen Alternativa (opcije), I.E. Nijedna od opcija nije poželjnija. I ekvivalentnije opcije posmatrano, veća je neizvjesnost, to je teže napraviti nedvosmislen izbor i više informacija je potrebno da to uradi. Za N. Opcije Ova situacija opisana je sljedećom distribucijom vjerojatnosti: (1 / N.,1/ N., …,1/ N.} .

Minimalna nesigurnost jednaka 0. ova situacija puna izvjesnost , što znači da se iznosi izbor, a svi potrebni podaci se dobivaju. Distribucija vjerojatnosti za situaciju potpune sigurnosti izgleda ovako: (1, 0, ... 0).

Količina koja karakterizira količinu neizvjesnosti u teoriji informacija označena je simbolom. H. i ima ime entropija , preciznije informacijska entropija. .

Entropija ( H.) – mjera nesigurnosti , izraženo u bitovima. Takođe se može posmatrati entropija kao mjerite uniformnost distribucije slučajna varijabla.

Sl. 3.4 Ponašanje entropije za slučaj dve alternative

Na slici. 3.4 prikazuje ponašanje entropije za slučaj dvije alternative, prilikom promjene omjera njihovih vjerojatnosti ( P., (1-P.)).

Maksimalna vrijednost entropije doseže u ovom slučaju kada su obje vjerojatnosti jednake jedna drugoj i jednake su 1/2, nulta vrijednost entropije odgovara slučajevima ( P.0=0, P.1 \u003d 1) i ( P.0=1, P.1=0).

Broj informacija I. i entropy H. Karakteriziraju istu situaciju, ali sa vrlo suprotnih strana. Ja sam iznos informacija koje su potrebne za uklanjanje neizvjesnosti H. Po definiciji Leon Brilllyuan informacije su negativna entropija(negentropium) .

Kad se nesigurnost u potpunosti ukloni, broj primljenih informacija I. Jednako prvobitno postojeća nesigurnost H..

U slučaju djelomičnog uklanjanja neizvjesnosti, rezultirajuća količina informacija i preostala nepotrebna nesigurnost u iznosu od početne nesigurnosti. Ht + it \u003d h(Sl. 3.5).

Sl. 3.5 Komunikacija između entropije i broja informacija

Iz tog razloga, formule koje će biti predstavljene u nastavku za izračunavanje entropije H. su obje formule za izračunavanje broja informacija I.. kada je u pitanju potpuno uklanjanje nesigurnosti, H.mogu ih zamijeniti I..

Uglavnom, Entropija H. i iznos dobiven kao rezultat uklanjanja neizvjesnosti informacija I. zavise od početnog broja opcija koje se razmatraju N. i priori verovatnoću implementacije svakog od njih P:{p.0,p.1, …,pn-1), i.e. H \u003d F.(N.,P.). Izračun entropije u ovom slučaju se proizvodi prema Shannon formuli Predložio ga 1948. godine u članku "Teorija matematičke komunikacije".

PosebnoKada sve opcije lakši zvuk, Ovisnost ostaje samo na broju opcija koje se razmatraju, I.E. H \u003d F.(N.). U ovom slučaju, kanan formula uvelike je pojednostavljena i poklapa se sa formula Hartley , koji je američki inženjer upisao Ralph Hartley, prvo predložio 1928. godine, I.E. 20 godina ranije.

Shannonova formula ima sljedeći obrazac:

Minusni znak formule (2.1) ne znači da je entropija negativnu vrijednost. Objavljuje se činjenicom da pi£ 1 po definiciji, a logaritam manjih jedinica je negativna vrijednost. Uz svojstvo logaritama, tako da se ova formula može snimiti u drugoj verziji, bez minus prije iznos iznosa.

Izraz se tumači kao privatna količina informacija. To.Dobiveno u slučaju implementacije i.Opcija. Entropija u Shannonovoj formuli je prosječna karakteristika - matematičko očekivanje raspodjele slučajnih varijabla ( I.0,I.1, …,Ja n-1} .

Dajemo primjer izračunavanja entropije prema Shannon formuli. Neka se u nekoj instituciji sastav radnika distribuira na sljedeći način: 3/4 - žene, 1/4 - muškarci. Tada neizvjesnost, na primjer, na koga ćete ispuniti prvu, odlazak u instituciju, izračunat će se pored akcija prikazanih u tabeli. 3.1.

Tabela 3.1.

Već smo spomenuli da je hartley formula poseban slučaj Shannonove formule za ekvivalentne alternative.

Umjesto toga zamjena u formuli (2.1) pi to (u ekvivalentnom slučaju, nezavisno od i.) Vrijednost, dobivamo:

Dakle, Formula Hartley izgleda vrlo jednostavno:

Jasno slijedi da više alternativa ( N.), veća neizvjesnost ( H.). Logaritamacija zasnovana na 2 pruža broj opcija do jedinica mjerenja informacija - bita. Na slici 3.6 prikazuje ovisnost entropije na broju ekvivalentnih opcija odabira.

Sl. 3.6 Ovisnost o entropiji o broju opcija izbora ravnoteže (ekvivalentne alternative)

Da biste rešili obrnuti probleme kada je poznata nesigurnost ( H.) ili količina informacija dobivenih kao rezultat njegovog uklanjanja ( I.) I morate odrediti koliko jednako alternativno odgovara pojavu ove nesigurnosti, koristite obrnutu formulu Hartleyja, što izgleda još lakše:

Na primjer, ako je poznato da kao rezultat utvrđivanja činjenice da je Kolya Ivanov zainteresiran za drugi sprat, 3 bita podataka dobivena, broj podova u kući može se odrediti formulom (2.3) kao N \u003d23= 8Jetages.

Ako je pitanje sljedeće: "U kući 8 spratova, koliko smo informacije dobili, saznali da je Kolya Ivanov zainteresiran za drugi kat?" Potrebno je koristiti formulu (2.2): I \u003d.log2 (8) \u003d 3 bita.

Do sada smo dali formule za izračunavanje entropije (neizvjesnost) H.pokazuje to H. Mogu ih zamijeniti I.Jer iznos primljene informacije sa punim premještanjem nesigurnosti Neka situacija, kvantitativno jednaka početnoj entropiji ove situacije.

Ali nesigurnost se može ukloniti samo djelomično, dakle, iznos informacija IIzvedeno iz neke poruke izračunava se kao smanjenje entropije koja se dogodila kao rezultat primitkaovo poruke.

Za ekvivalentni slučajKorištenje za izračunavanje entropijske formule Hartley, dobivamo:

Druga jednakost prikazuje se na osnovu svojstava logaritama. Dakle, u ravnotežnom slučaju I. zavisi od koliko puta Iznos mogućnosti odabira koji se razmatraju se promijenilo (raznolikost razmatranja).

Na osnovu (3.5) možete povući sljedeće:

Ako, onda - potpuno uklanjanje nesigurnosti, broj informacija primljenih u poruci jednak je neizvjesnosti koja je postojala prije primanja poruke.

Ako se, tada nesigurnost nije promijenila, stoga nije bilo podataka.

Ako, onda \u003d\u003e,

ako, onda \u003d\u003e.

Oni. Broj primljenih informacija bit će pozitivna vrijednost ako kao rezultat priminja poruke, broj alternativa koji se razmatra, i negativan, ako je više.

Ako je broj alternativa koji se razmatra kao rezultat primanja poruke, ja sam prepolovljen, I.E. I.\u003d log2 (2) \u003d 1 bit.Drugim riječima, dobivanje 1 bita informacija isključuje iz razmatranja polovine ekvivalentnih opcija.

Uzmite u obzir kao primjer iskustva sa palubom od 36 karata (Sl.3.7).

Sl. 3.7 Ilustracija za iskustvo sa palubom od 36 karata

Neka neko izvadi jednu karticu s palube. Zanima nas koja je jedna od 36 karata izvadila. Početna nesigurnost, izračunata formulom (3.2), jeste H \u003d.log2 (36) @ 5,17 bit. Očekivana karta govori nam neke informacije. Koristeći formulu (3.5), utvrđujemo koliko informacija primamo iz ovih poruka:

Opcija A. "Ovo je karta crvenog odijela."

I.\u003d Log2 (36/18) \u003d Log2 (2) \u003d 1bit (crvene kartone u poluvremenu polovine, nesigurnost se smanjuje za 2 puta).

Varijanta B. "Ovo je platforma vrhunca".

I.\u003d Log2 (36/9) \u003d LOG2 (4) \u003d 2 bita (vršne kartice čine četvrtinu paluba, neizvjesnost se smanjila za 4 puta).

Opcija C. "Ovo je jedno od starijih kartica: prstenovi, damo, kralj ili as."

I.\u003d Log2 (36) -Log2 (16) \u003d 5,17-4 \u003d 1,17 bita (nesigurnost se smanjila više od dva puta, stoga je iznos dobivenih informacija veći od jednog bita).

Varijanta D. "Ovo je jedna kartica od palube."

I.\u003d log2 (36/36) \u003d log2 (1) \u003d 0 bita (nesigurnost se nije smanjila - poruka nije informativna).

Eksplodiment E. "Ovo je vrha dame."

I.\u003d Log2 (36/1) \u003d Log2 (36) \u003d 5.17 bita (nesigurnost u potpunosti uklonjena).

Zadatak 1.Koju će iznos informacija sadržavati vizuelnu poruku o boji pokvarene kugle, ako se 50 bijela, 25 crvenih, 25 plavih kuglica nalazi se u neprozirskoj torbi?

Odluka.

1) Ukupne kuglice 50 + 25 + 25 \u003d 100

2) Vjeročanosti lopte 50/100 \u003d 1/2, 25/100 \u003d 1/4, 25/100 \u003d 1/4

3)I. \u003d - (1/2 LOG21 / 2 + 1/4 LOG21 / 4 + 1/4 LOG21 / 4) \u003d - (1/2 (0-1) +1/4 (0-2) +1/4 (0 -2)) \u003d \u003d 1,5 bita

Zadatak 2. Košara leži 16 kuglica različitih boja. Koliko informacija je poruka koju imate bijelu kuglu?

Odluka. Jer N \u003d 16 lopti, a zatim i \u003d log2 n \u003d log2 16 \u003d 4 bita.

Zadatak 3.U košarici lažu crno-bijele kuglice. Među njima18 crne kuglice. Poruka koju je uzeta bijela kuglica, nosi 2 bita informacija. Koliko kuglica u korpi?

1) 18 2) 24 3) 36 4)48

Odluka. Sinnon pronalazimo verovatnoću da dobijete belu kuglu prema Shannonu: LOG2N \u003d 2, n \u003d 4, dakle, verovatnoća dobijanja bele posude je 1/4 (25%), a verovatnoća pribavljanju crne lopte, respektivno, 3/4 (75%). Ako je 75% svih crnih kuglica, njihov broj 18, zatim 25% svih bijelih kuglica, njihov broj (18 * 25) / 75 \u003d 6.

Ostaje da pronađe broj svih kuglica u košarici 18 + 6 \u003d 24.

Odgovor: 24 kuglice.

Zadatak 4.U nekoj zemlji je automobil od 5 znakova sačinjen od velikih slova (upotreba 30 slova) i decimalne cifre u bilo kojem redoslijedu. Svaki simbol je kodiran u istom i minimalno mogućim količini bitova, a svaki je broj isti i minimalno mogući bytes. Odredite količinu memorije potrebne za pohranu 50 brojeva automobila.

1) 100 bajta 2) 150 bajtova 3) 200 bajtova 4) 250 bajtova

Odluka. Broj znakova koji se koriste za kodiranje broja je: 30 slova + 10 cifara \u003d 40 znakova. Količina informacija koje nose jedan znak je 6 bita (2i \u003d 40, ali količina informacija ne može biti frakcionalni broj, stoga zauzimamo najbliži stupanj dvojka velikog broja znakova 26 \u003d 64).

Pronašli smo količinu informacija ugrađenih u svaki simbol, broj znakova u sobi je 5, pa 5 * 6 \u003d 30 bita. Svaki broj je 30 bita informacija, ali sa stanjem zadatka, svaki se broj kodira istin i minimalni mogući iznos bajtova, stoga moramo znati koliko bajta u 30 bita. Ako je podijeljen 30 do 8, dobit će se frakcijski broj, a morat ćemo pronaći cjelovit iznos bajta za svaki broj, pa pronalazimo najbliži multiplikator 8-ki, koji će premašiti broj bitova, to je 4 (8 * 4 \u003d 32). Svaki je broj kodiran sa 4 bajta.

Za skladištenje 50 brojeva automobila, trebat će vam: 4 * 50 \u003d 200 bajtova.

Izbor optimalne strategije u igri "Pogodite broj". Primanje maksimalnog broja informacija, izgrađen je izbor optimalne strategije u igri "pogodi da je broj" broj ", u kojem prvi učesnik čini cijeli broj (na primjer, 3) iz određenog intervala (na primjer, iz 1 do 16), a drugi bi trebao "pogoditi" namjeravani broj. Ako ovu igru \u200b\u200bsmatrate informacijama sa informativnog stajališta, početna nesigurnost znanja za drugi sudionika je 16 mogućih događaja (opcije misterioznih brojeva).

Uz optimalnu strategiju, interval broja uvijek treba da se uvek ne podijeli, a zatim broj mogućih događaja (brojeva) u svakom dobivenim intervalima bit će isti i prilagođavanje intervala jednako je. U ovom slučaju, na svakom koraku, odgovor prvog igrača ("da" ili "ne") snose maksimalnu količinu informacija (1 bit).

Kao što se može vidjeti iz tabele. 1.1, nagađajući broj 3 u četiri koraka, na svakom od kojih se nesigurnost znanja drugog sudionika dva puta smanjila primanjem poruke od prvog sudionika koji sadrži 1 malo informacija. Dakle, iznos informacija potrebnih za pretresanja jednog od 16 brojeva, iznosili su 4 bita.

Provjerite pitanja i zadatke

1. Priori je poznat da je lopta u jednoj od tri urne: a, u ili C. Odredite koliko komadića informacija sadrži poruku da je u urnu V.

Opcije:1bit,1,58bit,2bit,2,25bit.

2. Verovatnoća prvog događaja je 0,5, a druga i treća 0,25. Koja je distribucija jednaka entropiji informacija. Opcije:0,5bit,1 bit,1,5bit,2bit,2,5bit,3bit.

3. Ovdje je popis zaposlenih u neku organizaciju:

Odredite iznos informacija koje nedostaju kako bi se ispunili sljedeći zahtjevi:

Nazovite Ivanov na telefon.

Zanima me jedan od vašeg zaposlenika, rođen je 1970. godine.

4. Koja od poruka bilježi više informacija:

· Kao rezultat uzimanja novčića (orla, žurbe), žurba je pala.

· Na semaforu (crveno, žuto, zeleno) je sada zeleno svjetlo.

· Kao rezultat oporavka kostije kosti (1, 2, 3, 4, 5, 6), pala je 3 boda.

Najrasprostranjenijih pri određivanju prosječnog broja informacija, koji se nalazi u porukama iz izvora najistačljivije prirode, dobili su pristup. Do Shannona. Razmotrite sljedeću situaciju.
Izvor Prenosi elementarne signale k. Različite vrste. Pratimo prilično dug segment poruke. Neka ima N.1 signala prvog tipa, N.2 signala drugog tipa, ..., N.k. Signali k.- vrstu i N.1 + N.2 + ... + N.k. = N. - ukupan broj signala u promatranom segmentu, f.1, f.2, ..., f.k. - frekvencije odgovarajućih signala. Kao povećanje dužine segmenta poruke, svaka od frekvencija teži fiksnom granici, i.e.
Lim. f.i. = p.i., (i. = 1, 2, ..., k.),
Gde ri. Možete razmotriti verovatnoću signala. Pretpostavimo da je primljen signal i.-Ho tip sa verovatnoćom ri.Sadrži - zapisnik p.i. Jedinice informacija. U segmentu koji se razmatra i.- Signal će se približiti NP.i. puta (pretpostavljamo da N. dovoljno velik), a opće informacije koje su dostavljene signalima ove vrste bit će jednaki radu NP.i. Dnevnik. ri.. Isto se odnosi na signale bilo kojeg drugog tipa, tako da je puna količina informacija dostavljena od strane segmenta iz N. Signali će biti približno jednaki

Da biste odredili prosječnu količinu informacija na jednom signalu, I.E. Specifični izvor informacija, morate podijeliti ovaj broj na N.. Uz neograničen rast, približna jednakost će se preći tačno. Kao rezultat toga, dobit će se asimptotski omjer - formula Shannona

Nedavno, postalo je manje uobičajeno od poznate ainsteinske formule E. = mc. 2. Pokazalo se da je formula koju je predložio Hartley poseban slučaj općenitije formule Shannona. Ako u Formuli Schanam da to prihvati
r1 = p.2 = ... = ri. = ... =p.N. = 1/N.T.

Minusni znak u Shannon formuli ne znači da je količina informacija u poruci negativna vrijednost. Objasni se činjenicom da je verovatnoća rPrema definiciji, manje od jedne, ali više nula. Od logaritama manje jedinice, I.E. Dnevnik. p.i. - Vrijednost je negativna, a zatim će proizvod vjerojatnosti na logaritam broja biti pozitivan.
Pored ove formule, Shannon je predložio apstraktnu komunikacijsku shemu koja se sastoji od pet elemenata (izvor informacija, predajnika, komunikacijskih linija, prijemnika i primatelja) i formulisane propusne širine, imunitet, kodiranje itd.
Kao rezultat razvoja teorije informacionih podataka i njegovih primjena, Shannonove ideje brzo su distribuirale svoj utjecaj na najčešće područja znanja. Viđeno je da je formula Shannona vrlo slična formuli entropije koja se koristi u fizici, izvedenu od Boltzmanna. Entropija označava stepen poremećaja statističkih oblika molekula. Entropija je maksimalna s ekvivalentnom raspodjelom molekula parametara kretanja (smjer, brzina i prostornog položaja). Vrijednost entropije se smanjuje ako je dogovoreno kretanje molekula. Kako se raspored naručivanja povećava, entropija teži nuli (na primjer, kada je moguća samo jedna vrijednost i smjer brzine). Prilikom izrade poruke (tekst) uz pomoć entropije, moguće je okarakterizirati stupanj krhke pokreta (natmjera) znakova. Tekst s maksimalnom entropijom je tekst s ravnomjernom raspodjelom svih slova Allabet, I.E. Uz besmislenu izmjenu slova, na primjer:hchchchchchkchchSBSM. Ako se stvarna vjerojatnost slova uzimaju u obzir prilikom izrade teksta, zatim u tako dobivenim "frazama" postojat će određenu urednost kretanja slova, reguliranom učestalošću njihovog izgleda: OTE OFRS-a aksh tshi.
Kada uzimaju u obzir verovatnoće kombinacija sa četiri slova, tekst postaje tako naređen da se, prema nekim formalnim funkcijama približava značajnim: Nije suho i Nepo i Corco. Razlog takvog naređenja u ovom slučaju su informacije o statističkim obrascima tekstova. U značajnim tekstovima, uredno, prirodno, još veći. Dakle, u frazu je došao ... Proljeće imamo još više informacija o kretanju (naizmjenično) slova. Dakle, tekst u tekstu povećava naručivanje i informacije koje imamo o tekstu, a entropija (mjera poremećaja) opada.
Koristeći razliku u formulama broja informacija Shannon i Etropy of the Boltzmann (različiti znakovi), L. Brillurian je okarakteriziran informacije kao negativna entropija ili nerentntropy.. Budući da je entropija mjera neređenog, tada informacije se mogu definirati kao mjerenje materijalnih sistema .
Zbog činjenice da se pojava formule poklapa, može se pretpostaviti da koncept informacija ne dodaje ništa na koncept entropije. Međutim, nije. Ako je koncept entropije ranije korišten samo za sisteme, tražeći termodinamičku ravnotežu, I.E. Do maksimalnog poremećaja u kretanju njegovih komponenti, koncept informacija takođe je obraćao pažnju na one sisteme koji ne povećavaju entropiju, već naprotiv, u stanju entropije , imaju tendenciju da ga dodatno smanji.

Teško je precijeniti važnost ideja teorije informacija u razvoju širokog raspona naučnih područja.
Međutim, prema K. Shannonu, svi neriješeni problemi ne mogu se riješiti takvim magičnim riječima kao što su "informacije", "entropij", "suvišnost".
Teorija informacija temelji se na vjerojatnosti, statističkim obrascima pojava. Daje korisnu, ali ne i svestrani aparat. Stoga mnoge situacije ne uklapaju u Shannonov informativni model. Nije uvijek moguće predodrediti popis svih državnih stanja i izračunati njihove vjerojatnosti. Pored toga, u teoriji informacija razmatra se samo formalna strana poruke, dok njegovo značenje ostaje na stranu. Na primjer, sistem radarskih stanica dovodi do promatranja zračnog prostora kako bi se otkrili sistem protivnika S.nakon čega slijedi opažanje, može biti u jednoj od dvije države x.1 - neprijatelj je, x.2 - Nema neprijatelja. Važnost prve poruke ne može se ocjenjivati \u200b\u200bpomoću vjerojatnog pristupa. Ovaj pristup i mjera zasnovana na izmu iz iznosa izražavanja, prije svega, "strukturna-sintaktička" strana svog transfera, tj. Izrazite odnos signala. Međutim, pojmovi "vjerojatnosti", "nesigurnosti", sa kojim je povezan koncept informacija, preuzmite postupak izbora. Ovaj se postupak može provesti samo ako postoje mnoge mogućnosti. Bez toga se mogu pretpostaviti uvjetima, prijenos informacija je nemoguć.