Este posibil să existe un simbol alfabet în poziția fiecărui simbol. Un M.; Cantitatea de informații de pe un singur simbol este egală cu valoarea medie a informațiilor despre toate caracterele alfabetului. Un M.:

Cantitatea totală de informații conținute în mesajul de la n. Simbolurile sunt:

Dacă toate caracterele alfabet Un M. apar cu probabilitate egală, apoi toate p I \u003d \u200b\u200bP. La fel de Σr i \u003d 1T. p \u003d 1 / m.

Formula în cazul în care toate simbolurile alfabetului sunt egale, ia forma

I \u003d. n.*Buturuga. 2 (m.).

Ieșire: formula lui Shannon, în cazul în care toate caracterele alfabetului sunt de tranzit în mod egal, intră în formula Hartley.

În cazul general, numărul de entropie h al unui sistem arbitrar X. (variabilă aleatorie) care poate fi în m. Statele diferite x 1, x 2, ... x m Cu probabilități p 1, P 2, ... P M calculată de Formula Shannon este egală

Amintiți-vă că p 1 + P 2 + ... + P M \u003d 1. Dacă toată lumea p. la fel, atunci tot starea sistemului X. echivalent; în acest caz p I \u003d \u200b\u200b1 / m, iar formula merge la Formula Hartley: H (x) \u003d log 2 (m).

Cometariu.Numărul de entropie a sistemului (variabilă aleatorie) H. nu depinde de ceea ce stă în mod specific x 1, x 2, ... x m poate fi un sistem, dar depinde de număr m. aceste stări și probabilitate p 1, P 2, ... P M Cu care sistemul poate fi în aceste stări. Aceasta înseamnă că două sisteme în care numărul de state este în mod egal și probabilitatea acestor state p 1, P 2, ... P M egală (cu o precizie a ordinii de transmisie), au entropie egală.

Teorema.Entropia maximă H (x) Se realizează în cazul în care toate statele ale sistemului sunt la fel de egale. Înseamnă că

Dacă sistemul X poate fi doar o stare ( m \u003d 1.), atunci entropia ei este egală zero.

Luați în considerare un sistem care poate lua doar două state. x1. și x2. Cu probabilități p1. și p2.:

Numărul entropiei unui astfel de sistem este egal

H (x) \u003d - (1/2 * log 2 (1/2) + 1/2 * log 2 (1/2)) \u003d -Log 2 (1/2) \u003d log 2 (2) \u003d 1

Această sumă este luată pe unitate de măsurare a entropiei (informații) și se numește 1 bit. (1 bi).

Luați în considerare o funcție

h (x) \u003d - (x * log 2 (x) + (l-x) * log 2 (L-x))

Zona definiției sale - interval (0 ;1) , LIM H (X) \u003d 0 pentru h.-\u003e 0i. h.-> 1.

Programul acestei caracteristici este prezentat în imagine:

Funcția de program H (x) \u003d - (x * log 2 (x) + (l - x) * log 2 (L - X))

Dacă desemnează x prin p 1., dar (1-X) prin p 2.T. p 1 + P 2 \u003d 1; p 1, P 2 Î (0; 1), h (x) \u003d h (p1, p 2) \u003d - (P 1 * log 2 (P 1) + (P 2) * Log 2 (P 2)) - sistemul de entropie cu două state; maxim H. realizat la p 1 \u003d P 2 \u003d 0,5.

Graficul H (X) poate fi utilizat la rezolvarea următoarelor sarcini:

Sarcina 1. Există trei variabile aleatorii x, y, z, fiecare dintre care are două valori cu probabilități:

1. P (x \u003d x1) \u003d 0,5; P (x \u003d x2) \u003d 0,5;

2. p (y \u003d y1) \u003d 0,2; P (y \u003d y2) \u003d 0,8;

3. p (z \u003d z1) \u003d 0,3; P (z \u003d z2) \u003d 0,7.

Înregistrarea P (x \u003d x1) \u003d 0,5 înseamnă că valoarea aleatorie X ia valoarea x1 cu o probabilitate de 0,5. Este necesar să se organizeze entropia acestor sisteme în ordine ascendentă.

Decizie.

Entropia H (X) este egală cu 1 și va fi cea mai mare;

Entropia H (Y) este egală cu valoarea funcției H (X), () la x \u003d 0,2, adică H (y) \u003d h (0,2);

Entropia H (z) \u003d h (0,3). Conform graficului H (X), se poate determina că H (0,2)< h(0.3). Следовательно, H(Y) < H(Z) < H(X).

Nota 1. Entropia sistemului este cea mai mare, cu atât mai puțină diferență dintre probabilitățile statelor sale una de cealaltă.

Pe baza acestui lucru, putem concluziona că H (Y)< H(Z).

De exemplu, dacă există probabilități pentru X și Y cu trei stări: pentru x (0,4; 0,3; 0,3), pentru y (0,1; 0,1; 0,8), este evident că incertitudinea sistemului X este mai mare decât incertitudinea Din sistemul Y: acesta din urmă cel mai probabil, starea va fi implementată, probabilitatea căreia este de 0,8.

Entropia H (X) caracterizează gradul de incertitudine a sistemului. Cu cât este mai mare cantitatea de informații primite despre sistemul de informații, cu atât mai multe informații despre sistem și cu atât statul său mai puțin incert va fi destinatarului informațiilor.

În cazul în care entropia sistemului după primirea informațiilor devine egală cu zero, aceasta înseamnă că incertitudinea a dispărut, toate entropiile "încrucișate" în informații. În acest caz, se spune că s-au obținut informații complete despre sistemul X. Cantitatea de informații dobândite cu clarificarea deplină a stării sistemului fizic este egală cu entropia acestui sistem.

Dacă după primirea unui anumit mesaj, incertitudinea sistemului X a devenit mai mică, dar nu a dispărut deloc, cantitatea de informații conținute în mesaj este egală cu creșterea entropiei:

I \u003d h1 (x) - H2 (x),

unde H1 (x) și H2 (x) este entropia sistemului înainte și după mesaj, respectiv. Dacă H2 (x) \u003d 0, atunci măsura incertitudinea sistemului este zero și informațiile complete despre sistem a fost obținut.

Exemplu. Vrei să ghicești numărul de puncte care cade pe un cub de joc. Ați primit un mesaj că numărul de puncte a scăzut. Ce cantitate de informații conține acest mesaj?

Decizie. Sistemul de entropie "CUBE" H1.egal Log 2 6.deoarece Cubul poate lua în mod aleatoriu șase egal posibilstatele (1, 2, 3, 4, 5, 6). Mesajul primit reduce numărul de stări posibile până la trei: (2, 4, 6), adică Sistemul de entropie este acum egal H2 \u003d log 2 3. Creșterea entropiei este egală cu numărul de informații obținute I \u003d H1 - H2 \u003d log 2 6 - Log 2 3 \u003d log 2 2 \u003d 1 bit.

Pe exemplul unei sarcini dezasamblate, se poate explica una dintre definițiile comune ale unității unității - 1 biți: 1 biți este o serie de informații care reduce incertitudinea statutului sistemului de două ori.

Incertitudinea sistemului discret depinde de numărul statelor sale N.

Entropia înainte de a primi informații H1 \u003d log 2 n. Dacă, după primirea informațiilor, incertitudinea a scăzut de două ori, atunci acest lucru înseamnă că numărul de state a devenit egal cu N / 2, iar entropia H2 \u003d log 2 n / 2. Numărul de informații primite I \u003d H1-H2 \u003d log 2 n - log 2 n / 2 \u003d log 2 2 \u003d 1 bit.

Luați în considerare mai multe sarcini cu privire la utilizarea formulei Shannon și Hartley.

Sarcina 2.Poate entropia sistemului, care ia în mod aleatoriu unul dintre cele 4 state, este: a) 3; b) 2,1 c) 1,9 g) 1; d) 0.3? Răspundeți la explicarea.

Decizie.Valoarea maximă posibilă a entropiei sistemului cu 4 state ajunge în cazul în care toate statele sunt egale. Această valoare conform formulei Hartley este egală cu log 2 4 \u003d 2 biți. În toate celelalte cazuri, entropia sistemului cu 4 state va fi mai mică de 2, în consecință, valorile posibile ale entropiei de la cele enumerate mai sus pot fi valori de 1,9, 1, 0,3.

Sarcina 3.Funcția H (X) \u003d -X * Log 2 (x) este setată - (1-x) * log 2 (1-X). Așezați următoarele valori în ordine ascendentă: H (0,9), H (0,85), H (0,45), H (0,2), H (0,15).

Decizie.Utilizați graficul funcției (3.5). Cea mai mare valoare va fi H (0,45), cea mai mică valoare - H (0,9), apoi valorile H (0,15) și H (0,85) \u003d H (0,15) sunt ascendente; H (0,2). Răspuns: H (0.9)< H(0.15)=H(0.85)< H(0.2) < H(0.45). É

Sarcina 4.Mesajele sunt transmise peste linkul: a) "START_B_10"; b) laudcha_1_v0. Comparați cantitatea de informații din primul și al doilea mesaj.

Decizie.Primul și cel de-al doilea mesaj constau din aceleași personaje: al doilea este obținut de la primul ca rezultat al permutarea acestor personaje. În conformitate cu formula lui Schannon, aceste mesaje conțin aceeași cantitate de informații. În același timp, primul mesaj aduce informațiile semnificative, iar al doilea este un set simplu de caractere. Cu toate acestea, în acest caz, putem spune că al doilea mesaj este o opțiune "criptată" a primului și, prin urmare, cantitatea de informații în ambele mesaje este aceeași.

Sarcina 5.Se obțin trei mesaje diferite A, B, C:

A \u003d "sosirea la ora zece"; B \u003d "sosirea la zece ore zero minute"; C \u003d "Sosirea exact la ora zece". Folosind abordarea entropiei SCHANONON, comparați cantitatea de informații conținute în aceste mesaje.

Decizie.Indicați cantitatea de informații în mesajele A, B, C prin I (a), I (B), I (c), respectiv. În sensul de "conținut", aceste mesaje sunt exact aceleași, dar același conținut este exprimat utilizând un număr diferit de caractere. În acest caz, toate simbolurile mesajului A sunt conținute în mesajul B și C, mesajul C \u003d A + "exact", B \u003d A + 10 minute zero "; În conformitate cu abordarea lui Shannon, obținem: i (a)< I(C) < I(B).

Lumea noastră se bazează pe trei componente: substanță, energie și informații. Câte în lumea substanțelor, a energiei și a informațiilor? Este posibil să le măsurați și cât de exact? Știm cum să măsuram cantitatea de substanță și energie. Dar cum rămâne cu informațiile? Este posibil să o măsurați?

Anterior, sa constatat că există mai multe abordări pentru evaluarea numărului de informații. Acum vom rămâne în detaliu pe unul dintre ei.

Orice mesaj va fi informativ dacă completează cunoștințele umane, adică. Reduce incertitudinea cunoștințelor sale.

Evenimente egale

Exemplul 1.

De exemplu, atunci când aruncați o monedă, încercăm să ghiciți care parte va cădea. Unul dintre opțiunile de rezultat este posibil: moneda va fi în poziția "vultur" sau "Rush". Fiecare dintre aceste două evenimente va fi echivalent, adică, nici unul dintre ei nu are avantajele față de ceilalți. Înainte de a arunca o monedă, nimeni nu poate ști cum cade, adică. Există o incertitudine a cunoașterii. După apariția evenimentului, dimpotrivă, există o certitudine completă, deoarece aruncarea primește un mesaj vizual despre poziția unei monede, care, la rândul său, reduce incertitudinea cunoașterii sale de două ori, deoarece unul dintre cele două evenimente de echilibru a avut loc.

Exemplul 2.

Un alt exemplu este situația cu un cub hexagonal, adică. Înainte de aruncare, nimeni nu poate ști de ce parte va cădea. În acest caz, există o oportunitate de a obține un rezultat de șase echivalent. Astfel, înainte de a arunca incertitudinea cunoașterii aruncării va fi egală cu 6, după aruncare, va scădea exact 6 ori, deoarece este 6 evenimente echivalente care pot apărea.

Exemplul 3.

Luați în considerare un exemplu în care 40 de bilete pregătiți pentru examen. Probabilitatea evenimentelor care vor apărea la tragerea biletului va fi egală cu 40. Și aceste evenimente vor fi egale. În același timp, incertitudinea cunoștințelor elevului înainte de alegerea biletului va fi egală cu 40. În consecință, incertitudinea cunoașterii după ce studentul a luat biletul va scădea de 40 de ori. Să ne întrebăm dacă acest indicator depinde de numărul biletului alungit. Nu, deoarece evenimentele sunt în mod egal).

După analizarea tuturor exemplelor discutate mai sus, se poate concluziona că cu cât este mai mare numărul inițial de evenimente echivalente posibile, cu atât mai mult timp incertitudinea cunoașterii scade, iar mai multe informații vor fi conținute în raportul experimentului.

Evenimente non-echilibru

Considerați ca exemplu limbă vorbită. Ne întoarcem la faptele de cercetare dovedită, care arată că în toate limbile colaborative, unele litere apar mult mai des decât altele. Rezultatele cercetării confirmă că 1.000 de dolari în diferite limbi colaborative reprezintă un număr diferit de repetări. Ca exemple în tabel prezintă câteva scrisori în limba rusă și engleză:

Imaginea 1.

În plus, probabilitatea apariției literelor individuale va depinde de ce litere sunt folosite în fața lor. Deci, în limba rusă după o vocală, un semn moale nu poate sta niciodată, precum și în cuvinte, patru vocale nu sunt folosite etc. Limbile vorbite au, de regulă, caracteristicile și modelele proprii. Acesta este motivul pentru care cantitatea de informații conținute în mesajele oricărei limbi colocviale este inacceptabilă pentru a evalua utilizând formula Hartley, care este utilizată într-o abordare alfabetică a evaluării informațiilor și este caracteristică exemplelor cu evenimente echivalente (exemple cu o monedă și un cub ).

Cum să determinați cât de multe informații conțin, de exemplu, textul romanului "război și pace" sau frescele și panza marilor artiști italieni sau codul genetic uman? Răspunsurile la aceste întrebări și știința similară nu sunt încă cunoscute și, într-o probabilitate, nu vor fi cunoscute în curând. Cu toate acestea, toată lumea este interesată, este posibilă evaluarea obiectivă a cantității de informații? Sarcina de acest tip include următorul exemplu.

Cum să aflați dacă mesajele echivalente sunt "Primul va ieși din clădire" și "Primul va ieși din clădire"? Nu există un răspuns fără echivoc la această întrebare. Totul va depinde de ce fel de clădire vorbim. Dacă acest lucru este, de exemplu, construirea clinicii ginecologice, atunci probabilitatea de a obține prima femeie este foarte mare, dacă este o barăci militară, atunci probabilitatea de a ieși în primul rând pentru un bărbat va fi mai mare decât pentru o femeie , dar dacă aceasta este o clădire cinematografică, atunci probabilitățile iese mai întâi pentru un bărbat și femeile vor fi la fel.

Evaluarea numărului de informații. Formula Shannon.

Pentru a rezolva problemele de acest fel, este utilizată o evaluare totală a numărului de informații propuse de oamenii de știință americani Claude Shannon în 1948 Creat de formula pentru determinarea numărului de informații este capabilă să ia în considerare posibila probabilitate inegală de mesaje conținute în set. Shannon la crearea formulei utilizate utilizate în matematică și hidrodinamică măsura probabilistă a incertitudinii (numită entropie) Pentru a estima pe deplin starea sistemului studiat și a obține cele mai înalte informații posibile despre procesele din acest sistem. Această evaluare a numărului de informații este în esență măsura probabilistă, și, ca o evaluare a incertitudinii, aceasta reflectă capacitatea oricărei surse de a arăta toate statele noi și noi și de a da astfel informații.

Definiție 1.

Shannon definit. entropia. Ca o funcție logaritmică medie a multor probabilități ale posibilelor stări ale sistemului (rezultatele posibile ale experienței). Pentru a calcula entropia Shannon a propus următoarea ecuație:

$ H \u003d - (p_1log_2p_1 + p_2log_2p_2 + ... + p_nlog_2p_n) $

În cazul în care $ p_i $ este probabilitatea apariției unui eveniment $ i $ -th într-un set de evenimente $ n $.

Apoi, cantitatea de informații obținute ca urmare a experienței nu va fi alta decât diferența dintre entropia sistemului la ($ H_0 $) și după ($ H_1 $) experiență:

mai mult, dacă incertitudinea ca urmare a experienței este complet exclusă, avem:

$ I \u003d \\ sigma (p_ilog_2p_i), i \u003d 1, \\ puncte, n $.

Luați în considerare un exemplu care confirmă utilizarea acestei teorii Channon în practică.

Exemplul 4.

Pescari și Perch locuiesc în lac. Calculat numărul de persoane din fiecare populație (Pescază - 1.500 $ $ și Perch - $ 500 $). Este necesar să se determine cât de multe informații sunt conținute în rapoartele pe care pescarul a prins nisipul, peștii, în general?

Decizie. Evenimentele din captura de pescar sau de bord nu sunt egale, deoarece diplele din lac locuiesc mult mai puțin decât Pescare.

Numărul total de pescase și locuința de bibliotecă în lac:

$1500 + 500 = 2000$.

Definim probabilitatea capturii pescar:

$ p_1 \u003d \\ frac (1500) (2000) \u003d 0,75 $,

Definim probabilitatea capturii de bord:

$ P_2 - \\ frac (500) (2000) \u003d 0,25 $.

$ I_1 \u003d log_2 (\\ frac (1) (p_1)), i_1 \u003d log_2 (\\ frac (1) (p_2)) $

unde $ i_1 $ și $ i_2 este probabilitatea de captură de nisip și respectiv.

Cantitatea de informații conținute în mesajul de absolvire:

$ I_1 \u003d log_2 (\\ frac (1) (0.75)) "0.43 $ Bit,

Cantitatea de informații conținute în meciul de captură de meserie:

$ I_2 \u003d log_2 (\\ frac (1) (0,25)) »2 dolari biți.

Cantitatea de informații conținute în mesaj despre captura de pește (crucian sau perc) se calculează de formula lui Shannon:

$ I \u003d - p_1log_2p_1 - p_2log_2p_2 $

$ I \u003d -0.75 \\ cdot log_20,75-0,25 \\ CDOT log_20,25 \u003d -0,75 \\ CDOT (\\ frac (log0,75) (log2)) - 0.25 \\ cdot (\\ frac0.25) (log2)) \u003d 0,604 biți "0,6 $ bit.

Răspuns: Mesajul conține informații de 0,6 $ $.

Dezvoltarea în continuare a teoriei informațiilor primite în lucrările Claud Shannon, inginerul și matematica americană (1916 - 2001). Shannon este unul dintre creatorii teoriei matematice a informațiilor. Lucrările sale principale sunt dedicate teoriei schemelor de contact releului, teoriei comunicării matematice, a cibernetică. K. Shannon a studiat problemele de transfer de informații în telegraful, telefonia sau difuzarea sub formă de semnale de oscilații electromagnetice. Una dintre sarcinile pe care K. Shannon le-a pus în fața lui a fost să determine sistemul de codificare care vă permite să optimizați viteza și acuratețea transferului de informații. Începând cu anii de război, a servit în departamentul de criptare, unde a fost angajat în dezvoltarea sistemelor criptografice, l-au ajutat ulterior să deschidă metode de codificare cu corectarea erorilor. În lucrările sale, 1948-1949, K. Shannon a definit cantitatea de informații prin entropie - suma cunoscută în termodinamică și fizica statistică ca măsură a tulburării sistemului și pe unitate a numărului de informații acceptate ceea ce a fost ulterior numit bit (biți).

Pentru o prezentare ulterioară, este necesar să se utilizeze unele concepte de teorie a probabilității: un eveniment aleator, experiență, probabilitate de eveniment, o valoare aleatorie. În lumea din jurul nostru, apar diferite evenimente și ne putem baza intuitiv pe experiență, să evaluăm unele dintre ele cât mai mult decât altele. Random se numește un eveniment care poate apărea sau nu pas ca urmare a unui anumit test, experiență sau experiment. Noi denotăm evenimentele din literele mari A, B, CTS etc. Măsura cantitativă a posibilității apariției unui eveniment este probabil să fie probabilitate și se referă la ASP (A), P- din probabilitatea engleză. Cu cât apariția unui eveniment aleatoriu, cu atât este mai mare probabilitatea: dacă este cel mai probabil, atunci P (A)\u003e P (B). Este introdus conceptul de eveniment fiabil - un eveniment care va veni. Acest eveniment denotă că consideră că probabilitatea sa () \u003d 1. Este imposibil să numim un eveniment care nu se va întâmpla niciodată. Denotă că este consideră că probabilitatea sa () \u003d 0. Pentru probabilitățile tuturor celorlalte evenimente, se efectuează inegalitatea ()< p(A)

Pentru evenimente, este introdus conceptul de sumă și de muncă. Suma evenimentelor A + B este un eveniment care constă în apariția evenimentului A sau B. Lucrarea de evenimente A * B constă în apariția simultană a evenimentelor A și B. AIB Evenimente incompletDacă nu se pot reuni ca rezultat al unui test. Probabilitatea cantității de evenimente incomplete este egală cu suma probabilității lor. Dacă A și în evenimente incomplete, apoi P (A + B) \u003d P (A) + P (B).

Evenimente A1, A2, A3, ... convertiți grupul completDacă, ca rezultat al experienței, cel puțin unul dintre ei va veni. Dacă evenimentele sunt A1, A2, A3, ... furios sunt incomprehensibil și formează un grup complet, apoi suma probabilităților lor P1 + P2 + P3 + ... .pn \u003d 1. Dacă sunt, de asemenea, în egală măsură, atunci probabilitatea fiecăruia este egală cu \u003d 1 / N, unde numărul de evenimente. Probabilitateevenimentele sunt definite ca raport al numărului de evenimente favorabile de experiență în numărul total de rezultate. Frecvențăevenimentele sunt o aproximare empirică a probabilității sale. Se calculează ca urmare a unei serii de experimente ca o atitudine a numărului de experimente în care evenimentul a ajuns la numărul total de experimente. Cu un număr mare de experimente (teste), frecvența evenimentului se angajează cu probabilitatea sa.

K. Shannon, folosind abordarea lui R. Hartley, a atras atenția asupra faptului că atunci când transmite mesaje verbale, frecvența (probabilitatea) de a utiliza diferite litere alfabetice nu este aceeași: unele litere sunt folosite foarte des, altele sunt rare.

Luați în considerare alfabetul un M constând din ISMS. Denotă de probabilitatea (frecvența) aspectului simbolului I în orice poziție a mesajului transmis format din caractere N. Un simbol IMA al alfabetului poartă cantitatea de informații egală cu -log 2 (p I). Înainte de costurile de logaritm "minus", deoarece cantitatea de informații nu este negativă, iar log 2 (x)<0 при 0

Poate exista orice caracter al alfabetului A M în locul fiecărui simbol; Cantitatea de informații de pe un singur simbol mesaj este egală cu valoarea medie a informațiilor despre toate caracterele alfabet A M:

Numărul total de informații conținute în mesajul de la n caractere este:

(3.2)

Dacă toate caracterele alfabetului apar cu o probabilitate egală, apoi toate p I \u003d p. Deci, sonde I \u003d 1, apoi p \u003d 1 / m.

Formula (3.2) În cazul în care toate caracterele alfabetului sunt egale, ia

Concluzie: Formula Shannon (3.2) În cazul în care toate simbolurile alfabetului sunt la fel de egale cu Formula Hartley (2.2).

În cazul general, numărul de entropie a sistemului HPC X (variabilă aleatorie), care poate fi în m de diferite stări x 1, x 2, ... XM se transformă în P 1, P 2, ... PM, calculat de Formula Shannon, egal

(3.3)

Amintiți-vă că P 1 + P 2 + ... + P M \u003d 1. Dacă toate p I sunt aceleași, atunci toate stările sistemului X sunt la fel de egale; În acest caz, p I \u003d 1 / m, și formula (3.3) intră în formula Hartley (2,5): H (X) \u003d log 2 (m).

Cometariu.Numărul de entropie al sistemului (variabila aleatorie) x nu depinde de faptul că statele similare x 1, x 2, ... XM pot fi sisteme, dar depinde de numărul de stări și de probabilitățile P 1, P 2 ,. .. PM, cu care sistemul poate fi în aceste state. Aceasta înseamnă că două sisteme în care numărul de state este în mod egal, iar probabilitățile acestor state P 1, P 2, ... P M sunt egale (cu o precizie a ordinului listei), au entropie egală.

Teorema.Entropia maximă H (X) se realizează atunci când toate stările sistemului sunt la fel de egale. Înseamnă că

(3.4)

Dacă sistemul X poate fi doar într-o stare (m \u003d 1), atunci entropia sa este zero. Luați în considerare sistemul care poate lua doar două state x1 și x2 cu probabilități P1 și P1:

Numărul entropiei unui astfel de sistem este egal

H (x) \u003d - (1/2 * log 2 (1/2) + 1/2 * log 2 (1/2)) \u003d -Log 2 (1/2) \u003d log 2 (2) \u003d 1

Această sumă este luată ca o unitate de măsurare a entropiei (informații) și se numește 1 bit (1 bit).

Luați în considerare o funcție

h (x) \u003d - (x * log 2 (x) + (1-x) * log 2 (1-x)). (3.5)

Zona definiției sale este intervalul (0; 1), limh (x) \u003d 0, la x0 sau 1. Programul acestei funcții este prezentat în figură:

Smochin. 4. Program de funcții (3.5)

Dacă desemnați X cu P1, A (1-X) prin P2, Top 1 + P2 \u003d 1; P 1, P 2  (0; 1), H (X) \u003d H (P 1, P 2 ) \u003d - (P 1 * log 2 (P 1) + (p 2) * log 2 (p 2)) - entropia unui sistem cu două stări; Maximum H este realizat de 1 \u003d p 2 \u003d 0,5.

Graficul H (X) poate fi utilizat la rezolvarea următoarelor sarcini:

Sarcina 1. Sunt date trei variabile aleatoare x, y, z, fiecare dintre care are două valori cu probabilități:

P (x \u003d x1) \u003d 0,5; P (x \u003d x2) \u003d 0,5;

P (y \u003d y1) \u003d 0,2; p (y \u003d y2) \u003d 0,8;

P (z \u003d z1) \u003d 0,3; P (z \u003d z2) \u003d 0,7.

Înregistrarea P (x \u003d x1) \u003d 0,5 înseamnă că valoarea aleatorie X ia valoarea x1 cu o probabilitate de 0,5. Este necesar să se organizeze entropia acestor sisteme în ordine ascendentă.

Decizie. Entropia H (X) este egală cu 1 și va fi cea mai mare; Entropia H (Y) este egală cu valoarea funcției H (X), vezi (3.5), ATX \u003d 0,2, I.E.H (Y) \u003d H (0,2); Entropyh (Z) \u003d H (0,3). Conform graficului H (X), se poate determina că H (0,2)< h(0.3). Следовательно, H(Y) < H(Z) < H(X).

Nota 1.Entropia sistemului este cea mai mare, cu atât mai puțină diferență dintre probabilitățile statelor sale una de cealaltă. Pe baza acestui lucru, putem concluziona că H (Y)< H(Z). Например, если для систем X и Y с тремя состояниями заданы вероятности: дляX{0.4; 0.3; 0.3}, дляY{0.1; 0.1; 0.8}, то очевидно, что неопределённость системыXбольше, чем неопределённость системыY: у последней, скорее всего, будет реализовано состояние, вероятность которого равна 0.8 .

Entropia H (X) caracterizează gradul de incertitudine a sistemului. Cu cât este mai mare cantitatea de informații primite despre sistemul de informații, cu atât mai multe informații despre sistem și cu atât statul său mai puțin incert va fi destinatarului informațiilor.

În cazul în care entropia sistemului după primirea informațiilor devine egală cu zero, aceasta înseamnă că incertitudinea a dispărut, toate entropiile "încrucișate" în informații. În acest caz, se spune că informațiile complete au fost obținute cu privire la sistemul X. Numărul de informații obținute cu clarificări complete a stării sistemului fizic, egală cu entropia acestui sistem.

Dacă, după primirea unui anumit mesaj, incertitudinea sistemului este mai mică, dar nu a dispărut deloc, cantitatea de informații conținute în mesaj este egală cu creșterea entropiei:

I \u003d h1 (x) - H2 (x), (3.6)

unde H1 (x) și H2 (x) este entropia sistemului înainte și după mesaj, respectiv. Dacă H2 (x) \u003d 0, atunci măsura incertitudinea sistemului este zero și informațiile complete despre sistem a fost obținut.

Exemplu. Vrei să ghicești numărul de puncte care cade pe un cub de joc. Ați primit un mesaj că numărul de puncte a scăzut. Ce cantitate de informații conține acest mesaj?

Decizie. Entropia sistemului "Cub" H1 este egală cu Log 2 6, deoarece Cubul poate lua în mod aleatoriu șase egal posibilstatele (1, 2, 3, 4, 5, 6). Mesajul primit reduce numărul de stări posibile până la trei: (2, 4, 6), adică Entropia sistemului este acum egală cu H2 \u003d log 2 3. Creșterea entropiei este egală cu numărul de informații obținute I \u003d H1 - H2 \u003d log 2 6 - Log 2 3 \u003d log 2 2 \u003d 1bit.

Pe exemplul unei sarcini dezasamblate, se poate explica una dintre definițiile comune ale unității unității - 1 biți: 1 biți este cantitatea de informații care reduce de două ori incertitudinea stadiului sistemului.Incertitudinea sistemului discret depinde de numărul statelor sale. Entropia înainte de primirea informațiilorH1 \u003d log 2 N. Dacă, după primirea informațiilor, incertitudinea a scăzut de două ori, atunci acest lucru înseamnă că numărul de state a devenit egal Ton / 2 și Entropyh2 \u003d log 2 n / 2. Numărul de informații primite \u003d H1-H2 \u003d log 2 n-log 2 n / 2 \u003d log 2 2 \u003d 1 biți.

Luați în considerare mai multe sarcini cu privire la utilizarea formulei Shannon și Hartley.

Sarcina 2.Poate entropia sistemului, care ia în mod aleatoriu unul dintre cele 4 state, este: a) 3; b) 2,1 c) 1,9 g) 1; d) 0.3? Răspundeți la explicarea.

Decizie.Valoarea maximă posibilă a entropiei sistemului cu 4 state ajunge în cazul în care toate statele sunt egale. Această valoare conform formulei Hartley este egală cu Tolog 2 4 \u003d 2 biți. În toate celelalte cazuri, entropia sistemului cu 4 state va fi mai mică de 2, în consecință, posibilele valori ale entropiei de la cele enumerate mai sus pot fi valori de 1,9, 1, 0.3.

Sarcina 3.Funcția este setată (x) \u003d -X * log 2 (x) - (1-x) * log 2 (1-X). Așezați următoarele valori în ordine ascendentă: H (0,9), H (0,85), H (0,45), H (0,2), H (0,15).

Decizie.Utilizați graficul funcției (3.5). Cea mai mare valoare va fi H (0,45), cea mai mică valoare - H (0,9), apoi valorile ascendente sunt valide (0,15) ICH (0,85) \u003d H (0,15); H (0,2). Răspuns: H (0.9)

Sarcina 4.Mesajele sunt transmise peste link-ul: a) "START_B_10"; B) "LORCHA_1_V0". Comparați cantitatea de informații din primul și al doilea mesaj.

Decizie.Primul și cel de-al doilea mesaj constau din aceleași personaje: al doilea este obținut de la primul ca rezultat al permutarea acestor personaje. În conformitate cu formula lui Schannon, aceste mesaje conțin aceeași cantitate de informații. În același timp, primul mesaj aduce informațiile semnificative, iar al doilea este un set simplu de caractere. Cu toate acestea, în acest caz, putem spune că al doilea mesaj este o opțiune "criptată" a primului și, prin urmare, cantitatea de informații în ambele mesaje este aceeași.

Sarcina 5.Se obțin trei postări diferite, B, C:

A \u003d "Sosirea la ora zece"; B \u003d "Sosirea la zece ore de minute zero"; c \u003d "Sosirea este exact la ora zece". Folosind abordarea entropiei SCHANONON, comparați cantitatea de informații conținute în aceste mesaje.

Decizie.Denotă cantitatea de informații din mesajele A, B, C prin (A), I (B), I (c), respectiv. În sensul de "conținut", aceste mesaje sunt exact aceleași, dar același conținut este exprimat utilizând un număr diferit de caractere. În acest caz, toate simbolurile mesajului A sunt conținute în mesajul B și C, mesajul C \u003d A + "exact", B \u003d A + 10 minute zero "; În conformitate cu abordarea lui Shannon, obținem: i (a)< I(C) < I(B).

Inginerul american R. HARTLEY. În 1928. procesul de obținere a informațiilor considerate ca o alegere a unui mesaj de la alternanța finală a unui set dat de la N. mesaje echivalente și cantitatea de informații I.conținut în mesajul selectat, definit ca logaritm binar N. .

Formula Hartley:

I \u003d log2. N.

Să presupunem că trebuie să ghiciți un număr dintr-un set de numere de la unu la o sută. Potrivit formulei Hartley, puteți calcula cât de multe informații sunt necesare pentru acest lucru: i \u003d log2100\u003e 6,644. Astfel, mesajul despre numărul corect ghicitor conține cantitatea de informații, aproximativ egală cu 6.644 unități de informații.

Dăm alții exemple de mesaje echivalente:

1. Când aruncați monede: "Rusk a scăzut", "Eagle a căzut";

2. Pe pagina de carte: "Numărul de litere este clar", "Numărul de scrisori de litere".

Noi definim acum sunt mesaje echivalente "Primul va ieși din ușa clădirii. și "Primul va ieși din ușa clădirii un bărbat". Să răspundă fără echivoc această întrebare nu poate. Totul depinde de ce fel de clădire vorbim. Dacă acest lucru este, de exemplu, stația de metrou, atunci probabilitatea de a ieși din ușă este prima pentru un bărbat și o femeie, iar dacă este o barăci militară, atunci pentru un om această probabilitate este semnificativ mai mare decât pentru o femeie.

Pentru sarcinile acestui tip de om de știință american Claude Shannon. Sugerat în 1948 o altă formulă pentru determinarea numărului de informații care ia în considerare posibila probabilitate inegală a mesajelor din set.

Formula Shannon:

I \u003d - ( p.1log2. p.1 + p.2 log2. p.2 +... + p.N log2. pn.),

Unde pi. - probabilitatea ca i.-E-Mesajul este evidențiat în setul de N. mesaje.

Este ușor să vedem că dacă probabilitățile p.1, ...,pn. egal, atunci fiecare dintre ele este egal cu 1 / N.Formula lui Shannon se transformă în Formula Hartley.

Claude Shannon. determinat informație , la fel de eliminat incertitudinea . Mai precis, primirea informațiilor este o condiție necesară pentru eliminarea incertitudinii. Incertitudinea apare într-o situație de selecție. Sarcina care este rezolvată în timpul îndepărtării incertitudinii este reducerea numărului de opțiuni luate în considerare (o scădere a diversității) și, eventual, alegerea unei situații corespunzătoare a opțiunii de la numărul posibil. Deciziile incertitudinii fac posibilă realizarea unor soluții informate și act. Acesta este rolul de gestionare a informațiilor.

Imaginați-vă că ați fost la magazin și ați cerut să vă vindeți o gumă de mestecat. Vânzătorul care, care, să spunem, 16 clase de gumă de mestecat se află într-o stare de incertitudine. Nu-ți poate îndeplini cererea fără mai multe informații. Dacă ați specificat, spuneți, "orbită" și de la 16 opțiuni inițiale pentru vânzător, consideră acum doar 8, ați redus incertitudinea de două ori (care rulează înainte, să spunem asta reducerea de două ori a incertitudinii respectă obținerea unui număr de informații ). Dacă, fără a provoca o custodie, pur și simplu a indicat un deget pe fereastra magazinului, "Aceasta este aceasta!", Incertitudinea a fost complet eliminată. Din nou, alergând înainte, să spunem că acest gest în acest exemplu ați informat vânzătorul 4 biți de informații.

Situatie incertitudine maximă Presează prezența mai multor egal Alternative (opțiuni), adică Nici una dintre opțiuni nu este mai preferabilă. Și opțiunile mai echivalente observat, cu atât este mai mare incertitudinea, cu atât este mai dificil să se facă o alegere fără ambiguitate și cu cât sunt necesare mai multe informații pentru a face acest lucru. Pentru N. Opțiuni Această situație este descrisă de următoarea distribuție a probabilităților: (1 / N.,1/ N., …,1/ N.} .

Incertitudinea minimă egală cu 0. această situație siguranța deplină , ceea ce înseamnă că alegerea este făcută și se obțin toate informațiile necesare. Distribuția probabilităților pentru o situație de certitudine completă arată astfel: (1, 0, ... 0).

Cantitatea care caracterizează cantitatea de incertitudine din teoria informațiilor este indicată de simbol. H. și are un nume entropia , mai precis entropia informațiilor. .

Entropia ( H.) – măsura de incertitudine , exprimată în biți. De asemenea, entropia poate fi văzută ca măsura uniformitatea distribuției variabilă aleatorie.

Smochin. 3.4 Comportamentul entropiei pentru cazul a două alternative

În fig. 3.4 prezintă comportamentul entropiei pentru cazul a două alternative, la schimbarea raportului dintre probabilitățile lor ( P., (1-P.)).

Valoarea maximă a entropiei ajunge în acest caz în care ambele probabilități sunt egale între ele și sunt egale cu 1/2, valoarea zero a entropiei corespunde cazurilor ( P.0=0, P.1 \u003d 1) și ( P.0=1, P.1=0).

Numărul de informații I. și entropy H. Caracterizați aceeași situație, dar de la laturile foarte opuse. I este cantitatea de informații care sunt necesare pentru a elimina incertitudinea H. Prin definirea Leon Brilllyuan informațiile sunt entropii negative(negentropiu.) .

Când incertitudinea este complet eliminată, numărul de informații primite I. la fel de inițial inițial existentă H..

În cazul îndepărtării parțiale a incertitudinii, cantitatea de informații rezultată și incertitudinea inutilă rămasă este în cantitatea de incertitudine inițială. Ht + it \u003d h(Figura 3.5).

Smochin. 3.5 Comunicarea dintre entropie și numărul de informații

Din acest motiv, formulele care vor fi prezentate mai jos pentru a calcula entropia H. sunt ambele formule pentru calcularea numărului de informații I.. cand vine vorba de îndepărtarea completă a incertitudinii, H.ele pot fi înlocuite cu I..

În general, Entropia H. și suma obținută ca urmare a eliminării incertitudinii informațiilor I. depind de numărul inițial de opțiuni luate în considerare N. și o probabilitate priori de implementare a fiecăruia dintre ele P:{p.0,p.1, …,pn-1), adică H \u003d F.(N.,P.). Calculul entropiei în acest caz este produs conform formulei Shannon Propus de el în 1948 în articolul "Teoria comunicării matematice".

În specialcând toate opțiunile sunet de sunet, Dependența rămâne numai pe numărul de opțiuni luate în considerare, adică. H \u003d F.(N.). În acest caz, formula Channon este foarte simplificată și coincide cu formula Hartley. , care a fost sugerat pentru prima dată de inginerul american Ralph Hartley în 1928, adică. Cu 20 de ani mai devreme.

Formula lui Shannon are următoarea formă:

Semnul minus din formula (2.1) nu înseamnă că entropia este o valoare negativă. Se explică prin faptul că pi.£ 1 prin definiție, iar logaritmul unei unități mai mici este o valoare negativă. Prin proprietatea logaritmului, astfel încât această formulă poate fi înregistrată în a doua versiune, fără minus înainte de suma sumei.

Expresia este interpretată ca o cantitate privată de informații. ACEASTA.obținute în caz de implementare i.Opțiune. Entropia în formula lui Shannon este o caracteristică medie - așteptarea matematică a distribuției variabilelor aleatorii ( I.0,I.1, …,I-1} .

Dăm un exemplu de calculare a entropiei conform formulei Shannon. Într-o anumită instituție, compoziția lucrătorilor este distribuită după cum urmează: 3/4 - femei, 1/4 - bărbați. Apoi, incertitudinea, de exemplu, cu privire la cine veți întâlni prima, mergeți la instituție, va fi calculată lângă acțiunile prezentate în tabel. 3.1.

Tabelul 3.1.

Am menționat deja că Formula Hartley este un caz special de formula lui Shannon pentru alternative echivalente.

În schimb, substituirea în formula (2.1) pi. (într-un caz echivalent, independent de i.) Valoare, primim:

Astfel, formula Hartley arată foarte simplă:

Rezultă clar că cele mai multe alternative ( N.), cu atât este mai mare incertitudinea ( H.). Logaritmarea bazată pe 2 oferă numărul de opțiuni pentru unitățile de măsurare a informațiilor - biți. Figura 3.6 prezintă dependența entropiei asupra numărului de opțiuni de selecție echivalente.

Smochin. 3.6 Dependența entropiei de numărul de opțiuni de selecție a echilibrului (alternative echivalente)

Pentru a rezolva problemele inverse atunci când este cunoscută incertitudinea ( H.) sau cantitatea de informații obținute ca urmare a eliminării acestuia ( I.) Și trebuie să determinați cât de mult corespunde în mod egal la apariția acestei incertitudini, utilizați formula inversă a lui Hartley, care arată chiar mai ușoară:

De exemplu, dacă se știe că, ca urmare a determinării faptului că Kolya Ivanov este interesată de etajul al doilea, s-au obținut 3 biți de informații, numărul de etaje din casă poate fi determinat prin formula (2.3) ca N \u003d23= 8 JETAGE.

Dacă întrebarea este după cum urmează: "În casa a 8 etaje, cât de multe informații am primit, după ce am aflat că Kolya Ivanov este interesată de al doilea etaj?" Este necesar să se utilizeze formula (2.2): I \u003d.log2 (8) \u003d 3 biți.

Până în prezent, am dat formule pentru calcularea entropiei (incertitudinea) H.arătând asta H. Ele pot fi înlocuite cu I.deoarece cantitatea de informații primite cu deplasare completă a incertitudinii Unele situații, cantitativ egale cu entropia inițială a acestei situații.

Dar incertitudinea poate fi îndepărtată parțial, prin urmare, cantitatea de informații iderivate din anumite mesaje se calculează ca reducerea entropiei care au avut loc ca urmare a primiiacest mesaje.

Pentru un caz echivalentFolosind pentru a calcula formula Entropy Hartley, primim:

A doua egalitate este afișată pe baza proprietăților logaritmului. Astfel, într-un caz echilibrat I. depinde de de câte ori Valoarea opțiunilor de selecție în cauză sa modificat (diversitatea în cauză).

Pe baza (3.5), puteți retrage următoarele:

Dacă, atunci - îndepărtarea completă a incertitudinii, numărul de informații primite în mesaj este egal cu incertitudinea care a existat înainte de a primi mesajul.

Dacă, atunci incertitudinea nu sa schimbat, prin urmare, nu a existat informații.

Dacă, atunci \u003d\u003e,

dacă, atunci \u003d\u003e.

Acestea. Numărul de informații primite va fi o valoare pozitivă dacă, ca urmare a primirii unui mesaj, numărul de alternative luate în considerare și negativ, dacă este mai mult.

Dacă numărul de alternative luate în considerare ca urmare a primirii mesajului a fost înjumătățit, adică I.\u003d log2 (2) \u003d 1 pic.Cu alte cuvinte, obținerea a 1 biți de informații exclude de la luarea în considerare a jumătății de opțiuni echivalente.

Luați în considerare o experiență de exemplu cu o punte de 36 de cărți (Fig.3.7).

Smochin. 3.7 Ilustrație pentru experiență cu o punte de 36 de cărți

Lăsați pe cineva să ia o carte de pe punte. Suntem interesați de care una dintre cele 36 de cărți pe care le-a scos. Incertitudinea inițială, calculată cu formula (3.2), este H \u003d.log2 (36) @ 5,17 pic. Harta așteptată ne spune câteva informații. Folosind formula (3.5), determinăm cât de multe informații primim din aceste mesaje:

Opțiunea A. "Aceasta este o hartă a costumului roșu."

I.\u003d Log2 (36/18) \u003d Log2 (2) \u003d 1bit (carduri roșii în punte de jumătate, incertitudine a scăzut de 2 ori).

Varianta B. "Aceasta este o platformă a unui vârf".

I.\u003d Log2 (36/9) \u003d Log2 (4) \u003d 2 biți (carduri de vârf reprezintă un sfert din punți, incertitudinea a scăzut de 4 ori).

Opțiunea C. "Aceasta este una dintre cărțile superioare: inele, doamnă, rege sau as".

I.\u003d Log2 (36) -log2 (16) \u003d 5,17-4 \u003d 1,17 biți (incertitudinea a scăzut mai mult de două ori, prin urmare cantitatea de informații obținute este mai mare decât un bit).

Varianta D. "Aceasta este o carte de pe punte."

I.\u003d Log2 (36/36) \u003d Log2 (1) \u003d 0 biți (incertitudinea nu a scăzut - mesajul nu este informativ).

Realizarea E. "Aceasta este un vârf de doamnă".

I.\u003d Log2 (36/1) \u003d Log2 (36) \u003d 5,17 biți (incertitudinea eliminată complet).

Sarcina 1.Ce cantitate de informații va conține un mesaj vizual despre culoarea bilei rupte, dacă 50 alb, 25 roșu, 25 de bile albastre sunt situate într-o pungă opac?

Decizie.

1) bile totale 50 + 25 + 25 \u003d 100

2) Probabilități cu bile 50/100 \u003d 1/2, 25/100 \u003d 1/4, 25/100 \u003d 1/4

3)I. \u003d - (1/2 log21 / 2 + 1/4 log21 / 4 + 1/4 log21 / 4) \u003d - (1/2 (0-1) +1/4 (0-2) +1/4 (0 -2)) \u003d \u003d 1,5 biți

Sarcina 2. Coșul se află la 16 bile de diferite culori. Cât de multe informații sunt mesajul pe care l-ai primit o minge albă?

Decizie. pentru că N \u003d 16 bile, apoi i \u003d log2 n \u003d log2 16 \u003d 4 biți.

Sarcina 3.În coș minciună alb-negru. Printre ei18 bile negre. Mesajul pe care l-ați luat mingea albă, transportă 2 biți de informații. Câte bile în coș?

1) 18 2) 24 3) 36 4)48

Decizie. Găsim probabilitatea de a obține o minge albă conform lui Shannon: log2n \u003d 2, n \u003d 4, prin urmare, probabilitatea obținerii unui castron alb este de 1/4 (25%) și, respectiv, probabilitatea de a obține o minge neagră, respectiv 3/4 (75%). Dacă 75% din toate bilele negre, numărul 18, apoi 25% din toate bilele albe, numărul lor (18 * 25) / 75 \u003d 6.

Rămâne să găsiți numărul tuturor bilelor din coșul 18 + 6 \u003d 24.

Răspuns: 24 de bile.

Sarcina 4.Într-o țară, un număr de mașină de 5 caractere este alcătuit din litere mari (30 de litere sunt utilizate) și cifre zecimale în orice ordine. Fiecare simbol este codificat în aceeași cantitate și minim posibilă de biți, iar fiecare număr este același și minim posibil de octeți. Determinați cantitatea de memorie necesară pentru stocarea a 50 de mașini.

1) 100 BYTE 2) 150 Bytes 3) 200 Bytes 4) 250 octeți

Decizie. Numărul de caractere utilizate pentru a codifica numărul este: 30 litere + 10 cifre \u003d 40 de caractere. Cantitatea de informații care transportă un caracter este de 6 biți (2i \u003d 40, dar cantitatea de informații nu poate fi numărul fracțional, de aceea luăm cel mai apropiat grad de două ori dintr-un număr mare de caractere 26 \u003d 64).

Am constatat cantitatea de informații încorporate în fiecare simbol, numărul de caractere din cameră este de 5, prin urmare, 5 * 6 \u003d 30 de biți. Fiecare număr este de 30 de biți de informații, dar, prin starea sarcinii, fiecare număr este codificat la fel și cantitatea minimă posibilă de octeți, prin urmare, trebuie să știm cât de mult octeți în 30 de biți. Dacă este împărțită la 30 la 8, va fi obținut un număr fracționat și trebuie să găsim un octet întreg pentru fiecare număr, așa că găsim cel mai apropiat multiplicator de 8-ki, care va depăși numărul de biți, este 4 (8 * 4 \u003d 32). Fiecare număr este codificat cu 4 octeți.

Pentru depozitare 50 numere de mașini, veți avea nevoie de: 4 * 50 \u003d 200 octeți.

Alegerea strategiei optime în joc "Ghici numărul". La primirea numărului maxim de informații, este construită alegerea unei strategii optime în jocul "ghici numărul", în care primul participant face un număr întreg (de exemplu, 3) dintr-un interval specificat (de exemplu, de la 1 la 16), iar al doilea ar trebui să "ghicească" numărul dorit. Dacă considerați acest joc dintr-un punct de vedere al informațiilor, incertitudinea inițială a cunoașterii pentru al doilea participant este de 16 evenimente posibile (opțiuni pentru numere misterioase).

Cu o strategie optimă, intervalul de număr ar trebui să împărtășească întotdeauna în jumătate, atunci numărul de evenimente posibile (numere) în fiecare dintre intervalele obținute va fi același și ajustarea intervalelor este în mod egal. În acest caz, la fiecare pas, răspunsul primului jucător ("da" sau "nu") va suporta cantitatea maximă de informații (1 biți).

După cum se poate vedea din masă. 1.1, ghicitul numărul 3 a avut loc în patru etape, la fiecare dintre care incertitudinea cunoașterii celui de-al doilea participant a scăzut de două ori prin primirea unui mesaj de la primul participant care conține 1 bit de informații. Astfel, cantitatea de informații necesare GUEADS unul dintre cele 16 numere, a fost de 4 biți.

Verificați întrebările și sarcinile

1. A priori se știe că mingea se află într-unul din cele trei urne: A, în sau C. Determinați câte biți de informații conțin un mesaj pe care îl este în URN V.

Opțiuni:1pic,1,58pic,2pic,2,25pic.

2. Probabilitatea primului eveniment este de 0,5, iar a doua și a treia 0,25. Ce distribuție este egală cu entropia informației. Opțiuni:0,5pic,1 pic,1,5pic,2pic,2,5pic,3pic.

3. Iată o listă a angajaților unei organizații:

Determinați cantitatea de informații care lipsesc pentru a îndeplini următoarele solicitări:

Vă rugăm să sunați la Ivanov la telefon.

Sunt interesat de unul dintre angajații dvs., se naște în 1970.

4. Care dintre mesaje poartă mai multe informații:

· Ca urmare a luării unei monede (Eagle, Rush), graba a scăzut.

· Pe seama de trafic (roșu, galben, verde) este acum verde.

· Ca urmare a recuperării osului de joc (1, 2, 3, 4, 5, 6), 3 puncte au scăzut.

Cel mai răspândit la determinarea numărului mediu de informații, care este conținut în mesaje din sursele celei mai diferite natură, au obținut o abordare. La Shannon. Luați în considerare următoarea situație.
Sursa transmite semnalele elementare k. Tipuri diferite. Să urmărim un segment destul de lung al mesajului. Lăsați-o N.1 din primele semnale de tip, N.2 semnale secundare, ..., N.k. Semnale k.- tip, și N.1 + N.2 + ... + N.k. = N. - numărul total de semnale din segmentul observat, f.1, f.2, ..., f.k. - Frecvențele semnalelor corespunzătoare. Ca o creștere a lungimii segmentului mesajului, fiecare dintre frecvențele tinde la o limită fixă, adică
Lim. f.i. = p.i., (i. = 1, 2, ..., k.),
Unde r.i. Puteți lua în considerare probabilitatea semnalului. Să presupunem că un semnal primit i.-HO tip cu probabilitate r.i.care conține - jurnal. p.i. Unități de informații. În segmentul în cauză i.- un semnal se va întâlni aproximativ Np.i. ori (presupunem asta N. Destul de mare), iar informațiile generale livrate prin semnale de acest tip vor fi egale cu munca Np.i. Buturuga. r.i.. Același lucru se referă la semnale ale oricărui alt tip, astfel încât cantitatea totală de informații livrate de segment de la N. semnalele vor fi aproximativ egale

Pentru a determina cantitatea medie de informații pe un semnal, adică. Sursă de informații specifice, trebuie să împărțiți acest număr pe N.. Cu o creștere nelimitată, egalitatea aproximativă va intra în exactă. Ca rezultat, se va obține un raport asimptotic - formula lui Shannon

Recent, nu a devenit mai puțin comună decât faimoasa Formula Einstein E. = mc. 2. Sa dovedit că formula propusă de Hartley este un caz special de o formulă mai generală de Shannon. Dacă în formula SCHANNAM să accepte asta
r.1 = p.2 = ... = r.i. = ... =p.N. = 1/N.T.

Semnul minus al formulei Shannon nu înseamnă că cantitatea de informații din mesaj este o valoare negativă. Se explică prin faptul că probabilitatea r.În funcție de definiție, mai puțin de unul, dar mai mult zero. De la logaritmul unei unități mai mici, adică Buturuga. p.i. - Valoarea este negativă, atunci produsul probabilității la logaritmul numărului va fi pozitiv.
În plus față de această formulă, Shannon a propus o schemă de comunicare abstractă constând din cinci elemente (sursă de informații, transmițător, linii de comunicare, receptor și destinatar) și lățime de bandă formulată, imunitate la zgomot, codificare etc.
Ca urmare a dezvoltării teoriei informației și a aplicațiilor sale, ideile lui Shannon au distribuit rapid influența asupra celor mai diferite domenii ale cunoașterii. Sa observat că formula lui Shannon este foarte asemănătoare cu formula entropiei folosite în fizică, derivată de Boltzmann. Entropia denotă gradul de tulburare a formelor statistice de molecule. Entropia este maximă cu o distribuție echivalentă a parametrilor mișcării moleculelor (direcție, viteză și poziție spațială). Valoarea entropiei scade dacă este aranjată mișcarea moleculelor. După cum crește aranjamentul de comandă, entropia tinde la zero (de exemplu, când este posibilă doar o singură valoare și direcția vitezei). La întocmirea unui mesaj (text) cu ajutorul entropiei, este posibilă caracterizarea gradului de fragilitate a mișcării (alternanței) de caractere. Textul cu entropie maximă este textul cu o distribuție echilibrată a tuturor literelor alfabetice, adică. Cu alternarea fără sens a literelor, de exemplu: YKHZZZZCHCHKCHKCHCHKCHCHCHKHAYADVLVLARAAPAIYUHB SBSM. Dacă probabilitatea reală a literelor este luată în considerare la elaborarea textului, atunci în "fraze" astfel obținute va exista o anumită ordine a mișcării literelor, reglementată de frecvența aspectului lor: OTE de okrs de AKSH TZI.
Când luați în considerare probabilitățile combinațiilor de patru litere, textul devine astfel ordonat că, conform unor caracteristici formale, se apropie de semnificație: nu este uscată și Nepo și Corco. Motivul pentru o astfel de comandă în acest caz este informația privind modelele statistice ale textelor. În texte semnificative, ordonate, în mod natural, chiar mai mari. Deci, în fraza a venit ... primăvara avem și mai multe informații despre mișcarea (alternanța) a literelor. Astfel, textul textului crește ordonarea și informațiile pe care le avem despre text, iar entropia (măsura de tulburare) scade.
Folosind diferența dintre formulele numărului de informații din Shannon și ertropia Boltzmann (semne diferite), L. Brillurian caracterizat informații ca entropie negativă sau negentropia.. Deoarece entropia este o măsură de dezordonare, atunci informațiile pot fi definite ca măsurarea sistemelor materiale .
Datorită faptului că apariția formulei coincide, se poate presupune că conceptul de informații nu adaugă nimic la conceptul de entropie. Cu toate acestea, nu este. Dacă conceptul de entropie a fost utilizat anterior numai pentru sisteme, căutând echilibru termodinamic, adică La tulburarea maximă a mișcării componentelor sale, la o creștere a entropiei, conceptul de informații a acordat, de asemenea, atenție acestor sisteme care nu cresc entropia, ci dimpotrivă, fiind într-o stare cu valori mici de entropie , tind să-l reducă în continuare.

Este dificil să se supraestimeze importanța ideilor teoriei informațiilor în dezvoltarea unei mari varietăți de domenii științifice.
Cu toate acestea, potrivit lui K. Shannon, toate problemele nerezolvate nu pot fi rezolvate cu astfel de cuvinte magice, cum ar fi "informația", "entropia", "redundanța".
Teoria informațiilor se bazează pe modele probabiliste, statistice ale fenomenelor. Oferă un aparat util, dar nu un versatil. Prin urmare, multe situații nu se încadrează în modelul de informare al lui Shannon. Nu este întotdeauna posibilă predeterminarea listei tuturor statelor de stat și calcularea probabilităților lor. În plus, doar partea formală a mesajului este luată în considerare în teoria informațiilor, în timp ce sensul său rămâne deoparte. De exemplu, sistemul de stații radar conduce la observarea spațiului aerian pentru a detecta sistemul de aeronave adversar S.urmată de observație, poate fi într-una din cele două state x.1 - Inamicul este, x.2 - Nici un inamic. Importanța primului mesaj nu poate fi evaluată utilizând o abordare probabilistică. Această abordare și o măsură bazată pe valoarea informațiilor exprimă, în primul rând, partea "structurală-sintactică" a transferului său, adică Exprimă relația de semnale. Cu toate acestea, conceptele de "probabilitate", "incertitudine", cu care este asociat conceptul de informații, își asumă procesul de alegere. Acest proces poate fi implementat numai dacă există multe posibilități. Fără acest lucru, pot fi asumate condițiile, transmiterea informațiilor este imposibilă.