V polohe každého symbolu môže dôjsť k ľubovoľnému symbolu abecedy. M.; \\ T Množstvo informácií o jednej správe sa rovná priemernej hodnote informácií o všetkých znakoch abecedy. M.:

Celkové množstvo informácií obsiahnutých v správe od n. Symboly sú:

Ak všetky znaky abecedy M. sa objavujú s rovnakou pravdepodobnosťou, potom všetko p \u003d p. Ako Σr i \u003d 1T. p \u003d 1 / m.

Vzorec v prípade, keď sú všetky symboly abecedy rovnaké, má formulár

I \u003d. n.*Log. 2 (m.).

Výkon: shannon je vzorec v prípade, keď sú všetky znaky abecedy rovnako tranzit, ide do Hartley vzorec.

Vo všeobecnosti sa počet entropívy H ľubovoľného systému X. (náhodná premenná), ktorá môže byť v m. Rôzne štáty x 1, X 2, ... x m S pravdepodobnosťmi p 1, p 2, ... p m Vypočítané Shannonovým vzorcom je rovnaké

Pripomeňme si, že p 1 + p 2 + ... + p m \u003d 1. Ak všetci p. \\ t Rovnako, potom všetok stavový stav X. ekvivalent; v tomto prípade p \u003d 1 / ma vzorec ide do Hartley vzorec: H (x) \u003d log 2 (m).

Komentár.Počet entropie systému (náhodná premenná) H. nezávisí od toho, čo konkrétne uvádza x 1, X 2, ... x m môže byť systém, ale závisí od čísla m. Tieto štáty a pravdepodobnosť p 1, p 2, ... p m S ktorým môže byť systém v týchto štátoch. To znamená, že dva systémy, v ktorých je počet štátov rovnako, a pravdepodobnosť týchto štátov p 1, p 2, ... p m rovná (s presnosťou rádovou objednávkou), majú rovnakú entropiu.

Teorem.Maximálna entropia H (x) Dosiahne sa v prípade, keď sú všetky štáty systému rovnako rovnaké. Znamená to, že

Ak systém X môže byť len jeden stav ( m \u003d 1.), potom jej entropia je rovnaká nulový.

Zvážte systém, ktorý môže mať len dva štáty. x1 a x2 S pravdepodobnosťmi pl a p2.:

Počet entropie takéhoto systému je rovnaký

H (x) \u003d - (1/2 * log 2 (1/2) + 1/2 * LOG 2 (1/2)) \u003d -LOG 2 (1/2) \u003d LOG 2 (2) \u003d 1

Táto suma sa vezme na jednotku merania entropie (informácie) a nazýva sa 1 bit (1 bit).

Zvážte funkciu

h (x) \u003d - (x * log 2 (x) + (l-x) * log 2 (L-X))

Oblasť jeho definície - interval (0 ;1) , LIM H (X) \u003d 0 pre h.-\u003e 0ILI h.-> 1.

Plán tejto funkcie je zobrazený na obrázku:

Funkcia harmonogramu H (X) \u003d - (X * LOG 2 (X) + (L - X) * LOG 2 (L - X))

Ak označíte x p 1., ale (1-X) prostredníctvom p 2.T. p 1 + p 2 \u003d 1; p 1, p 2 Î (0; 1), h (x) \u003d h (p1, p 2) \u003d - (p 1 * log 2 (P 1) + (P2) * LOG 2 (P 2)) - systém entropie s dvoma štátmi; maximálny H. dosiahnuté na p1 \u003d p 2 \u003d 0,5.

H (x) graf môže byť použitý pri riešení nasledujúcich úloh:

Úloha 1. Existujú tri náhodné premenné X, Y, Z, z ktorých každý má dve hodnoty s pravdepodobnosť:

1. p (x \u003d x1) \u003d 0,5; P (x \u003d x2) \u003d 0,5;

2. p (y \u003d y1) \u003d 0,2; P (y \u003d y2) \u003d 0,8;

3. p (Z \u003d Z1) \u003d 0,3; P (z \u003d z2) \u003d 0,7.

Nahrávanie P (X \u003d X1) \u003d 0,5 znamená, že náhodná hodnota X má hodnotu X1 s pravdepodobnosťou 0,5. Musí sa zabezpečiť entropiu týchto systémov vo vzostupnom poradí.

Rozhodnutie.

Entropy H (x) sa rovná 1 a bude najväčší;

Entropy H (y) sa rovná hodnote funkcie H (x), () pri X \u003d 0,2, t.j. H (y) \u003d h (0,2);

Entropy H (Z) \u003d H (0,3). Podľa grafu h (x) sa dá určiť, že H (0,2)< h(0.3). Следовательно, H(Y) < H(Z) < H(X).

Poznámka 1. Entropia systému je väčšia, tým menej rozdiel medzi pravdepodobnosťami svojich štátov od seba.

Na základe toho môžeme konštatovať, že h (y)< H(Z).

Napríklad, ak existujú pravdepodobnosti pre X a Y s tromi stalmi: pre X (0,4; 0,3; 0,3), pre Y (0,1; 0,1; 0,8), je zrejmé, že neistota systému X je väčšia ako neistota Systém Y: Ten s najväčšou pravdepodobnosťou bude podmienka implementovaná, ktorej pravdepodobnosť je 0,8.

Entropy H (x) charakterizuje stupeň neistoty systému. Čím väčšia je množstvo informácií prijatých o informačnom systéme, tým viac informácií o systéme a menej neistý jeho štát bude pre príjemcu informácií.

Ak sa entropia systému po prijatí informácií stane rovnou nule, znamená to, že neistota zmizla, všetky entropy "prekrížené" do informácií. V tomto prípade sa hovorí, že boli získané úplné informácie o systéme X. Množstvo informácií získaných s plným objasnením stavu fyzikálneho systému sa rovná entropii tohto systému.

Ak po prijatí určitého posolstva sa neistota systému X stala nižšou, ale vôbec nezmizla, množstvo informácií obsiahnutých v správe sa rovná prírastku entropie:

I \u003d h1 (x) - h2 (x),

kde H1 (x) a H2 (X) je entropia systému pred a po správe. Ak H2 (X) \u003d 0, potom je meradlo neistoty systému nulová a boli získané úplné informácie o systéme.

Príklad. Chcete uhádnuť počet bodov, ktoré padne na hranie kocky. Dostali ste správu, že počet bodov padol. Aké množstvo informácií obsahuje túto správu?

Rozhodnutie. Entropy systém "hranie kocky" H1.rovný Log 2 6.pretože Kocka môže náhodne vziať šesť rovnýŠtáty (1, 2, 3, 4, 5, 6). Prijatá správa znižuje počet možných stavov do troch: (2, 4, 6), t.j. Systém entropie je teraz rovný H2 \u003d LOG 2 3. Prírastok entropie sa rovná počtu získaných informácií I \u003d H1 - H2 \u003d LOG 2 6 - LOG 2 3 \u003d LOG 2 2 \u003d 1 bit.

Na príklade demontovanej úlohy je možné vysvetliť jedno zo spoločných definícií jednotky jednotky - 1 bity: 1 bit je niekoľko informácií, ktoré znižujú neistotu stavu systému o dvakrát.

Neistota diskrétneho systému závisí od počtu svojich štátov N.

Entropy pred prijatím informácií H1 \u003d log 2 n. Ak po obdržaní informácií, neistota sa dvakrát znížila, potom to znamená, že počet stavov sa rovná n / 2 a entropy H2 \u003d log 2 N / 2. Počet prijatých informácií i \u003d h1 -H2 \u003d log 2 n - log 2 n / 2 \u003d log 2 2 \u003d 1 bit.

Zvážte niekoľko úloh na používanie Shannon a Hartley vzorec.

Úloha 2.Môže entropia systému, ktorý má náhodne jeden zo 4 stavov, je: a) 3; b) 2.1 c) 1,9 g) 1; d) 0.3? Odpoveď na vysvetlenie.

Rozhodnutie.Maximálna možná hodnota entropie systému so 4 štátmi dosiahne v prípade, keď sú všetky štáty rovnaké. Táto hodnota podľa Hartley vzorec sa rovná protokolu 2 4 \u003d 2 bity. Vo všetkých ostatných prípadoch bude entropia systému so 4 štátmi menšia ako 2. V dôsledku toho môžu byť možné hodnoty entropie z tých, ktoré sú uvedené vyššie, hodnoty 1,9, 1, 0,3.

Úloha 3.Funkcia H (x) \u003d -x * log 2 (x) je nastavená - (1-x) * log 2 (1-X). Umiestnite nasledujúce hodnoty do vzostupného poradia: H (0,9), H (0,85), H (0,45), H (0,2), H (0,15).

Rozhodnutie.Použite graf funkcie (3.5). Najvyššia hodnota bude H (0,45), najmenšia hodnota - H (0,9), potom hodnoty H (0,15) a H (0,85) \u003d H (0,15) sa vzostupujú; H (0,2). Odpoveď: H (0,9)< H(0.15)=H(0.85)< H(0.2) < H(0.45). É

Úloha 4.Správy sa prenášajú cez odkaz: A) "START_B_10"; b) loancha_1_v0. Porovnajte množstvo informácií v prvej a druhej správe.

Rozhodnutie.Prvá a druhá správa pozostávajú z rovnakých znakov: druhá sa získa od prvého v dôsledku permutácie týchto znakov. V súlade so Schannonovým vzorcom tieto správy obsahujú rovnaké množstvo informácií. V rovnakej dobe, prvá správa prináša zmysluplné informácie a druhý je jednoduchý súbor znakov. V tomto prípade však môžeme povedať, že druhá správa je "šifrovaná" možnosť prvého, a preto množstvo informácií v oboch správach je rovnaké.

Úloha 5.Získajú sa tri rôzne správy A, B, C:

A \u003d "Príchod za desiatej"; B \u003d "Príchod za desať hodín nula minút"; C \u003d "Príchod presne desať hodín." Používanie prístupu Schannon Entropy, porovnajte množstvo informácií obsiahnutých v týchto správach.

Rozhodnutie.Označujú množstvo informácií v správach A, B, C až I (A), I (B), I (c), resp. V zmysle "obsahu" sú tieto správy presne rovnaké, ale rovnaký obsah je vyjadrený použitím iného počtu znakov. V tomto prípade sú všetky symboly správy A obsiahnuté v správe B a C, správa C \u003d A + "presne", B \u003d A + "Zero minúty"; V súlade so Shannonovým prístupom získame: I (A)< I(C) < I(B).

Náš svet je založený na troch zložkách: látka, energia a informáciách. Koľko vo svete látok, energie a informácií? Je možné ich merať a ako presne? Vieme, ako merať množstvo látky a energie. Ale čo informácie? Je možné ho merať?

Predtým bolo poznamenať, že existuje niekoľko prístupov k posúdeniu počtu informácií. Teraz zostaneme podrobne na jednej z nich.

Každá správa bude informatívna, ak dopĺňa ľudské znalosti, t.j. Znižuje neistotu jeho vedomostí.

Rovnaké udalosti

Príklad 1.

Napríklad, keď hádzanie mince, snažíme sa uhádnuť, ktorá strana bude spadnúť. Jeden z možností výsledkov je možný: minca bude v polohe "Eagle" alebo "Rush". Každá z týchto dvoch podujatí bude ekvivalentná, t.j., nikto z nich nemá výhody ostatným. Pred hádzaním mince, nikto nemôže vedieť, ako to padá, t.j. Existuje neistota vedomostí. Po výskyte podujatia, naopak, existuje úplná istota, pretože hádzanie dostáva vizuálnu správu o pozícii mince, ktorá zase znižuje neistotu jeho vedomostí dvakrát, pretože jeden z dvoch rovnovážnych udalostí došlo.

Príklad 2.

Ďalším príkladom je situácia s hexagónovým kockom, t.j. Pred hodinou nikto nemôže vedieť, ktorá strana bude spadnúť. V tomto prípade existuje možnosť získať jeden výsledok šesť ekvivalentu. Pred hádzaním neistoty vedomostí o hádzaní sa bude rovnať 6, po hodení, bude to presne znížiť 6-krát, pretože je to 6 ekvivalentných udalostí, ktoré sa môžu vyskytnúť.

Príklad 3.

Zvážte príklad, kde 40 vstupeniek pripravených na skúšku. Pravdepodobnosť udalostí, ktoré sa vyskytnú pri ťahaní letenky, sa rovná 40. A tieto udalosti budú rovnaké. V rovnakej dobe, neistota vedomostí študenta pred voľbou letenky sa bude rovnať 40. V súlade s tým, neistota vedomostí po tom, čo študent absolvoval letenku, sa zníži 40-krát. Pýtame sa, či tento indikátor závisí od počtu predĺženého lístka. Nie, pretože udalosti sú rovnako).

Po analýze všetkých uvedených príkladov možno dospieť k záveru, že čím väčší počiatočný počet možných ekvivalentných udalostí, tým viac času klesá neistota vedomostí a tým viac informácií bude obsiahnutých v správe experimentu.

Ne-rovnovážne udalosti

Považovať za príkladný jazyk. Obrátime sa na fakty osvedčeného výskumu, ktoré ukazujú, že vo všetkých spolupracujúcich jazykoch sa niektoré listy vyskytujú oveľa častejšie ako iné. Výsledky výskumu potvrdzujú, že $ 1,000 písmená v rôznych jazykoch spolupráce pre iný počet opakovaní. Ako príklady v tabuľke predstavujú nejaké písmená v ruštine a angličtine:

Obrázok 1.

Okrem toho pravdepodobnosť vzhľadu jednotlivých písmen bude závisieť od toho, aké písmená sa používajú pred nimi. Takže, v ruštine po samohlásku, mäkké znamenie nikdy nemôže stáť, rovnako ako slovami, štyri samohlásky sa nepoužívajú atď. Povolené jazyky majú spravidla svoje vlastné funkcie a vzory. To je dôvod, prečo je množstvo informácií obsiahnutých v správach akéhokoľvek hovoriaceho jazyka neprijateľné vyhodnotiť pomocou Hartley vzorec, ktorý sa používa v abecednom prístupe k hodnoteniu informácií a je charakteristická z príkladov s ekvivalentnými udalosťami (príklady s mincou a kockou ).

Ako zistiť, koľko informácií obsahuje napríklad text novej "vojny a mieru", alebo fresky a plátno veľkých talianskych umelcov, alebo ľudský genetický kód? Odpovede na tieto otázky a podobné vedy ešte nie sú známe a s najväčšou pravdepodobnosťou nebudú čoskoro známe. Každý je však zaujímavý, je možné objektívne posúdiť množstvo informácií? Zahŕňa tento príklad.

Ako zistiť, či sú ekvivalentné správy "Prvá príde z budovy" a "prvá príde z budovy"? Na túto otázku neexistuje jednoznačná odpoveď. Všetko bude závisieť od toho, o akom budove hovoríme. Ak je to napríklad budova gynekologickej kliniky, potom pravdepodobnosť získania prvej ženy je veľmi vysoká, ak je to vojenské kasárne, potom pravdepodobnosť ísť von pre muža bude vyššia ako pre ženu , Ale ak je to budova kino, potom pravdepodobnosť vyjdú prvý pre muža a ženy budú rovnaké.

Posúdenie počtu informácií. Vzorec Shannon

Na riešenie problémov tohto druhu sa používa celkové hodnotenie počtu informácií navrhnutých americkými vedcami Claude Shannon v roku 1948 Vytvorené vzorcom pre určenie počtu informácií je schopný zohľadniť možnú nerovnú pravdepodobnosť správ uvedených v súbore. Shannon pri vytváraní vzorec používaného v matematike a hydrodynamike pravdepodobnosť neistoty (nazývaná entropia) s cieľom plne odhadnúť stav študovaného systému a získať čo najvyššie možné informácie o procesoch v tomto systéme. Toto hodnotenie počtu informácií je v podstate pravdepodobnosťA ako hodnotenie neistoty odráža schopnosť akéhokoľvek zdroja ukázať všetky nové a nové štáty, a tým poskytnúť informácie.

Definícia 1.

Shannon definoval entropy. Ako priemerná logaritmická funkcia mnohých pravdepodobností možných stavieb systému (možné výsledky skúseností). Vypočítať entropy Shannon navrhol nasledujúcu rovnicu:

$ H \u003d - (p_1log_2p_1 + p_2log_2p_2 + ... + P_NLOG_2P_N) $

kde $ p_i $ je pravdepodobnosť vzhľadu vo výške $ i $-event v sade $ n $ udalosti.

Potom množstvo informácií získaných v dôsledku skúseností nebude iný ako rozdiel medzi entropívom systému ($ h_0 $) a po zážitku ($ h_1 $):

okrem toho, ak je neistota v dôsledku skúseností úplne vylúčená, máme:

$ I \u003d SIGMA (P_ILOG_2P_I), I \u003d 1, DOTS, N $.

Zvážte príklad potvrdzujúci používanie tohto teórie chany v praxi.

Príklad 4.

Pescari a Perch prebývajú v jazere. Vypočítal počet jednotlivcov v každej populácii (Pescase - $ 1,500 $ a Perch - $ 500 $). Je potrebné určiť, koľko informácií je obsiahnutých v správach, ktoré rybár chytil piesok, ostriež, vo všeobecnosti?

Rozhodnutie. Udalosti úlovku Pescar alebo Perch nie sú rovnaké, pretože dibíja v jazere prebývajú oveľa menej ako Pescare.

Celkový počet Pecase a bývadúcich v jazere:

$1500 + 500 = 2000$.

Definujeme pravdepodobnosť úlovku PESCAR:

$ p_1 \u003d frac (1500) (2000) \u003d 0,75 $,

Definujeme pravdepodobnosť úlovku ostrieža:

$ P_2 - frac (500) (2000) \u003d 0,25 $.

$ I_1 \u003d log_2 (frac (1) (p_1)), i_1 \u003d log_2 (frac (1) (p_2)) $

tam, kde $ i_1 $ a $ i_2 je pravdepodobnosť úlovku piesku a ostrieža.

Množstvo informácií obsiahnutých v správe o promócii:

$ I_1 \u003d log_2 (frac (1) (0,75)) "0,43 $ bit,

Množstvo informácií obsiahnutých v Perch Perch Catch:

$ I_2 \u003d log_2 (frac (1) (0,25)) »Bity $ 2.

Množstvo informácií obsiahnutých v správe o úlovku rýb (crusian alebo Perch) vypočíta Shannon's Formula:

$ I \u003d - P_1LOG_2P_1 - P_2LOG_2P_2 $

$ I \u003d -0,75 cdot log_20,75-0,25 cdot log_20,25 \u003d -0,75 cdot (frac (log0,75) (log2)) - 0,25 cdot (frac (log0.25) (LOG2)) \u003d 0,604 bitov "0.6 $ bit.

Odpoveď: Správa obsahuje informácie o 0,6 USD.

Jeho ďalší rozvoj teórie informácií získaných v dielach Claudy Shannon, American Inžinier a matematika (1916 - 2001). Shannon je jedným z tvorcov matematickej teórie informácií. Jeho hlavné diela sú venované teórii relé-kontaktných schém, matematickej komunikačnej teórie, kybernetiky. K. Shannon študoval problémy s prenosom informácií v telegrafu, telefóne alebo vysielaní vo forme signálov elektromagnetických oscilácií. Jedna z úloh, ktorú K. Shannon pred ním položil pred ním, bolo určiť kódovací systém, ktorý vám umožní optimalizovať rýchlosť a presnosť prenosu informácií. Vzhľadom k tomu, že počas vojnových rokov pôsobil v oblasti šifrovania, kde sa angažoval na vývoj kryptografických systémov, neskôr mu pomohol otvorené metódy kódovania s korekciou chýb. Vo svojich prácach, 1948-1949, K. Shannon definoval množstvo informácií prostredníctvom entropie - sumy známej v termodynamike a štatistickej fyzike ako miera poruchy systému a na jednotku počtu informácií prijatých, čo bolo následne nazval bit (bit).

Na ďalšiu prezentáciu je potrebné použiť niektoré koncepty teórie pravdepodobnosti: náhodná udalosť, skúsenosti, pravdepodobnosť udalosti, náhodnú hodnotu. Vo svete okolo nás sa vyskytujú rôzne udalosti a my môžeme intuitívne založené na skúsenostiach, vyhodnotíme niektoré z nich čo je viac možnejšie ako iné. Náhodné sa nazýva udalosť, ktorá sa môže vyskytnúť, alebo nie na krok v dôsledku určitej skúšky, skúseností alebo experimentu. Označujeme udalosti veľkým písmom A, B, CTS atď. Kvantitatívne meradlo možnosti výskytu určitej udalosti je pravdepodobne pravdepodobne pravdepodobnosť a odkazuje sa na ASP (A), P- Od anglickej pravdepodobnosti. Čím viac možného výskytu náhodnej udalosti, tým väčšia je jeho pravdepodobnosť: ak najviac možno snáď, potom p (a)\u003e p (b). Koncepcia spoľahlivej udalosti je zavedená - udalosť, ktorá príde. Táto udalosť označuje, že je presvedčená, že jeho pravdepodobnosť () \u003d 1. Nie je možné volať udalosť, ktorá sa nikdy nestane. Označuje, že je presvedčený, že jeho pravdepodobnosť () \u003d 0. Pre pravdepodobnosť všetkých ostatných udalostí, nerovnosť sa vykonáva ()< p(A)

Pre udalosti je zavedená koncepcia sumy a práce. Súčet udalostí A + B je udalosť, ktorá spočíva v výskyte udalosti A alebo B. Práca udalostí A * B spočíva v súčasnom výskyte udalostí A a B. AIB Udalosti neúplnýAk sa nemôžu spojiť ako výsledok jedného testu. Pravdepodobnosť množstva neúplných udalostí sa rovná súčtu ich pravdepodobnosti. Ak A a v neúplných udalostiach, potom p (A + B) \u003d P (A) + p (B).

Udalosti A1, A2, A3, ... Konvertovať plná skupinaAk v dôsledku skúseností príde aspoň jeden z nich. Ak sú udalosti A1, A2, A3, ... nahnevaný sú nezrozumiteľné a tvoria kompletnú skupinu, potom súčet ich pravdepodobnosti P1 + P2 + P3 + ... .pn \u003d 1. Ak sú tiež rovnako, potom sa pravdepodobnosť každého je rovná \u003d 1 / n, kde sa počet udalostí. Pravdepodobnosťudalosti sú definované ako pomer počtu priaznivých udalostí skúseností v celkovom počte výsledkov. Frekvenciaudalosti sú empirickou aproximáciou jeho pravdepodobnosti. Vypočíta sa v dôsledku série experimentov ako postoj počtu experimentov, v ktorých sa udalosť dostala na celkový počet experimentov. S veľkým počtom experimentov (testov) sa frekvencia udalosti zaviazala k jeho pravdepodobnosti.

K. Shannon, pomocou prístupu R. Hartleyho, upozornil na skutočnosť, že pri vysielaní verbálnych správ nie je frekvencia (pravdepodobnosť) používania rôznych písmen abecedy rovnaká: niektoré písmená sa používajú veľmi často, iné sú zriedkavé.

Zvážte abecedu m pozostávajúcu z ISMS. Označujú pravdepodobnosť (frekvencia) vzhľadu i-th symbolu v ľubovoľnej polohe prenášanej správy pozostávajúcej z n znakov. Jeden symbol IMA abecedy nesie množstvo informácií rovných -log 2 (p i). Pred nákladmi na logaritmus "mínus", pretože množstvo informácií je negatívny a log 2 (x)<0 при 0

Môže existovať akýkoľvek charakter abecedy A M na mieste každého symbolu; Množstvo informácií o jednej správe sa rovná priemernej hodnote informácií o všetkých znakoch abecedy A M:

Celkový počet informácií obsiahnutých v správe z N znakov je:

(3.2)

Ak sa všetky znaky abecedy a m objavujú s rovnakou pravdepodobnosťou, potom všetky p i \u003d p. Tak sondy i \u003d 1, potom p \u003d 1 / m.

Vzorec (3.2) v prípade, že všetky znaky abecedy sú rovnaké, berie

Záver: Shannon Formula (3.2) V prípade, že všetky symboly abecedy sú rovnako rovnaké ako Hartley vzorec (2.2).

Vo všeobecnosti sa počet entropie systému HPC X (náhodná premenná), ktorá môže byť v M pre rôzne stavy x 1, x 2, ... XM sa otočí na P1, P 2, ... Pm, vypočítané Shannonovým vzorcom, rovnocenným

(3.3)

Pripomeňme, že p1 + p 2 + ... + p m \u003d 1. Ak sú všetky p, sú rovnaké, potom všetky štáty systému X sú rovnako rovnaké; V tomto prípade p i \u003d 1 / m a vzorca (3.3) vstupuje do Hartley vzorca (2.5): H (x) \u003d log 2 (M).

Komentár.Počet entropie systému (náhodná premenná) X nezávisí od toho, na ktorom špecificky uvádza x 1, x 2, ... XM môže byť systém, ale závisí od počtu štátov a pravdepodobnosti P 1, P 2 ,. .. PM, s ktorým môže byť systém v týchto štátoch. To znamená, že dva systémy, v ktorých je počet štátov rovnako, a pravdepodobnosť týchto stavov P 1, P 2, ... p m sú rovné (s presnosťou poradia zoznamu), majú rovnakú entropiu.

Teorem.Maximálna entropia H (x) sa dosiahne, keď sú všetky stavy systému rovnako rovnaké. Znamená to, že

(3.4)

Ak systém X môže byť len v jednom stave (m \u003d 1), potom je jeho entropia nula. Zvážte systém, ktorý môže užívať len dva štáty X1 a X2 s pravdepodobnosťmi P1 a P1:

Počet entropie takéhoto systému je rovnaký

H (x) \u003d - (1/2 * log 2 (1/2) + 1/2 * LOG 2 (1/2)) \u003d -LOG 2 (1/2) \u003d LOG 2 (2) \u003d 1

Táto suma sa berie ako jednotka merania entropie (informácie) a sa nazýva 1 bit (1 bit).

Zvážte funkciu

h (x) \u003d - (x * log 2 (x) + (1-x) * log 2 (1-x)). (3.5)

Oblasť jeho definície je interval (0; 1), limlh (x) \u003d 0, na x 0 alebo 1. Plán tejto funkcie je znázornený na obrázku:

Obr. 4. Funkčný plán (3.5)

Ak označíte X podľa P1, A (1-X) cez P2, TOP 1 + P2 \u003d 1; P1, P2  (0; 1), H (X) \u003d H (P1, P2 ) \u003d - (P 1 * LOG 2 (P 1) + (P 2) * LOG 2 (P 2)) - Entropia systému s dvoma štátmi; Maximálna hodnota H sa dosiahne o 1 \u003d p2 \u003d 0,5.

H (x) graf môže byť použitý pri riešení nasledujúcich úloh:

Úloha 1. Tri náhodné premenné X, Y, Z sú uvedené, z ktorých každý má dve hodnoty s pravdepodobnosť:

P (x \u003d x1) \u003d 0,5; P (x \u003d x2) \u003d 0,5;

P (y \u003d y1) \u003d 0,2; p (y \u003d y2) \u003d 0,8;

P (z \u003d Z1) \u003d 0,3; P (z \u003d z2) \u003d 0,7.

Nahrávanie P (X \u003d X1) \u003d 0,5 znamená, že náhodná hodnota X má hodnotu X1 s pravdepodobnosťou 0,5. Musí sa zabezpečiť entropiu týchto systémov vo vzostupnom poradí.

Rozhodnutie. Entropy H (x) sa rovná 1 a bude najväčší; Entropy H (Y) sa rovná hodnote funkcie H (X), pozri (3.5), ATX \u003d 0,2, t.e.H (Y) \u003d H (0,2); Entropyh (Z) \u003d H (0,3). Podľa grafu h (x) sa dá určiť, že H (0,2)< h(0.3). Следовательно, H(Y) < H(Z) < H(X).

Poznámka 1.Entropia systému je väčšia, tým menej rozdiel medzi pravdepodobnosťami svojich štátov od seba. Na základe toho môžeme konštatovať, že h (y)< H(Z). Например, если для систем X и Y с тремя состояниями заданы вероятности: дляX{0.4; 0.3; 0.3}, дляY{0.1; 0.1; 0.8}, то очевидно, что неопределённость системыXбольше, чем неопределённость системыY: у последней, скорее всего, будет реализовано состояние, вероятность которого равна 0.8 .

Entropy H (x) charakterizuje stupeň neistoty systému. Čím väčšia je množstvo informácií prijatých o informačnom systéme, tým viac informácií o systéme a menej neistý jeho štát bude pre príjemcu informácií.

Ak sa entropia systému po prijatí informácií stane rovnou nule, znamená to, že neistota zmizla, všetky entropy "prekrížené" do informácií. V tomto prípade sa hovorí, že boli získané úplné informácie o systéme X. Počet informácií získaných s plným objasnením stavu fyzického systému, ktorý sa rovná entropii tohto systému.

Ak po prijatí určitého posolstva je neistota systému nižšia, ale vôbec nezmizla, množstvo informácií obsiahnutých v správe sa rovná prírastku entropie:

I \u003d H1 (x) - H2 (X), (3.6)

kde H1 (x) a H2 (X) je entropia systému pred a po správe. Ak H2 (X) \u003d 0, potom je meradlo neistoty systému nulová a boli získané úplné informácie o systéme.

Príklad. Chcete uhádnuť počet bodov, ktoré padne na hranie kocky. Dostali ste správu, že počet bodov padol. Aké množstvo informácií obsahuje túto správu?

Rozhodnutie. Entropia systému "hranie kocky" H1 je rovná log 2 6, pretože Kocka môže náhodne vziať šesť rovnýŠtáty (1, 2, 3, 4, 5, 6). Prijatá správa znižuje počet možných stavov do troch: (2, 4, 6), t.j. Entropia systému je teraz rovná H2 \u003d log 2 3. Prírastok entropie sa rovná počtu získaných informácií I \u003d H1 - H2 \u003d LOG 2 6 - LOG 2 3 \u003d LOG 2 2 \u003d 1BIT.

Na príklade demontovanej úlohy je možné vysvetliť jedno zo spoločných definícií jednotky jednotky - 1 bity: 1 bit je množstvo informácií, ktoré znižujú neistotu stavu systému dvakrát.Neistota diskrétneho systému závisí od počtu svojich štátov. Entropia pred prijatím informačnej formyH1 \u003d log 2 N. Ak po obdržaní informácií, neistota sa dvakrát znížila, potom to znamená, že počet štátov sa stal rovnakou tonou / 2 a Entropyh2 \u003d log 2 N / 2. Počet informácií CICIGI \u003d H1 -H2 \u003d LOG 2 N-LOG 2 N / 2 \u003d LOG 2 2 \u003d 1 BITY.

Zvážte niekoľko úloh na používanie Shannon a Hartley vzorec.

Úloha 2.Môže entropia systému, ktorý má náhodne jeden zo 4 stavov, je: a) 3; b) 2.1 c) 1,9 g) 1; d) 0.3? Odpoveď na vysvetlenie.

Rozhodnutie.Maximálna možná hodnota entropie systému so 4 štátmi dosiahne v prípade, keď sú všetky štáty rovnaké. Táto hodnota podľa Hartley vzorec je rovná tolog 2 4 \u003d 2 bity. Vo všetkých ostatných prípadoch bude entropia systému so 4 štátmi menšia ako 2. V dôsledku toho môžu byť možné hodnoty entropie z tých, ktoré sú uvedené vyššie, hodnoty 1,9, 1, 0.3.

Úloha 3.Funkcia je nastavená (x) \u003d -x * log 2 (x) - (1-x) * log 2 (1-x). Umiestnite nasledujúce hodnoty do vzostupného poradia: H (0,9), H (0,85), H (0,45), H (0,2), H (0,15).

Rozhodnutie.Použite graf funkcie (3.5). Najvyššia hodnota bude H (0,45), najmenšia hodnota - H (0,9), potom vzostupne hodnoty sú platné (0,15) ICH (0,85) \u003d H (0,15); H (0,2). Odpoveď: H (0,9)

Úloha 4.Správy sa prenášajú cez odkaz: A) "START_B_10"; B) "loancha_1_v0". Porovnajte množstvo informácií v prvej a druhej správe.

Rozhodnutie.Prvá a druhá správa pozostávajú z rovnakých znakov: druhá sa získa od prvého v dôsledku permutácie týchto znakov. V súlade so Schannonovým vzorcom tieto správy obsahujú rovnaké množstvo informácií. V rovnakej dobe, prvá správa prináša zmysluplné informácie a druhý je jednoduchý súbor znakov. V tomto prípade však môžeme povedať, že druhá správa je "šifrovaná" možnosť prvého, a preto množstvo informácií v oboch správach je rovnaké.

Úloha 5.Získajú sa tri rôzne príspevky, b, c:

A \u003d "Príchod za desať hodín"; b \u003d "príchod za desať hodín nulových minút"; c \u003d "príchod je presne desať hodín." Používanie prístupu Schannon Entropy, porovnajte množstvo informácií obsiahnutých v týchto správach.

Rozhodnutie.Označujú množstvo informácií v správach A, B, C PCSI (A), I (B), I (C), resp. V zmysle "obsahu" sú tieto správy presne rovnaké, ale rovnaký obsah je vyjadrený použitím iného počtu znakov. V tomto prípade sú všetky symboly správy A obsiahnuté v správe B a C, správa C \u003d A + "presne", B \u003d A + "Zero minúty"; V súlade so Shannonovým prístupom získame: I (A)< I(C) < I(B).

Americký inžinier R. HARTLEY V roku 1928 proces získavania informácií považovaný za výber jednej správy z konečného striedania danej súpravy N. ekvivalentné správy a množstvo informácií I.obsiahnuté vo vybranej správe definované ako binárne logaritmus N. .

Vzorec Hartley:

I \u003d log2. N.

Predpokladajme, že potrebujete uhádnuť jedno číslo zo sady čísel od jedného do sto. Podľa Hartleyho vzorca môžete vypočítať, koľko informácií je potrebných na tento: i \u003d log2100\u003e 6,644. Správa o správnom uhádovom čísle sa teda obsahuje množstvo informácií, približne rovné 6,644 jednotiek informácií.

Dávame ostatným príklady ekvivalentných správ:

1. Pri hádzaní mincí: "Ružk spadol", "Eagle padol";

2. Na stránke knihy: "Počet písmen je jasný", "Počet písmen písmen".

Definujeme teraz sú ekvivalentné správy "Prvý z nich vyjde z dverí budovy. a "Prvý z nich vyjde z dverí budovy muža". Jednoznačne odpovedať na túto otázku nemôže. To všetko závisí od toho, o akom budove hovoríme. Ak je to napríklad stanica metra, potom pravdepodobnosť dostať sa z dverí je prvý pre muža a ženy, a ak je to vojenské kasárne, potom pre človeka je táto pravdepodobnosť výrazne vyššia ako pre žena.

Pre úlohy tohto druhu amerického vedca Claude Shannon Navrhol v roku 1948 ďalší vzorec na určenie počtu informácií, ktoré zohľadňujú možnú nerovnú pravdepodobnosť správ v súbore.

Shannon Formula:

I \u003d - ( p. \\ t1log2. p. \\ t1 + p. \\ t2 log2. p. \\ t2 +... + p. \\ tN log2. pn.),

Kde pi - pravdepodobnosť, že i.-E-správa je zvýraznená v súbore N. správy.

Je ľahké vidieť, že ak pravdepodobnosť p. \\ t1, ...,pn. rovná, potom sa každý z nich rovný 1 / N.A Shannon's Formula sa zmení na Hartley vzorec.

Claude Shannon určený informácie ako odstrániť neistotu . Presnejšie povedané, prijímanie informácií je nevyhnutnou podmienkou na odstránenie neistoty. Neistota vzniká vo výberovej situácii. Úloha, ktorá je riešená počas odstraňovania neistoty, je znížiť počet posudzovaných možností (zníženie rozmanitosti), a prípadne výber jednej zodpovedajúcej situácie z možnosti z počtu možných. Rozhodnutia o neistote umožňuje vykonať informované riešenia a zákon. Toto je úloha riadenia informácií.

Predstavte si, že ste išli do obchodu a požiadali ste, aby ste predali žuvačku. Saleswoman, ktorý, kto, povedzme, 16 stupňov žuvačky je v stave neistoty. Nemôže splniť vašu žiadosť bez ďalších informácií. Ak ste zadali, povedzme, "Orbit", a od 16 počiatočných možností pre predaja sa teraz domnieva len 8, ste znížili svoju neistotu dvakrát (beží dopredu, povedzme to zníženie neistoty dvakrát vyhovuje získaniu 1 bitov informácií ). Ak ste, bez toho, aby ste spôsobili väzbu, jednoducho uviedli prst na okne obchodu, "toto je toto!", Neistota bola úplne odstránená. Opäť, beží dopredu, povedzme, že toto gesto v tomto príklade ste informovali predajňu 4 bity informácií.

Situácia maximálna neistota Lisuje prítomnosť niekoľkých rovný Alternatívy (možnosti), t.j. Žiadna z možností nie je vhodnejšia. A ekvivalentné možnosti pozorované, tým väčšia je neistota, tým ťažšie je urobiť jednoznačnú voľbu a vyžaduje sa viac informácií urobiť toto. Pre N. Možnosti Táto situácia je opísaná nasledovnou distribúciou pravdepodobnosti: (1 / N.,1/ N., …,1/ N.} .

Minimálna neistota rovná 0. táto situácia Úplná istota , čo znamená, že výber je vytvorený a všetky potrebné informácie. Distribúcia pravdepodobností pre situáciu úplnej istoty vyzerá takto: (1, 0, ... 0).

Množstvo charakterizujúce množstvo neistoty v teórii informácií je označená symbolom. H. a má meno entropia , presnejšie informačná entropia. .

Entropia ( H.) – meranie neistoty , vyjadrené v bitoch. Tiež je možné zobraziť entropy zmerajte jednotnosť distribúcie náhodná premenná.

Obr. 3.4 správanie entropie pre prípad dvoch alternatív

Na obr. 3.4 ukazuje správanie entropie pre prípad dvoch alternatív, pri zmene pomeru ich pravdepodobnosti ( P. \\ t, (1-P. \\ t)).

Maximálna hodnota entropie dosahuje v tomto prípade, keď sa obe pravdepodobnosti sú rovnaké a sú rovné 1/2, nulová hodnota entropie zodpovedá prípadom ( P. \\ t0=0, P. \\ t1 \u003d 1) a ( P. \\ t0=1, P. \\ t1=0).

Počet informácií I. a entropy H. Charakterizovať rovnakú situáciu, ale z veľmi opačných strán. I je množstvo informácií, ktoré sú potrebné na odstránenie neistoty H. Podľa definície Leon Brilllyuen informácie sú záporné entropy(nemecký) .

Keď je neistota úplne odstránená, počet prijatých informácií I. Rovnako pôvodne existujúca neistota H..

V prípade čiastočného odstránenia neistoty je výsledná suma informácií a zostávajúca zbytočná neistota vo výške počiatočnej neistoty. Ht + to \u003d h(Obr. 3.5).

Obr. 3.5 Komunikácia medzi entropie a počet informácií

Z tohto dôvodu sa vzorce, ktoré budú uvedené nižšie, aby sa vypočítala entropia H. sú vzory na výpočet počtu informácií I.. pokiaľ ide o úplné odstránenie neistoty, H.môžu byť nahradené I..

Všeobecne, Entropy H. a suma získaná v dôsledku odstránenia neistoty informácií I. závisia od počiatočného počtu posudzovaných možností N. a priori pravdepodobnosť implementácie každého z nich P:{p. \\ t0,p. \\ t1, …,pN-1), t.j. H \u003d F.(N.,P. \\ t). Výpočet entropie v tomto prípade sa vyrába podľa Shannonového vzorca Navrhol ho v roku 1948 v článku "Matematická komunikačná teória".

NajmäKeď všetky možnosti uvoľnite sa, Závislosť zostáva len na počte posudzovaných možností, t.j. H \u003d F.(N.). V tomto prípade sa reprodukt Channec výrazne zjednoduší a zhoduje sa s vzorec Hartley , ktorý prvýkrát navrhol American Engineer Ralph Hartley v roku 1928, t.j. 20 rokov skôr.

Shannon's Formula má nasledujúci formulár:

Značka mínus vo vzorci (2.1) neznamená, že entropia je záporná hodnota. Je vysvetlený tým, že pi£ 1 podľa definície a logaritmus menšej jednotky je záporná hodnota. Podľa vlastnosti logaritmu, takže tento vzorec môže byť zaznamenaný v druhej verzii bez mínus pred súčtom sumy.

Výraz sa interpretuje ako súkromné \u200b\u200bmnožstvo informácií. To.v prípade implementácie i.Možnosť. Entropia v Shannonovom vzore je priemerná charakteristika - matematické očakávania distribúcie náhodnej premennej ( I.0,I.1, …,I n-1} .

Uvedeme príklad výpočtu entropie podľa Shannonového vzorca. Povie do určitej inštitúcie, zloženie pracovníkov sa distribuuje takto: 3/4 - ženy, 1/4 - muži. Potom sa vypočíta neistota, napríklad, ako sa stretnete s prvým, prejdením do inštitúcie, budú vypočítané vedľa akcií uvedených v tabuľke. 3.1.

Tabuľka 3.1

Už sme spomenuli, že Hartley vzorec je špeciálnym prípadom Shannonovej vzorce pre ekvivalentné alternatívy.

Namiesto toho nahradenie vo vzorci (2.1) pi (v rovnocennom prípade, nezávisle od i.) Hodnota, dostaneme:

Vzorec Hartley teda vyzerá veľmi jednoduché:

Je jasné, že čím viac alternatív ( N.), tým väčšia je neistota ( H.). Logaritmation založený na 2 poskytuje počet možností na meranie informácií - bity. Obrázok 3.6 predstavuje závislosť entropie na počtu ekvivalentných možností výberu.

Obr. 3.6 Závislosť entropie na počte možností výberu rovnováhy (ekvivalentné alternatívy)

Ak chcete vyriešiť inverzné problémy, keď je známa neistota ( H.) alebo množstvo informácií získaných v dôsledku jeho odstránenia ( I.) A musíte určiť, koľko rovnako alternatívne zodpovedá vzniku tejto neistoty, použite reverzný vzorec Hartley, ktorý vyzerá ešte jednoduchšie:

Napríklad, ak je známe, že v dôsledku stanovenia skutočnosti, že Kolya Ivanov, ktorí majú záujem o druhé poschodie, bolo získaných 3 bitov informácií, počet podlaží v dome sa môže stanoviť vzorcom (2.3) ako N \u003d23= 8Jetages.

Ak je otázka nasledovná: "V dome 8 poschodí, koľko informácií sme dostali, keď sa dozvedel, že Kolya Ivanov záujem o druhé poschodie?" Je potrebné použiť vzorca (2.2): I \u003d.lOG2 (8) \u003d 3 BITY.

Doteraz sme dali vzorce pre výpočet entropie (neistota) H.ukazovať H. Môžu byť nahradené I.Pretože množstvo prijatých informácií s úplným vysídlením neistoty Určitú situáciu, kvantitatívne rovná počiatočnej entropii tejto situácie.

ale neistota možno čiastočne odstrániť len množstvo informácií IOdvodené z určitej správy sa vypočíta ako zníženie entropie, ktorá sa vyskytla v dôsledku prijatiatoto správa.

Pre ekvivalentný prípadPoužitie na výpočet entropyho vzorca Hartley, dostaneme:

Druhá rovnosť sa zobrazí na základe vlastností logaritmu. Tak, v racionálnom prípade I. záleží na koľko krát Výška posudzovaných možností výberu sa zmenila (posudzovaná rôznorodosť).

Na základe (3.5) môžete vybrať nasledovné:

Ak je potom úplné odstránenie neistoty, počet informácií prijatých v správe sa rovná neistote, ktorá existovala pred prijatím správy.

Ak sa preto neistota nezmenila neistota, neexistovali žiadne informácie.

Ak, potom \u003d\u003e,

ak, potom \u003d\u003e.

Tí. Počet prijatých informácií bude pozitívnou hodnotou, ak v dôsledku prijímania správy sa počet alternatív zvažuje, a negatívne, ak je viac.

Ak sa počet alternatív posudzovaných v dôsledku prijímania správy bola znížená, t.j. I.\u003d log2 (2) \u003d 1 trocha.Inými slovami, získanie 1 bitov informácií vylučuje z hľadiska polovice rovnocenných možností.

Zvážte ako príklad Skúsenosti s balíkom 36 kariet (obr.3.7).

Obr. 3.7 ilustrácie pre skúsenosti s balíkom 36 kariet

Nech si niekto vyberie jednu kartu z paluby. Máme záujem o ktoré jeden z 36 kariet vytiahol. Počiatočná neistota vypočítaná vzorcom (3.2), je H \u003d.lOG2 (36) @ 5,17 trocha. Očakávaná mapa nám hovorí niektoré z informácií. Použitie vzorca (3.5), určujeme, koľko informácií získavame z týchto správ:

Možnosť A. "Toto je mapa červeného obleku."

I.\u003d LOG2 (36/18) \u003d LOG2 (2) \u003d 1BITS (červené karty v palube polovice, neistota sa znížila o 2 krát).

Variant B. "Toto je platforma píku".

I.\u003d LOG2 (36/9) \u003d LOG2 (4) \u003d 2 BITS (PEKOVÉ KARTY MOŽNOSTI MOŽNOSTI DOSTATOČNOSTI DOSTATOČNOSTI, neistota sa znížila o 4 krát).

Možnosť C. "Toto je jedna z vyšších kariet: krúžky, dáma, kráľ alebo eso."

I.\u003d Log2 (36) -LOG2 (16) \u003d 5,17-4 \u003d 1,17 bity (neistota znížila viac ako dvakrát, preto množstvo získaných informácií je väčšie ako jeden bit).

Variant D. "Toto je jedna karta z paluby."

I.\u003d LOG2 (36/36) \u003d LOG2 (1) \u003d 0 BITS (neistota nebola klesá - správa nie je informatívna).

Uskutočnenie E. "Toto je pani vrchol."

I.\u003d LOG2 (36/1) \u003d LOG2 (36) \u003d 5.17 BIT (neistota úplne odstránená).

Úloha 1.Aké množstvo informácií bude obsahovať vizuálnu správu o farbe rozbitej gule, ak sa nachádza 50 biela, 25 červená, 25 modrých guličiek sa nachádza v nepriehľadnej taške?

Rozhodnutie.

1) Celkové guľôčky 50 + 25 + 25 \u003d 100

2) Pravdepodobnosť lopty 50/100 \u003d 1/2, 25/100 \u003d 1/4, 25/100 \u003d 1/4

3)I. \u003d - (1/2 log21 / 2 + 1/4 log21 / 4 + 1/4 log21 / 4) \u003d - (1/2 (0-1) +1/4 (0-2) +1/4 (0 -2) \u003d \u003d 1,5 bitov

Úloha 2. Košík leží 16 guličiek rôznych farieb. Koľko informácií je správa, že máte bielu loptu?

Rozhodnutie. Pretože N \u003d 16 guľôčok, potom i \u003d log2 n \u003d log2 16 \u003d 4 bity.

Úloha 3.V košíku ležia čierne a biele gule. Medzi nimi18 Black Balls. Správa, že biela lopta bola odobratá, nesie 2 bity informácií. Koľko loptičiek v košíku?

1) 18 2) 24 3) 36 4)48

Rozhodnutie. Nájdeme pravdepodobnosť získania bielej gule podľa Shannonu: LOG2N \u003d 2, N \u003d 4, preto pravdepodobnosť získania bielej misky je 1/4 (25%), a pravdepodobnosť získania čiernej gule, resp. 3/4 (75%). Ak 75% všetkých čiernych loptičiek, ich číslo 18, potom 25% všetkých bielych guľôčok, ich číslo (18 * 25) / 75 \u003d 6.

Zostáva nájsť počet všetkých loptičiek v košíku 18 + 6 \u003d 24.

Odpoveď: 24 loptičiek.

Úloha 4.V niektorých krajinách sa počet kusov vozidla z tvoria veľké písmená (používajú sa 30 písmen) a desatinné číslice v ľubovoľnom poradí. Každý symbol je kódovaný v rovnakom a minimálne možné množstvo bitov a každé číslo je rovnaké a minimálne možné bodu. Určite množstvo pamäte potrebnej na ukladanie 50 čísel vozidiel.

1) 100 Byte 2) 150 Bytes 3) 200 Bytes 4) 250 bajtov

Rozhodnutie. Počet znakov používaných na kódovanie čísla je: 30 písmen + 10 číslic \u003d 40 znakov. Množstvo informácií, ktoré nesú jeden znak, je 6 bitov (2i \u003d 40, ale množstvo informácií nemôže byť frakčné číslo, preto si vezmeme najbližší stupeň dvojitého počtu znakov 26 \u003d 64).

Zistili sme, že množstvo informácií zabudovaných v každom symbolu, počet znakov v miestnosti je 5, preto 5 * 6 \u003d 30 bitov. Každé číslo je 30 bitov informácií, ale podľa stavu úlohy je každé číslo zakódované rovnaké a minimálne možné množstvo bajtov, preto musíme vedieť, koľko bajtov v 30 bitoch. Ak je rozdelený 30 až 8, bude získané frakčné číslo, a musíme nájsť celú sumu bajtu pre každé číslo, takže nájdeme najbližší multiplikátor 8-Ki, ktorý presahuje počet bitov, je 4 (8 * 4 \u003d 32). Každé číslo je kódované 4 bajtami.

Pre skladovanie 50 čísel vozidiel budete potrebovať: 4 * 50 \u003d 200 bajtov.

Výber optimálnej stratégie v hre "Hádajte číslo". Prijatie maximálneho počtu informácií, výber optimálnej stratégie v hre "Hádaj číslo" je postavené, v ktorom prvý účastník robí celé číslo (napríklad 3) zo špecifikovaného intervalu (napríklad od 1 až 16) a druhý by mal "uhádnuť" zamýšľané číslo. Ak túto hru zvážite z informačného hľadiska, počiatočná neistota vedomostí pre druhého účastníka je 16 možných udalostí (možnosti tajomných čísel).

S optimálnou stratégiou by mal interval číslo vždy zdieľať na polovicu, potom počet možných udalostí (čísla) v každej z získaných intervalov bude rovnaké a nastavenie intervalov je rovnako. V tomto prípade, pri každom kroku, odpoveď prvého hráča ("áno" alebo "nie") bude znášať maximálne množstvo informácií (1 bit).

Ako možno vidieť z tabuľky. 1.1, hádať číslo 3 nastalo v štyroch krokoch, z ktorých každá neistota vedomostí druhého účastníka sa dvakrát znížila prijatím správy od prvého účastníka obsahujúceho 1 bit informácií. Množstvo informácií potrebných na gueads jeden z 16 čísel predstavoval 4 bity.

Skontrolujte otázky a úlohy

1. A priori je známe, že lopta je v jednom z troch URN: A, IN alebo C. Určuje, koľko bitov informácií obsahuje správu, že je v URN V.

Možnosti:1trocha,1,58trocha,2trocha,2,25trocha.

2. Pravdepodobnosť prvej udalosti je 0,5 a druhá a tretina 0,25. Čo sa distribúcia rovná informačnej entropii. Možnosti:0,5trocha,1 trocha,1,5trocha,2trocha,2,5trocha,3trocha.

3. Tu je zoznam zamestnancov určitej organizácie:

Určite množstvo informácií, ktoré chýbajú, aby splnili tieto požiadavky: \\ t

Zavolajte IVANOV do telefónu.

Mám záujem o jedného z vašich zamestnancov, narodil sa v roku 1970.

4. Ktoré správy nesie viac informácií:

· V dôsledku toho, že mince (Eagle, Rush), páčka klesla.

· Na semafore (červená, žltá, zelená) je teraz zelené svetlo.

· V dôsledku obnovenia hracieho kosti (1, 2, 3, 4, 5, 6), 3 body klesli.

Najrozšírenejší pri určovaní priemerného počtu informácií, ktoré sú obsiahnuté v správach zo zdrojov najdôležitejšieho charakteru, získal prístup. Shannon. Zvážte nasledujúcu situáciu.
Zdroj prenáša základné signály k. Odlišné typy. Poďme nasledovať pomerne dlhý segment správy. Nechajte to mať N.1 prvého typu signálov, N.2 signály druhého typu, ..., N.k. Signály k.- typ, a N.1 + N.2 + ... + N.k. = N. - celkový počet signálov v pozorovanom segmente, \\ t f.1, f.2, ..., f.k. - frekvencie zodpovedajúcich signálov. Ako zvýšenie dĺžky segmentu správy, každá z frekvencií má tendenciu k pevnému limitu, t.j.
Lim. f.i. = p. \\ ti., (i. = 1, 2, ..., k.),
Kde ročníki. Môžete zvážiť pravdepodobnosť signálu. Predpokladajme, že prijatý signál i.-HO Typ s pravdepodobnosťou ročníki.obsahujúce - log p. \\ ti. Jednotiek informácií. V posudzovanom segmente i.- Signál sa stretne približne Np.i. Times (predpokladáme to N. dostatočne veľké) a všeobecné informácie dodané signálmi tohto typu sa budú rovnať práci Np.i. Log. ročníki.. To isté sa vzťahuje na signály akéhokoľvek iného typu, takže plné množstvo informácií dodaných segmentom od N. signály budú približne rovnaké

Určiť priemerné množstvo informácií o jednom signáli, t.j. Špecifický zdroj informácií, musíte toto číslo rozdeliť N.. S neobmedzeným rastom, približná rovnosť pôjde do presného. V dôsledku toho sa získa asymptotický pomer - vzorec Shannonu

Nedávno sa stal menej časté ako slávny vzorec Einstein E. = mC. 2. Ukázalo sa, že vzorca navrhnutý Hartley je špeciálnym prípadom všeobecnejšieho vzorca Shannonu. Ak je v Schannam Formuli
ročník1 = p. \\ t2 = ... = ročníki. = ... =p. \\ tN. = 1/N.T.

Prihlásenie mínus v Shannonovom vzorci neznamená, že množstvo informácií v správe je záporná hodnota. Je vysvetlený tým, že pravdepodobnosť ročníkPodľa definície, menej ako jednej, ale viac nula. Od logaritmu menšej jednotky, t.j. Log. p. \\ ti. - Hodnota je negatívna, potom produkt pravdepodobnosti na logaritme čísla bude pozitívny.
Okrem tohto vzorca Shannon navrhol abstraktné komunikačné schémy pozostávajúce z piatich prvkov (zdroj informácií, vysielač, komunikačné linky, prijímače a adresáta) a formulovanú šírku pásma, hluková imunita, kódovanie atď.
V dôsledku vývoja teórie informácií a jeho žiadostí, Shannonove myšlienky rýchlo distribuovali svoj vplyv na najrôznejšie oblasti vedomostí. Bolo zistené, že vzorec Shannonu je veľmi podobný vzorec entropie používaných vo fyzike, odvodenej BOLTZMANNOM. Entropia označuje stupeň poruchy štatistických foriem molekúl. Entropia je maximálna s ekvivalentnou distribúciou parametrov pohybu molekúl (smer, rýchlosť a priestorová poloha). Hodnota entropie sa znižuje, ak je usporiadaný pohyb molekúl. Keďže usporiadanie usporiadanie sa zvyšuje, entropia má tendenciu nula (napríklad, keď je možná iba jedna hodnota a smer rýchlosti). Pri vypracovaní správy (text) s pomocou entropie je možné charakterizovať stupeň fragility pohybu (striedanie) znakov. Text s maximálnym entropia je text s nedostatočnou distribúciou všetkých písmen abecedy, t.j. S bezvýznamnou striedaním písmen, napríklad: YhhZZZZZCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHCHYADVLVLOAAAAAAPAIMYUYUHB SBSM. Ak sa pri vypracúvaní textu zohľadňuje skutočná pravdepodobnosť písmen, potom v takto získanej "fráze" bude určitá konateľnosť z pohybu listov, regulovaná frekvenciou ich vzhľadu: OZOK OKRS aksh tshi.
Pri zohľadnení pravdepodobností štvorpísmenových kombinácií sa text stane takou objednanou, že podľa niektorých formálnych funkcií sa blíži zmysluplné: nie je suché a nepo a corco. Dôvodom pre takéto objednanie v tomto prípade sú informácie o štatistických vzoroch textov. Zmysluplné texty, usporiadané, prirodzene, ešte vyššie. Takže vo fráze prišlo ... jar Máme ešte viac informácií o pohybe (striedanie) listov. Text podľa textu teda zvyšuje objednávanie a informácie, ktoré máme o texte, a entropia (miera poruchy) sa znižuje.
Použitie rozdielu vo vzorcoch počtu informácií Shannonu a ertropie Boltzmann (rôzne príznaky), L. Brilliarian informácie ako negatívna entropia, alebo negantropy.. Keďže entropia je mierou poruchy, potom informácie môžu byť definované ako meranie materiálových systémov .
Vzhľadom k tomu, že vzhľad vzorca sa zhoduje, možno predpokladať, že koncepcia informácií nepridáva nič k konceptu entropie. Nie je to však. Ak sa koncepcia entropie predtým používala len na systémy, hľadajúce termodynamické rovnováhy, t.j. K maximálnej poruche v pohybe jeho zložiek, na zvýšenie entropie, koncepcia informácií tiež venovala pozornosť týmto systémom, ktoré nezvyšujú entropiu, ale naopak, sú v štáte s malými hodnotami entropie , majú tendenciu ďalej znížiť ho.

Je ťažké preceňovať význam myšlienok teórie informácií vo vývoji širokej škály vedeckých oblastí.
Avšak podľa K. Shannonu, všetky nevyriešené problémy nemôžu byť vyriešené takými magickými slovami, ako sú "informácie", "entropy", "redundancia".
Teória informácií je založená na pravdepodobnostných, štatistických vzoroch javov. Dáva užitočné, ale nie univerzálny prístroj. Preto mnohé situácie sa nezmestia do informačného modelu Shannon. Nie je vždy možné predurčiť zoznam všetkých štátnych štátov a vypočítať ich pravdepodobnosti. Okrem toho sa v teórii informácií považuje len formálna strana správy, zatiaľ čo jeho význam zostáva stranou. Systém radarových staníc vedie napríklad k pozorovaniu vzdušného priestoru, aby sa zistil systém leteckej dopravy súpera S.nasleduje pozorovanie, môže byť v jednom z dvoch štátov x.1 - nepriateľ je, x.2 - Žiadny nepriateľ. Význam prvej správy sa nedá posúdiť pomocou pravdepodobnostného prístupu. Tento prístup a opatrenie na základe množstva informácií vyjadrujú predovšetkým "štrukturálnu syntaktickú" strane svojho prevodu, t.j. Vyjadriť vzťah signálov. Koncepcie "pravdepodobnosti", "neistoty", s ktorým je pridružený koncept informácií, predpokladajte proces voľby. Tento proces možno realizovať len vtedy, ak existuje mnoho možností. Bez toho môžu byť predpokladané podmienky, prenos informácií je nemožné.