Může existovat nějaká abeceda symbol v poloze každého symbolu. M.; Množství informací o jednom symbolu zpráv se rovná průměrné hodnotě informací o všech znakech abecedy. M.:

Celkové množství informací obsažených ve zprávě n. Symboly jsou:

Pokud jsou všechny znaky abecedy M. se zobrazí se stejnou pravděpodobností, pak všechny p i \u003d p. Tak jako Σr i \u003d 1T. p \u003d 1 / m.

Vzorec v případě, kdy všechny symboly abecedy jsou stejné, má formu

I \u003d. n.*Log. 2 (m.).

Výstup: shannonův vzorec v případě, kdy všechny znaky abecedy jsou stejně tranzitní, jde do vzorce Hartley.

V obecném případě počet entropie H libovolného systému X. (náhodná proměnná), která může být v m. Různé státy x 1, x 2, ... x m S pravděpodobností p 1, P 2, ... P m vypočteno pomocí Shannon Formula je stejný

Odvolej to p 1 + p 2 + ... + p m \u003d 1. Pokud všichni p. I stejné, pak všechny systémové stavy X. ekvivalent; v tomto případě p i \u003d 1 / ma vzorec jde do formy Hartley: H (x) \u003d log 2 (m).

Komentář.Počet entropie systému (náhodná proměnná) H. nezávisí na tom, co konkrétně uvádí x 1, x 2, ... x m může být systém, ale závisí na čísle m. Tyto státy a pravděpodobnost p 1, P 2, ... P m S jakým systémem může být v těchto státech. To znamená, že dva systémy, ve kterých je počet států stejně a pravděpodobnost těchto států p 1, P 2, ... P m rovna (s přesností pořadí přenosu), mají stejnou entropii.

Teorém.Maximální entropie H (x) Dosaženo je v případě, kdy všechny stavy systému jsou stejně stejné. Znamená to, že

Pokud systém X může být pouze jeden stát ( m \u003d 1.), pak je její entropie stejná nula.

Zvažte systém, který může trvat pouze dva stavy. x1. a x2. S pravděpodobností p1. a p2.:

Počet entropie takového systému je stejný

H (x) \u003d - (1/2 * log 2 (1/2) + 1/2 * log 2 (1/2)) \u003d -log 2 (1/2) \u003d log 2 (2) \u003d 1

Tato částka je odebrána za jednotku měření entropie (informace) a nazývá se 1 bit (1 bit).

Zvážit funkci

h (x) \u003d - (x * log 2 (x) + (l-x) * log 2 (l-x))

Oblast její definice - interval (0 ;1) , Lim h (x) \u003d 0 pro h.-\u003e 0ili. h.-> 1.

Plán této funkce je zobrazen na obrázku:

Plán funkce h (x) \u003d - (x * log 2 (x) + (l - x) * log 2 (l - x))

Pokud určíte x přes p 1, ale (1-x) přes p 2.T. p 1 + P 2 \u003d 1; p 1, P 2 î (0; 1), h (x) \u003d h (p 1, p 2) \u003d - (p 1 * log 2 (p 1) + (p 2) * log 2 (p 2)) - entropický systém se dvěma státy; maximum H. dosaženo p 1 \u003d p 2 \u003d 0,5.

Graf H (x) lze použít při řešení následujících úkolů:

Úkol 1. Existují tři náhodné proměnné X, Y, Z, z nichž každý má dvě hodnoty s pravděpodobností:

1. p (x \u003d x1) \u003d 0,5; P (x \u003d x2) \u003d 0,5;

2. p (y \u003d y1) \u003d 0,2; P (y \u003d y2) \u003d 0,8;

3. P (Z \u003d Z1) \u003d 0,3; P (Z \u003d Z2) \u003d 0,7.

Nahrávání P (x \u003d x1) \u003d 0,5 znamená, že náhodná hodnota x má hodnotu x1 s pravděpodobností 0,5. Je nutné uspořádat entropii těchto systémů ve vzestupném pořadí.

Rozhodnutí.

Entropie h (x) je rovna 1 a bude největší;

Entropie h (y) se rovná hodnotě funkce h (x), () na x \u003d 0,2, tj. H (y) \u003d h (0,2);

Entropie h (z) \u003d h (0,3). Podle grafu H (x), může být stanoven, že H (0,2)< h(0.3). Следовательно, H(Y) < H(Z) < H(X).

Poznámka 1. Entropie systému je větší, tím menší rozdíl mezi pravděpodobností svých stavů od sebe navzájem.

Na základě toho můžeme konstatovat, že H (Y)< H(Z).

Například, pokud existují pravděpodobnosti pro X a Y se třemi stavy: pro X (0,4; 0,3; 0,3), pro Y (0,1; 0,1; 0,8), je zřejmé, že nejistota systému X je větší než nejistota Systém Y: S největší pravděpodobností bude implementována podmínka, jejichž pravděpodobnost je 0,8.

Entropie h (x) charakterizuje stupeň nejistoty systému. Čím větší je výše informací získaných o informačním systému, tím více informací o systému, a tím méně nejistých jeho státu bude pro příjemce informací.

Pokud se entropie systému po obdržení informací stává rovnou nule, znamená to, že nejistota zmizela, všechny entropie "překročena" do informací. V tomto případě se říká, že byly získány úplné informace o systému X. Množství informací získaných s plným vyjasněním stavu fyzického systému se rovná entropii tohoto systému.

Pokud po obdržení určité zprávy, se nejistota systému X stalo méně, ale vůbec nezmizelo, výše informací obsažených ve zprávě se rovná přírůstku entropie:

I \u003d h1 (x) - h2 (x),

kde H1 (X) a H2 (X) je entropie systému před a po zprávě. Pokud H2 (x) \u003d 0, pak je míra nejistoty systému nulová a kompletní informace o systému byl získán.

Příklad. Chcete odhadnout počet bodů, které spadají na hraní kostky. Dostali jste zprávu, že počet bodů klesla. Jaké informace obsahuje tuto zprávu?

Rozhodnutí. Systém entropie "Přehrávání kostky" H1.rovnat se Log 2 6.protože Kostka může náhodně trvat šest rovný možnýstáty (1, 2, 3, 4, 5, 6). Přijatá zpráva snižuje počet možných stavů až tří: (2, 4, 6), tj. Systém entropie je nyní stejný H2 \u003d Log 2 3. Přírůstek entropie se rovná počtu informací získaných i \u003d H1 - H2 \u003d Log 2 6 - Log 2 3 \u003d Log 2 2 \u003d 1 bit.

Na příkladu demontovaného úkolu lze vysvětlit jeden ze společných definic jednotky jednotky - 1 bitů: 1 bit je řada informací, které snižují nejistotu stavu systému dvakrát.

Nejistota diskrétního systému závisí na počtu svých států N.

Entropie před obdržením informací H1 \u003d log 2 n. Pokud po obdržení informací se nejistota dvakrát snížila, pak to znamená, že počet států se stal rovný N / 2 a Entropy H2 \u003d Log 2 N / 2. Počet obdržených informací I \u003d H1 -H2 \u003d log 2 n - log 2 n / 2 \u003d log 2 2 \u003d 1 bit.

Zvažte několik úkolů na použití Shannon a Hartley Formula.

Úloha 2.Může entropie systému, který přebírá náhodně jeden ze 4 států, je: a) 3; b) 2,1 c) 1,9 g) 1; e) 0.3? Odpověď k vysvětlení.

Rozhodnutí.Maximální možná hodnota entropie systému se 4 stavy dosahuje v případě, kdy jsou všechny státy stejné. Tato hodnota podle vzorce Hartley se rovná logu 2 4 \u003d 2 bity. Ve všech ostatních případech bude entropie systému se 4 státy nižší než 2. V důsledku toho mohou být možné hodnoty entropie z výše uvedených hodnot, hodnoty 1,9, 1, 0,3.

Úkol 3.Funkce H (X) \u003d -X * Log 2 (x) je nastavena - (1-x) * log 2 (1-x). Umístěte následující hodnoty ve vzestupném pořadí: H (0,9), H (0,85), H (0,45), H (0,2), H (0,15).

Rozhodnutí.Použijte graf funkce (3.5). Nejvyšší hodnota bude H (0,45), nejmenší hodnota - H (0,9), pak se stoupá hodnoty H (0,15) a H (0,85) \u003d H (0,15); H (0,2). Odpověď: H (0,9)< H(0.15)=H(0.85)< H(0.2) < H(0.45). É

Úloha 4.Zprávy jsou přenášeny přes odkaz: a) "start_b_10"; b) lakancha_1_v0. Porovnejte množství informací v první a druhé zprávě.

Rozhodnutí.První a druhá zpráva se skládá ze stejných znaků: druhý je získán od prvního v důsledku permutace těchto znaků. V souladu se Schannonovým vzorcem obsahují tyto zprávy stejné množství informací. Zároveň první zpráva přináší smysluplné informace a druhá je jednoduchá sada znaků. V tomto případě však můžeme říci, že druhá zpráva je "šifrovaná" možnost první, a proto je výše informací v obou zprávách stejná.

Úloha 5.Získávají se tři různé zprávy A, B, C:

A \u003d "Příjezd v deset hodin"; B \u003d "Příjezd do deseti hodin nulových minut"; C \u003d "Příjezd přesně deset hodin." Pomocí přístupu entropie Schannon porovnejte množství informací obsažených v těchto zprávách.

Rozhodnutí.Označte množství informací ve zprávách A, B, C přes I (A), I (b), I (c), resp. Ve smyslu "obsahu" jsou tyto zprávy přesně stejné, ale stejný obsah je vyjádřen pomocí jiného počtu znaků. V tomto případě jsou všechny symboly zprávy A obsaženy ve zprávě B a C, zpráva C \u003d A + "přesně", B \u003d A + "nuly minut"; V souladu s přístupem Shannona dostaneme: i (a)< I(C) < I(B).

Náš svět je založen na třech složkách: látce, energie a informací. Kolik ve světě látek, energie a informací? Je možné je měřit a jak přesně? Víme, jak měřit množství látky a energie. Ale co informace? Je možné měřit?

Dříve bylo poznamenáno, že existuje několik přístupů k posouzení počtu informací. Teď zůstaneme podrobně na jednom z nich.

Jakákoli zpráva bude informativní, pokud nahradí lidské znalosti, tj. Snižuje nejistotu jeho znalostí.

Vyrovnané události

Příklad 1.

Například při házení mince se snažíme odhadnout, která strana padne. Jedním z možností výsledků je možné: mince bude v poloze "Eagle" nebo "Rush". Každý z těchto dvou akcí bude ekvivalentní, tj. Žádný z nich nemá výhody oproti ostatním. Než házet minci, nikdo nemůže vědět, jak to spadne, tj. Existuje nejistota znalostí. Po výskytu události naopak existuje úplná jistota, protože házení obdrží vizuální zprávu o poloze mince, která zase snižuje nejistotu svých znalostí dvakrát, protože jeden ze dvou rovnovážných událostí došlo.

Příklad 2.

Dalším příkladem je situace s šestihrannou krychli, tj Před hodem nikdo nemůže vědět, na které straně padne. V tomto případě je příležitost získat jeden výsledek šesti ekvivalentu. Před házením nejistoty znalostí o házení bude rovna 6, po házení se sníží přesně 6krát, protože se jedná o 6 ekvivalentních akcí.

Příklad 3.

Zvažte příklad, kde 40 vstupenek připravených na zkoušku. Pravděpodobnost událostí, ke kterým dojde při tažení letenky, bude rovna 40. a tyto události budou stejné. Zároveň nejistota znalostí studenta před volbou letenky bude rovna 40. V důsledku toho, nejistota znalostí poté, co student absolvoval jízdenku 40krát. Zeptejte se, zda tento ukazatel závisí na počtu prodloužené lístky. Ne, protože události jsou stejně).

Po analýze všech výše uvedených příkladů lze dospět k závěru, že čím větší je počáteční počet možných rovnocenných událostí, tím více času se nejistota znalostí snižuje a čím více informací bude obsaženo ve zprávě experimentu.

Ne rovnovážné události

Považovat za příklad mluvený jazyk. Obracíme se na fakta osvědčeného výzkumu, což ukazuje, že ve všech spolupracujících jazycích vyskytují některé dopisy mnohem častěji než jiní. Výsledky výzkumu potvrzují, že 1 000 dolarů ve výši 1 000 dolarů v různých collaborativních jazycích účtuje pro jiný počet opakování. Jako příklady v tabulce představují některé dopisy v ruštině a angličtině:

Obrázek 1.

Kromě toho bude pravděpodobnost vzhledu jednotlivých písmen záviset na tom, jaká písmena se používají před nimi. Takže v ruštině po samohlásci, měkké znamení nikdy nemůže stát, stejně jako slovy, čtyři samohlásky nejsou používány, atd. Mluvené jazyky mají zpravidla vlastní vlastnosti a vzory. Proto je množství informací obsažených ve zprávách jakéhokoliv hovorového jazyka je nepřijatelné pro vyhodnocení používání vzorce Hartley, který se používá v abecedním přístupu k hodnocení informací a je charakteristické pro příklady s rovnocennými událostmi (příklady s mincí a kostkou ).

Jak zjistit, kolik informací obsahuje například text nové "války a míru", nebo fresky a plátno velkých italských umělců nebo lidského genetického kódu? Odpovědi na tyto otázky a podobná věda ještě nejsou známy a ve všech pravděpodobnostech nebudou známy brzy. Všichni mají zájem, je možné objektivně posoudit množství informací? Úkolem tohoto druhu zahrnuje následující příklad.

Jak zjistit, zda jsou ekvivalentní zprávy "první, vyjde z budovy" a "první bude vyjít z budovy"? Na tuto otázku není žádná jednoznačná odpověď. Všechno bude záviset na tom, jaký druh budovy mluvíme. Pokud je to například budova gynekologické kliniky, pak pravděpodobnost získání první ženy je velmi vysoká, pokud je to vojenské kasárny, pak pravděpodobnost jít ven první pro muže bude vyšší než pro ženu , Ale pokud se jedná o budovu kino, pak pravděpodobnosti vycházejí jako první pro muže a ženy budou stejné.

Posouzení počtu informací. Formule Shannon.

Řešení problémů tohoto druhu, je použito celkové posouzení počtu informací navržených americkými vědci Claude Shannon v roce 1948 Vznikl vzorec pro určení počtu informací je schopen zohlednit možnou nerovnou pravděpodobnost zpráv obsažených v sadě. Shannon při vytváření použitého vzorce použitého v matematice a hydrodynamice pravděpodobnostní míra nejistoty (tzv. entropie), aby se plně odhadoval stav studovaného systému a získal nejvyšší možné informace o procesech v tomto systému. Toto posouzení počtu informací je v podstatě pravděpodobnostní míra, A jako posouzení nejistoty odráží schopnost jakéhokoliv zdroje ukázat všechny nové a nové státy, a tak poskytnout informace.

Definice 1.

SHANNON definován entropie. Jako průměrná logaritmická funkce mnoha pravděpodobností možností možných stavů systému (možné výsledky zkušeností). Pro výpočet entropie Shannon navrhl následující rovnici:

$ H \u003d - (p_1log_2p_1 + p_2log_2p_2 + ... + p_nlog_2p_n) $

kde $ P_I $ je pravděpodobnost vzhledu $ I $-Události v souboru $ N $ události.

Pak množství informací získaných v důsledku zkušenosti nebude jiná než rozdíl mezi entropií systému ($ h_0 $) a po ($ h_1 $) zkušenosti:

kromě toho, pokud je nejistota v důsledku zkušeností zcela vyloučeno, máme:

$ I \u003d Sigma (p_ilog_2p_i), i \u003d 1, tečky, n $.

Zvažte příklad potvrzujícího použití této teorie kanony v praxi.

Příklad 4.

Pescari a okoun bydlí v jezeře. Vypočítat počet osob v každé populaci (Pescase - $ 1,500 $, a okoun - $ 500 $). Je nutné zjistit, kolik informací je obsaženo ve zprávách, že rybář chytil písek, okoun, v obecných rybách?

Rozhodnutí. Události úlovku Pescar nebo okounů nejsou stejné, protože diples v jezeře přebývá mnohem méně než Pescare.

Celkový počet Pescase a obydlí Perch v jezeře:

$1500 + 500 = 2000$.

Definujeme pravděpodobnost úlovku PesCar:

$ p_1 \u003d frac (1500) (2000) \u003d 0,75 $,

Definujeme pravděpodobnost úlovku okouna:

$ P_2 - frac (500) (2000) \u003d 0,25 $.

$ I_1 \u003d log_2 (frac (1) (p_1)), i_1 \u003d log_2 (frac (1) (p_2)) $

kde $ i_1 $ a $ i_2 je pravděpodobnost úlovku písku a okounů.

Množství informací obsažených v maturitní zprávě:

$ I_1 \u003d log_2 (frac (1) (0.75)) "0.43 $ bit,

Množství informací obsažených v okouně úlovku:

$ I_2 \u003d log_2 (frac (1) (0.25)) »$ 2 bity.

Množství informací obsažených ve zprávě o úlovku ryb (Crucian nebo Ostraně) se vypočítá Sannonův vzorec:

$ I \u003d - p_1log_2p_1 - p_2log_2p_2 $

$ I \u003d -0.75 cdot log_20,75-0.25 cdot log_20,25 \u003d -0.75 cdot (frac (log0,75) (log2)) - 0.25 cdot (frac (log0.25) (log2)) \u003d 0,604 bitů "0,6 $ bit.

Odpovědět: Zpráva obsahuje informace o $ 0,6 $.

Jeho další rozvoj teorie informací získaných v dílech Claud Shannon, amerického inženýrství a matematiky (1916 - 2001). Shannon je jedním ze tvůrců matematické teorie informací. Jeho hlavními prací jsou věnovány teorii schémat reléových kontaktů, teorie matematické komunikace, kybernetiky. K. Shannon studoval otázky přenosu informací v telegrafu, telefonii nebo vysílání ve formě signálů elektromagnetických oscilací. Jedním z úkolů, které K. Shannon před ním měl určit kódovací systém, který umožňuje optimalizovat rychlost a přesnost přenosu informací. Vzhledem k tomu, že během válečných let, on sloužil v oddělení šifrování, kde se zabýval rozvojem kryptografických systémů, později mu pomohlo otevřít kódování metod s korekcí chyb. Ve svých pracích, 1948-1949, K. Shannon definoval množství informací prostřednictvím entropie - množství známé v termodynamice a statistické fyzice jako míra poruchy systému, a na jednotku počtu informací přijatých, co bylo následně volal bit (bit).

Pro další prezentaci je nutné použít některé pojmy teorie pravděpodobnosti: náhodnou událost, zkušenosti, pravděpodobnost události, náhodnou hodnotu. Ve světě kolem nás se vyskytují různé události a můžeme intuitivně založené na zkušenostech, zhodnotit některé z nich, jak je to možné než jiné. Náhodné se nazývá událost, která může nastat nebo ne krok v důsledku určitého testu, zkušeností nebo experimentu. Udáváme události velkými písmeny A, B, CTS atd. Kvantitativní opatření možnosti výskytu určité události bude pravděpodobně pravděpodobnost a je označována ASP (A), p- z anglické pravděpodobnosti. Čím více možná výskyt náhodné události, tím větší je pravděpodobnost: pokud nejvíce možná možná, pak p (a)\u003e p (b). Představen je koncept spolehlivé události - událost, která přijde. Tato událost označuje, že je přesvědčena, že jeho pravděpodobnost () \u003d 1. Není možné volat událost, která se nikdy nestane. Jeho znamená, že je přesvědčena, že jeho pravděpodobnost () \u003d 0. Pro pravděpodobnosti všech ostatních akcí se provádí nerovnost ()< p(A)

Pro události je zaveden koncept částky a práce. Součet událostí A + B je událost, která spočívá ve výskytu události A nebo B. Práce událostí A * B spočívá v současném výskytu událostí A a B. AIB neúplnýPokud se nemohou spojit jako výsledek jednoho testu. Pravděpodobnost množství neúplných událostí se rovná součtu jejich pravděpodobnosti. Pokud A a v neúplných událostech, pak P (A + B) \u003d p (A) + P (b).

Události A1, A2, A3, ... Převést plná skupinaPokud v důsledku zkušeností přijde alespoň jeden z nich. Pokud jsou události A1, A2, A3, ... Rozzlobený jsou nepochopitelné a tvoří kompletní skupinu, pak součet jejich pravděpodobností P1 + P2 + p3 + ... .pn \u003d 1. Pokud jsou také stejně stejně, pak pravděpodobnost každého je rovna \u003d 1 / N, kde je počet událostí. Pravděpodobnostudálosti jsou definovány jako poměr počtu příznivých událostí zkušeností v celkovém počtu výsledků. Frekvenceudálosti jsou empirickou aproximací své pravděpodobnosti. Vypočítá se v důsledku série experimentů jako postoj počtu experimentů, ve kterém událost přišla na celkový počet experimentů. S velkým počtem experimentů (testů) je frekvence událostí zavázána k jeho pravděpodobnosti.

K. Shannon, s použitím přístupu R. Hartleyho, upozornil na skutečnost, že při přenosu slovních zpráv, frekvence (pravděpodobnost) použití různých písmen abecedy není stejná: Některá písmena se používají velmi často, jiní jsou vzácné.

Zvažte abecedu a m sestávající z ISMS. Označte pravděpodobností (frekvence) vzhledu I-Th v libovolné poloze vysílané zprávy sestávající z n postav. Jeden symbol IMA abecedy nese množství informací rovných -log 2 (p i). Před logaritmem stojí "mínus", protože množství informací je nezáporná a log 2 (x)<0 при 0

Může existovat nějaký charakter abecedy a m v \u200b\u200bmístě každého symbolu; Množství informací o jednom symbolu zpráv se rovná průměrné hodnotě informací o všech znakech abecedy a m:

Celkový počet informací obsažených ve zprávě z znaků N je:

(3.2)

Pokud se všechny postavy abecedy a m objevují se stejnou pravděpodobností, pak všechny p i \u003d p. Takže sondy i \u003d 1, pak p \u003d 1 / m.

Vzorec (3.2) v případě, kdy jsou všechny znaky abecedy stejné, trvá

Závěr: SHANNON FORMULA (3.2) V případě, že všechny symboly abecedy jsou stejně rovny vzorci Hartley (2.2).

V obecném případě počet entropie systému HPC X (náhodná proměnná), který může být v M různorodých stavů X 1, X 2, ... XM se změní na P 1, P 2, ... Pm, vypočítaný shannon vzorec, stejně

(3.3)

Připomeňme si, že p 1 + p 2 + ... + p m \u003d 1. Pokud všechny jsou stejné, pak všechny stavy systému x jsou stejně stejné; V tomto případě, p i \u003d 1 / m a vzorec (3.3) vstupuje do Hartley vzorec (2,5): h (x) \u003d log 2 (m).

Komentář.Počet entropie systému (náhodná proměnná) X nezávisí, na čem konkrétně uvádí X 1, X 2, ... XM může být systém, ale závisí na počtu stavů a \u200b\u200bpravděpodobností P 1, P 2 ,. .. pm, s jakým systém může být v těchto státech. To znamená, že dva systémy, ve kterých je počet států stejně, a pravděpodobnosti těchto stavů p 1, p 2, ... p m jsou rovna (s přesností řádu seznamu), mají stejnou entropii.

Teorém.Maximální entropie h (x) je dosaženo, když jsou všechny stavy systému stejně stejné. Znamená to, že

(3.4)

Pokud systém X může být pouze v jednom stavu (m \u003d 1), pak je jeho entropie nula. Zvažte systém, který může trvat pouze dva stavy X1 a X2 s pravděpodobností P1 a P1:

Počet entropie takového systému je stejný

H (x) \u003d - (1/2 * log 2 (1/2) + 1/2 * log 2 (1/2)) \u003d -log 2 (1/2) \u003d log 2 (2) \u003d 1

Tato částka je považována za jednotku měření entropie (informace) a se nazývá 1 bit (1 bit).

Zvážit funkci

h (x) \u003d - (x * log 2 (x) + (1-x) * log 2 (1-x)). (3.5)

Oblast její definice je interval (0; 1), limh (x) \u003d 0, při X0 nebo 1. Plán této funkce je zobrazen na obrázku:

Obr. 4. Rozvrh funkcí (3.5)

Pokud určíte X pomocí P 1, A (1-x) přes P 2, top 1 + p 2 \u003d 1; p1, p 2  (0; 1), h (x) \u003d h (p 1, p 2 ) \u003d - (P 1 * log 2 (p 1) + (p 2) * log 2 (p 2)) - entropie systému se dvěma stavy; Maximum H je dosaženo 1 \u003d p 2 \u003d 0,5.

Graf H (x) lze použít při řešení následujících úkolů:

Úloha 1. Tři náhodné proměnné X, Y, Z, z nichž každý má dvě hodnoty s pravděpodobností:

P (x \u003d x1) \u003d 0,5; P (x \u003d x2) \u003d 0,5;

P (y \u003d y1) \u003d 0,2; p (y \u003d y2) \u003d 0,8;

P (z \u003d z1) \u003d 0,3; P (Z \u003d Z2) \u003d 0,7.

Nahrávání P (x \u003d x1) \u003d 0,5 znamená, že náhodná hodnota x má hodnotu x1 s pravděpodobností 0,5. Je nutné uspořádat entropii těchto systémů ve vzestupném pořadí.

Rozhodnutí. Entropie h (x) je rovna 1 a bude největší; Entropie h (y) se rovná hodnotě funkce h (x), viz (3.5), atx \u003d 0,2, tj. Y) \u003d h (0,2); entopyh (z) \u003d h (0,3). Podle grafu H (x), může být stanoven, že H (0,2)< h(0.3). Следовательно, H(Y) < H(Z) < H(X).

Poznámka 1.Entropie systému je větší, tím menší rozdíl mezi pravděpodobností svých stavů od sebe navzájem. Na základě toho můžeme konstatovat, že H (Y)< H(Z). Например, если для систем X и Y с тремя состояниями заданы вероятности: дляX{0.4; 0.3; 0.3}, дляY{0.1; 0.1; 0.8}, то очевидно, что неопределённость системыXбольше, чем неопределённость системыY: у последней, скорее всего, будет реализовано состояние, вероятность которого равна 0.8 .

Entropie h (x) charakterizuje stupeň nejistoty systému. Čím větší je výše informací získaných o informačním systému, tím více informací o systému, a tím méně nejistých jeho státu bude pro příjemce informací.

Pokud se entropie systému po obdržení informací stává rovnou nule, znamená to, že nejistota zmizela, všechny entropie "překročena" do informací. V tomto případě se jedná o úplné informace o systému X. Počet informací získaných s plným vyjasněním stavu fyzického systému, rovný entropii tohoto systému.

Pokud po obdržení určité zprávy je nejistota systému menší, ale vůbec nezmizelo, množství informací obsažených ve zprávě se rovná přírůstku entropie:

I \u003d h1 (x) - h2 (x), (3.6)

kde H1 (X) a H2 (X) je entropie systému před a po zprávě. Pokud H2 (x) \u003d 0, pak je míra nejistoty systému nulová a kompletní informace o systému byl získán.

Příklad. Chcete odhadnout počet bodů, které spadají na hraní kostky. Dostali jste zprávu, že počet bodů klesla. Jaké informace obsahuje tuto zprávu?

Rozhodnutí. Entiropie systému "Přehrávání krychle" H1 se rovná přihlášení 2 6, protože Kostka může náhodně trvat šest rovný možnýstáty (1, 2, 3, 4, 5, 6). Přijatá zpráva snižuje počet možných stavů až tří: (2, 4, 6), tj. Entiropie systému je nyní rovna H2 \u003d Log 2 3. Přírůstek entropie se rovná počtu získaných informací I \u003d H1 - H2 \u003d Log 2 6 - Log 2 3 \u003d Log 2 2 \u003d 1bit.

Na příkladu demontovaného úkolu lze vysvětlit jeden ze společných definic jednotky jednotky - 1 bitů: 1 bit je množství informací, které snižuje nejistotu stavu systému dvakrát.Nejistota diskrétního systému závisí na počtu svých států. Entiropie před přijímáním informacíH1 \u003d Log 2 N. Pokud po obdržení informací se nejistota dvakrát snížila, pak to znamená, že počet stavů se stal rovnou tonem / 2 a entopyh2 \u003d log 2 n / 2. Počet informací přijatých informací \u003d H1 -H2 \u003d log 2 n-log 2 n / 2 \u003d log 2 2 \u003d 1 bity.

Zvažte několik úkolů na použití Shannon a Hartley Formula.

Úloha 2.Může entropie systému, který přebírá náhodně jeden ze 4 států, je: a) 3; b) 2,1 c) 1,9 g) 1; e) 0.3? Odpověď k vysvětlení.

Rozhodnutí.Maximální možná hodnota entropie systému se 4 stavy dosahuje v případě, kdy jsou všechny státy stejné. Tato hodnota podle vzorce Hartley je stejná tolog 2 4 \u003d 2 bity. Ve všech ostatních případech bude entropie systému se 4 státy nižší než 2. V důsledku toho mohou být možné hodnoty entropie z výše uvedených hodnot hodnoty 1,9, 1, 0.3.

Úkol 3.Funkce je nastavena (x) \u003d -x * log 2 (x) - (1-x) * log 2 (1-x). Umístěte následující hodnoty ve vzestupném pořadí: H (0,9), H (0,85), H (0,45), H (0,2), H (0,15).

Rozhodnutí.Použijte graf funkce (3.5). Nejvyšší hodnota bude H (0,45), nejmenší hodnota - H (0,9), pak vzestupná hodnota jsou platná (0,15) ICH (0,85) \u003d H (0,15); H (0,2). Odpověď: H (0,9)

Úloha 4.Zprávy jsou přenášeny na odkaz: a) "start_b_10"; b) "loancha_1_v0". Porovnejte množství informací v první a druhé zprávě.

Rozhodnutí.První a druhá zpráva se skládá ze stejných znaků: druhý je získán od prvního v důsledku permutace těchto znaků. V souladu se Schannonovým vzorcem obsahují tyto zprávy stejné množství informací. Zároveň první zpráva přináší smysluplné informace a druhá je jednoduchá sada znaků. V tomto případě však můžeme říci, že druhá zpráva je "šifrovaná" možnost první, a proto je výše informací v obou zprávách stejná.

Úloha 5.Získávají se tři různé příspěvky, B, C:

A \u003d "Příjezd v deset hodin"; b \u003d "Příjezd na deset hodin nulové minuty"; c \u003d "Příjezd je přesně deset hodin." Pomocí přístupu entropie Schannon porovnejte množství informací obsažených v těchto zprávách.

Rozhodnutí.Označte množství informací ve zprávách A, B, C through (A), I (b), I (c), resp. Ve smyslu "obsahu" jsou tyto zprávy přesně stejné, ale stejný obsah je vyjádřen pomocí jiného počtu znaků. V tomto případě jsou všechny symboly zprávy A obsaženy ve zprávě B a C, zpráva C \u003d A + "přesně", B \u003d A + "nuly minut"; V souladu s přístupem Shannona dostaneme: i (a)< I(C) < I(B).

Americký inženýr. \\ t R. Hartley. V roce 1928. proces získávání informací považovaných za volbu jedné zprávy z konečné střídání dané sady N. Ekvivalentní zprávy a množství informací I. I.obsažené ve vybrané zprávě, definované jako binární logaritmus N. .

Formule Hartley:

I \u003d log2. N.

Předpokládejme, že potřebujete odhadnout jedno číslo ze sady čísel z jednoho do sto. Podle Formula Hartley můžete vypočítat, kolik informací je vyžadováno pro toto: i \u003d log2100\u003e 6,644. Zpráva o správném odhadném čísle tedy obsahuje množství informací, přibližně 6644 jednotek informací.

Dáme ostatní příklady ekvivalentních zpráv:

1. Při házení mincí: "Rusk upustil", "Eagle padl";

2. Na stránce knihy: "Počet písmen je jasný", "Počet písmen písmen".

Definujeme teď jsou ekvivalentní zprávy "První vyjde ze dveří budovy. a "První vyjde ze dveří budovy muže". Jednoznačně odpovězte na tuto otázku nemůže. To vše záleží na tom, o jakém druhu budovy mluvíme. Pokud je to například stanice metra, pak pravděpodobnost dostat se z dveří je první pro muže a ženu, a pokud je to vojenské kasárny, pak pro muže, která je tato pravděpodobnost výrazně vyšší než pro žena.

Pro úkoly tohoto druhu amerického vědce Claude Shannon. Navrhl v roce 1948 další vzorec pro určení počtu informací, které zohlední možnou nerovnou pravděpodobnost zpráv v sadě.

SHANNON FORMULA:

I \u003d - ( p.1Log2. p.1 + p.2 log2. p.2 +... + p.N log2. pn.),

Kde pi. - pravděpodobnost, že i. I.-E-zpráva je zvýrazněna v sadě N. zprávy.

Je snadné vidět, že pokud jsou pravděpodobnosti p.1, ...,pn. rovnocenný, pak každý z nich je roven 1 / N.A Shannonův vzorec se změní na vzorec Hartley.

Claude Shannon. odhodlaný informace , tak jako odstranit nejistotu . Přesněji řečeno, přijetí informací je nezbytnou podmínkou pro odstranění nejistoty. Nejistota vzniká v situaci výběru. Úkol, který je vyřešen během odstranění nejistoty, je snížit počet zvažovaných možností (snížení rozmanitosti) a případně volba jedné odpovídající situace volby z počtu možností. Rozhodnutí nejistoty umožňuje učinit informovaná řešení a jednat. Jedná se o vedoucí úlohu informací.

Představte si, že jste šel do obchodu a požádal, aby vám prodal žvýkačku. Prodavačka, která, kdo, pojďme říct, 16 stupňů žvýkačky je ve stavu nejistoty. Nelze splnit vaši žádost bez více informací. Pokud jste zadali, řekněme: "Orbit" a od 16 počátečních možností prodavačka nyní považuje pouze 8, snížili jste svou nejistotu dvakrát (běh vpřed, řekněme to snížení nejistoty dvakrát vyhovuje získáváním 1 bitů informací ). Pokud jste, aniž byste způsobili vazbu, jednoduše ukázal prstem na výloze, "toto je to!", Nejistota byla zcela odstraněna. Opět platí, že vpřed, řekněme, že toto gesto v tomto příkladu informovali prodavače 4 bity informací.

Situace maximální nejistota Stiskne přítomnost několika vyrovnaný Alternativy (možnosti), tj. Žádný z možností není výhodnější. A ekvivalentnější možnosti vítězstvím, tím větší je nejistota, tím těžší je učinit jednoznačnou volbu a Čím více informací je vyžadováno udělat toto. Pro N. Možnosti Tato situace je popsána následujícím rozložením pravděpodobnosti: (1 / N.,1/ N., …,1/ N.} .

Minimální nejistota rovná 0. tato situace plná jistota , což znamená, že volba je provedena, a jsou získány všechny potřebné informace. Distribuce pravděpodobností pro situaci kompletní jistoty vypadá takto: (1, 0, ... 0).

Množství charakterizující množství nejistoty v teorii informací je označena symbolem. H. a má jméno entropie , přesněji informační entropie. .

Entropie ( H.) – míra nejistoty , vyjádřeno v bitech. Také entropie lze zobrazit jako změřte jednotnost distribuce náhodná proměnná.

Obr. 3.4 Chování entropie pro případ dvou alternativ

Na Obr. 3.4 ukazuje chování entropie pro případ dvou alternativ, při změně poměru jejich pravděpodobností ( P., (1-P.)).

Maximální hodnota entropie dosáhne v tomto případě, kdy se obě pravděpodobnosti rovná navzájem a jsou rovny 1/2, nulová hodnota entropie odpovídá případům ( P.0=0, P.1 \u003d 1) a ( P.0=1, P.1=0).

Počet informací I. a entropie h. Charakterizovat stejnou situaci, ale od vysoce opačných stran. I je množství informací, které jsou potřebné k odstranění nejistoty H. Podle definice Leon Brilllyuen informace jsou negativní entropie(negentropium) .

Když je nejistota zcela odstraněna, počet obdržených informací I. I. Stejně původně existující nejistota H..

V případě částečného odstranění nejistoty je výsledná výše informací a zbývající zbytečná nejistota ve výši počáteční nejistoty. Ht + it \u003d h(Obr. 3.5).

Obr. 3.5 Komunikace mezi entropií a počtem informací

Z tohoto důvodu se vzorce, které budou prezentovány níže pro výpočet entropie H. jsou oba vzorce pro výpočet počtu informací I. I.. Pokud jde o plné odstranění nejistoty, H.mohou být nahrazeny I. I..

Obecně, Entropie H. a částka získaná v důsledku odstranění nejistoty informací I. I. Závisí na počátečním počtu zvažovaných možnostech N. a priori pravděpodobnost provádění každého z nich P:{p.0,p.1, …,pn-1), tj. H \u003d F.(N.,P.). Výpočet entropie v tomto případě se vyrábí podle Shannon Formula Nahoru v roce 1948 v článku "Teorie matematické komunikace".

ZejménaKdyž jsou všechny možnosti hlavně zvuk, Závislost zůstává pouze na počtu zvažovaných možností, tj. H \u003d F.(N.). V tomto případě je kanónový vzorec značně zjednodušen a shoduje se s nimi formule Hartley. , který byl poprvé navrhl americký inženýr Ralph Hartley v roce 1928, tj. 20 let dříve.

Shannonův vzorec má následující formulář:

Znaménko mínus ve vzorci (2.1) neznamená, že entropie je záporná hodnota. To je vysvětleno tím, že pi.£ 1 podle definice a logaritmus menší jednotky je záporná hodnota. Podle vlastnictví logaritmu, takže tento vzorec lze zaznamenat ve druhé verzi, bez mínus před součtem částky.

Exprese je interpretován jako soukromé množství informací. TO.v případě realizace i. I.Volba. Entropie v Sannonově vzorci je průměrná charakteristika - matematické očekávání distribuce náhodné proměnné ( I. I.0,I. I.1, …,V-1} .

Dáváme příklad výpočtu entropie podle shannonova vzorce. Pojďme v některých instituci, složení pracovníků je distribuováno takto: 3/4 - ženy, 1/4 - muži. Pak se spočítá nejistota, například, jak se setkáte první, bude se počítat do instituce, bude počítán vedle akcí uvedených v tabulce. 3.1.

Tabulka 3.1.1.

Již jsme zmínili, že Hartley Formule je zvláštním případem Shannonova vzorce pro ekvivalentní alternativy.

Namísto toho je nahrazeno ve vzorci (2.1) pi. (v ekvivalentním případě nezávislé na i. I.) Hodnota, dostaneme:

Tak, Formula Hartley vypadá velmi jednoduchou:

Jasně vyplývá, že čím více alternativ ( N.), tím větší je nejistota ( H.). Logaritmation založený na 2 poskytuje počet možností jednotek měření informací - bity. Obrázek 3.6 představuje závislost entropie na počtu ekvivalentních možností výběru.

Obr. 3.6 Závislost entropie na počtu možností výběru rovnováhy (ekvivalentní alternativy)

Vyřešit inverzní problémy, když je známa nejistota ( H.) nebo množství informací získaných v důsledku jeho odstranění ( I. I.) A potřebujete určit, kolik alternativně odpovídá vzniku této nejistoty, použijte zpětný vzorec Hartley, který vypadá ještě jednodušší:

Například, pokud je známo, že v důsledku určení skutečnosti, že byl získán Kolya Ivanov, který se zajímal o druhé podlahy, byly získány 3 kousky informací, počet podlah v domě může být stanoven vzorcem (2,3) jako N \u003d23= 8jetáže.

Pokud je otázka takto: "V domě 8 pater, kolik informací jsme dostali, se dozvěděli, že Kolya Ivanov se zajímala o druhé patro?" Je nutné použít vzorec (2.2): I \u003d.log2 (8) \u003d 3 bity.

Doposud jsme dali vzorce pro výpočet entropie (nejistota) H.ukazující to H. Mohou být nahrazeny I. I.Protože množství obdržených informací s plným vysídlením nejistoty Nějakou situaci, kvantitativně rovna počáteční entropii této situace.

Ale nejistota může být odstraněna pouze částečně, proto je množství informací iodvozený z nějaké zprávy se vypočítá jako snížení entropie, ke které došlo v důsledku potvrzenítento zprávy.

Pro ekvivalentní případPomocí pro výpočet entropického vzorce Hartley dostaneme:

Druhá rovnost se zobrazuje na základě vlastností logaritmu. Tak, v rovnodšeném případě I. I. záleží na kolikrát Výše zvažovaných možností výběru se změnilo (zvažovaná rozmanitost).

Na základě (3.5) můžete vybrat následující:

Pokud se pak - plné odstranění nejistoty, počet informací přijatých ve zprávě se rovná nejistotě, která existovala před přijetím zprávy.

Pokud se tedy nezměnila nejistota, neexistovala žádná informace.

Pokud pak \u003d\u003e,

pokud pak \u003d\u003e.

Ty. Počet obdržených informací bude kladná hodnota, pokud v důsledku přijímání zprávy, počet alternativ zvažených poklesu a negativní, pokud více.

Pokud byl počet alternativ zvažovaných v důsledku přijímání zprávy snížené, tj. I. I.\u003d log2 (2) \u003d 1 bit.Jinými slovy, získání 1 bitů informací vylučuje z hlediska poloviny ekvivalentních možností.

Považují za příkladnou zkušenost s balíčkem 36 karet (obr.3.7).

Obr. 3.7 Ilustrace pro zkušenosti s balíčkem 36 karet

Nechte někoho vytáhnout jednu kartu z paluby. Zajímají nás, které jeden z 36 karet vzal. Počáteční nejistota, vypočtená vzorcem (3.2), je H \u003d.log2 (36) @ 5,17 bit. Očekávaná mapa nám vypráví některé informace. Pomocí vzorce (3.5) určujeme, kolik informací obdržíme z těchto zpráv:

Možnost A. "To je mapa červeného obleku."

I. I.\u003d Log2 (36/18) \u003d Log2 (2) \u003d 1bitové (červené karty v balíčku poloviny, nejistota se snížila o 2 krát).

Varianta B. "Toto je platforma špičky".

I. I.\u003d Log2 (36/9) \u003d Log2 (4) \u003d 2 bity (špičkové karty tvoří čtvrtinu paluby, nejistota se snížila o 4krát).

Možnost C. "Toto je jeden ze starších karet: prsteny, dáma, král nebo eso."

I. I.\u003d Log2 (36) -log2 (16) \u003d 5,17-4 \u003d 1,17 bitů (nejistota se snížila více než dvakrát, a proto je množství získané informace větší než jeden bit).

Varianta D. "Toto je jedna karta z paluby."

I. I.\u003d Log2 (36/36) \u003d Log2 (1) \u003d 0 bitů (nejistota se nesnižovala - zpráva není informativní).

Provedení E. "Toto je píka lady."

I. I.\u003d log2 (36/1) \u003d log2 (36) \u003d 5,17 bitů (nejistota zcela odstraněna).

Úkol 1.Jaké informace budou obsahovat vizuální zprávu o barvě rozbité koule, pokud 50 bílá, 25 červená, 25 modrých kuliček se nachází v neprůhledném sáčku?

Rozhodnutí.

1) Celkové kuličky 50 + 25 + 25 \u003d 100

2) Pravděpodobnosti míče 50/100 \u003d 1/2, 25/100 \u003d 1/4, 25/100 \u003d 1/4

3)I. I. \u003d - (1/2 Log21 / 2 + 1/4 Log21 / 4 + 1/4 Log21 / 4) \u003d - (1/2 (0-1) +1/4 (0-2) +1/4 (0) -2) \u003d \u003d 1,5 bity

Úloha 2. Košík leží 16 kuliček různých barev. Kolik informací je zpráva, že máte bílou míč?

Rozhodnutí. Protože N \u003d 16 kuliček, pak i \u003d log2 n \u003d log2 16 \u003d 4 bity.

Úkol 3.V košíku leží černé a bílé kuličky. Mezi nimi18 černé koule. Zpráva, že bílá míč byla přijata, nese 2 bity informací. Kolik koulí v košíku?

1) 18 2) 24 3) 36 4)48

Rozhodnutí. Pravděpodobnost získání bílého míče podle Shannonu: log2n \u003d 2, n \u003d 4, proto pravděpodobnost získání bílé misky je 1/4 (25%), a pravděpodobnost získání černého míče, resp. 3/4 (75%). Pokud 75% všech černých kuliček, jejich počet 18, pak 25% všech bílých kuliček, jejich počet (18 * 25) / 75 \u003d 6.

Zbývá najít počet všech kuliček v košíku 18 + 6 \u003d 24.

Odpověď: 24 míčů.

Úloha 4.V některých zemích je celá řada 5 znaků tvořeno velkými písmeny (30 písmen) a desetinná místa v libovolném pořadí. Každý symbol je kódován ve stejném a minimálně možném množství bitů a každé číslo je stejné a minimálně možné bajty. Určete množství paměti potřebné pro ukládání 50 čísel aut.

1) 100 bajtů 2) 150 bajtů 3) 200 bajtů 4) 250 bajtů

Rozhodnutí. Počet znaků používaných k zakódování čísla je: 30 písmen + 10 číslic \u003d 40 znaků. Množství informací přepravující jeden znak je 6 bitů (2i \u003d 40, ale množství informací nemůže být zlomkové číslo, proto vezmeme nejbližší stupeň dvojnásobek velkého počtu znaků 26 \u003d 64).

Množství informací vložených do každého symbolu jsme zjistili, že počet znaků v místnosti je 5, tedy 5 * 6 \u003d 30 bitů. Každé číslo je 30 bitů informací, ale podle stavu úkolu je každý číslo kódováno stejné a minimální možné množství bajtů, proto musíme vědět, kolik bajtů za 30 bitů. Pokud je rozdělena 30 až 8, bude získáno frakční číslo a musíme najít celou částku bajt pro každé číslo, takže najdeme nejbližší násobitel 8-ki, který překročí počet bitů, je to 4 (8 * 4 \u003d 32). Každé číslo je kódováno 4 bajty.

Pro úložiště 50 vozů, budete potřebovat: 4 * 50 \u003d 200 bajtů.

Volba optimální strategie ve hře "Hádejte číslo". Při převzetí maximálního počtu informací je vybudována volba optimální strategie ve hře "Hádejte číslo", ve kterém první účastník činí celé číslo (například 3) ze zadaného intervalu (například od 1 až 16) a druhý by měl "hádat" zamýšlené číslo. Pokud tuto hru zvažujete z informačního hlediska, počáteční nejistota znalostí pro druhý účastník je 16 možných událostí (možnosti záhadných čísel).

S optimální strategií by se počtový interval měl vždy sdílet na polovinu, pak počet možných událostí (čísel) v každém získaném intervalu bude stejný a přizpůsobení intervalu je stejně. V tomto případě, v každém kroku, odpověď prvního hráče ("ano" nebo "ne") ponese maximální množství informací (1 bit).

Jak je vidět ze stolu. 1.1, hádání, že číslo 3 nastalo ve čtyřech krocích, z nichž každému z nichž nejistota znalostí druhého účastníka dvakrát snížila tím, že obdržela zprávu od prvního účastníka obsahujícího 1 bit informací. Množství informací potřebných k obyvatelům jednoho z 16 čísel činily 4 bity.

Zkontrolujte otázky a úkoly

1. A Priori je známo, že míč je v jednom ze tří URN: A, v nebo C. Určete, kolik bitů informací obsahuje zprávu, kterou je v URN V.

Možnosti:1bit,1,58bit,2bit,2,25bit.

2. Pravděpodobnost první události je 0,5 a druhá a třetí 0,25. Jaká distribuce se rovná informační entropii. Možnosti:0,5bit,1 bit,1,5bit,2bit,2,5bit,3bit.

3. Zde je seznam zaměstnanců některé organizace:

Určete množství informací, které chybí, aby bylo možné splnit následující požadavky:

Zavolejte prosím Ivanov do telefonu.

Mám zájem o jeden ze svého zaměstnance, narozený v roce 1970.

4. Který ze zpráv nese více informací:

· V důsledku užívání mince (orla, spěch), spěch spadl.

Na semaforu (červená, žlutá, zelená) je nyní zelené světlo.

· V důsledku využití hrající kosti (1, 2, 3, 4, 5, 6) klesla 3 body.

Nejrozšířenější při určování průměrného počtu informací, které jsou obsaženy ve zprávách ze zdrojů nejrůznějšího charakteru, dostal přístup. Shannon. Zvažte následující situaci.
Zdroj přenáší základní signály k. Odlišné typy. Podívejme se na poměrně dlouhý segment zprávy. Nechat to N.1 prvního typového signálu, N.2 signály druhého typu, ..., N.k. Signály k.- typ, a N.1 + N.2 + ... + N.k. = N. - celkový počet signálů v pozorovaném segmentu, f.1, f.2, ..., f.k. - Frekvence odpovídajících signálů. Jako zvýšení délky segmentu zprávy, každý z frekvencí má tendenci s pevným limitem, tj.
Lim. f.i. I. = p.i. I., (i. I. = 1, 2, ..., k.),
Kde r.i. I. Pravděpodobnost signálu můžete zvážit. Předpokládejme, že přijatý signál i. I.-Ho typ s pravděpodobností r.i. I.obsahující - log. p.i. I. Informace o jednotkách. V posuzovaném segmentu i. I.- Signál se bude setkat přibližně Np.i. I. časy (předpokládáme, že N. dostatečně velký) a obecné informace dodané signály tohoto typu budou rovny práce Np.i. I. Log. r.i. I.. Totéž se vztahuje na signály jakéhokoli jiného typu, takže plné množství informací dodaných segmentem N. Signály budou přibližně stejné

Určit průměrné množství informací na jednom signálu, tj. Zvláštní zdroj informací, musíte toto číslo rozdělit N.. S neomezeným růstem bude přibližná rovnost přesná. V důsledku toho se získá asymptotický poměr - vzorec shannonu

Nedávno se stalo méně běžným než slavným vzorcem Einstein E. = mc. 2. Ukázalo se, že vzorec navrhovaný Hartley je zvláštní případ obecnějšího vzorce Shannonu. Pokud ve vzorci schannanam přijme
r.1 = p.2 = ... = r.i. I. = ... =p.N. = 1/N.T.

Znamení mínus v Shannon Formule neznamená, že množství informací ve zprávě je záporná hodnota. Je vysvětleno tím, že pravděpodobnost r.Podle definice menší než jedna, ale nula. Od logaritmu menší jednotky, tj. Log. p.i. I. - Hodnota je negativní, pak produkt pravděpodobnosti na logaritmu čísla bude pozitivní.
Kromě tohoto vzorce, Shannon navrhl abstraktní komunikační schéma sestávající z pěti prvků (zdroj informací, vysílače, komunikační linky, přijímače a adresát) a formulovaná šířka pásma, hluková imunita, kódování atd.
V důsledku vývoje teorie informací a jejích aplikací, Sannonovy myšlenky rychle distribuovaly svůj vliv na nejrůznější oblasti znalostí. Vidělo to, že vzorec Shannonu je velmi podobný vzorci entropie použité ve fyzice, odvozený v Boltzmann. Entropie označuje stupeň poruchy statistických forem molekul. Entropie je maximální s ekvivalentní distribucí parametrů pohybu molekul (směr, rychlost a prostorová poloha). Hodnota entropie se snižuje, pokud je uspořádán pohyb molekul. Vzhledem k tomu, že uspořádání objednávání se zvyšuje, entropie má tendenci na nulu (například když je možná pouze jedna hodnota a směr otáčky). Při vypracování zprávy (text) s pomocí entropie je možné charakterizovat stupeň kranitoty pohybu (střídání) znaků. Text s maximálním entropií je text s ekvilibious distribucí všech abecedních písmen, tj S bezvýznamným střídáním písmen, například:chchchchchchchchchchchchchchchchchchchchchchchchchchchchchchchchchchchcPokud je při vypracovávání textu zohledněna skutečná pravděpodobnost písmen, pak v takto získaném "fráze" bude určitá řádnost pohybu dopisů, regulovaných frekvencí jejich vzhledu: OTE OKRS AKSH TSHI.
Při zohlednění pravděpodobností čtyřpísmenových kombinací se text stává tak uspořádán, že podle některých formálních funkcí se blíží smyslíšné: Není to suché a Nepoho a korco. Důvodem pro takové uspořádání v tomto případě je informace o statistických vzorcích textů. Ve smysluplných textech, řádně, přirozeně, ještě vyšší. Takže ve frázi přišel ... Jaro Máme ještě více informací o pohybu (střídání) písmen. Text textu zvyšuje objednávání a informace, které máme o textu, a entropie (měřítko poruchy) snižuje.
Použití rozdílu ve vzorcích počtu informací o Shannon a Ertropy Boltzmann (různé značky), L. Brilluian charakterizované informace jako negativní entropie nebo negentropie.. Protože entropie je měřítkem disordexu, pak informace lze definovat jako měření materiálových systémů .
Vzhledem k tomu, že vzhled vzorce se shoduje, lze předpokládat, že pojetí informací nepřidává do konceptu entropie nic. Není to však. Pokud byl koncept entropie dříve používán pouze pro systémy, hledající termodynamickou rovnováhu, tj. Do maximální poruchy v pohybu jeho složek, ke zvýšení entropie, pojem informací také věnovala pozornost těmto systémům, které nezvyšují entropie, ale naopak, že ve státě s malými hodnotami entropie , mají tendenci dále snížit.

Je obtížné přeceňovat význam myšlenek teorie informací ve vývoji široké škály vědeckých oblastí.
Podle K. Shannonu však všechny nevyřešené problémy nelze vyřešit s takovými magickými slovy, jako jsou "informace", "entropie", "redundance".
Teorie informací je založena na pravděpodobnostní, statistických vzorcích jevů. To dává užitečný, ale ne všestranný přístroj. Proto mnoho situací se nevejde do informačního modelu Shannona. Není vždy možné předurčit seznam všech státních států a vypočítat jejich pravděpodobnosti. Kromě toho je v teorii informací zvažována pouze formální strana zprávy, zatímco jeho význam zůstává stranou. Například systém radarových stanic vede k pozorování vzdušného prostoru, aby se detekoval systém letadel soupeře S.následuje pozorování, může být v jednom ze dvou států x.1 - Nepřítel je, x.2 - Žádný nepřítel. Význam první zprávy nelze posoudit pomocí pravděpodobnostního přístupu. Tento přístup a opatření založené na výši informací Express, především "strukturní syntaktická" strana svého převodu, tj. Vyjádřit vztah signálů. Nicméně, pojmy "pravděpodobnost", "nejistota", s nimiž je spojen pojetí informací, převzít proces volby. Tento proces lze implementovat pouze tehdy, pokud existuje mnoho možností. Bez toho lze předpokládat podmínky, přenos informací je nemožné.