Katra simbola stāvoklī var būt jebkura alfabēta simbols. M.; Informācijas apjoms par vienu ziņu simbolu ir vienāda ar vidējo vērtību informāciju par visām alfabēta rakstzīmēm. M.:

Kopējais informācijas apjoms, kas ietverts ziņojumā no n. Simboli ir:

Ja visas alfabēta rakstzīmes M. parādās ar vienādu varbūtību, tad visi p i \u003d p. Kā Σr i \u003d 1T. p \u003d 1 / m.

Formula gadījumā, kad visi alfabēta simboli ir vienādi, veido veidlapu

I \u003d. n.*Žurnāls. 2 (m.).

Izeja: shannon formula gadījumā, ja visas alfabēta rakstzīmes ir vienlīdz tranzīta, nonāk Hartlijas formulā.

Vispārējā gadījumā ir patvaļīgas sistēmas entropijas H skaits X. (izlases mainīgais), kas var būt m. Dažādas valstis x 1, x 2, ... x m Ar varbūtībām p 1, p 2, ... p m aprēķina ar Shannon formulu ir vienāda

Atgādināt, ka p 1 + P 2 + ... + p m \u003d 1. Ja visi p. Man tas pats, tad viss sistēmas statuss X. ekvivalents; šajā gadījumā p i \u003d 1 / mun formula iet uz Hartlijas formulu: H (x) \u003d žurnāls 2 (m).

Komentēt.Sistēmas entropijas skaits (nejaušs mainīgais) H. nav atkarīgs no tā, kas īpaši norādīts x 1, x 2, ... x m var būt sistēma, bet ir atkarīga no numura m. Šīs valstis un varbūtība p 1, p 2, ... p m Ar kuru sistēma var būt šajās valstīs. Tas nozīmē, ka divas sistēmas, kurās valstu skaits ir vienlīdzīgi, un šo valstu iespējamība p 1, p 2, ... p m EQUAL (ar precizitāti pasūtījuma nosūtīšanu), ir vienāds entropija.

Teorēma.Maksimālais entropija H (x) Tas tiek panākts gadījumā, ja visas sistēmas sistēmas ir vienlīdz vienādas. Tas nozīmē, ka

Ja X sistēma var būt tikai viena valsts ( m \u003d 1.), tad viņas entropija ir vienāda nulle.

Apsveriet sistēmu, kas var veikt tikai divas valstis. x1. un x2 Ar varbūtībām p1 un p2.:

Šādas sistēmas entropijas skaits ir vienāds

H (x) \u003d - (1/2 * log 2 (1/2) + 1/2 * log 2 (1/2)) \u003d -Log 2 (1/2) \u003d log 2 (2) \u003d 1

Šī summa tiek ņemta katrai entropijas mērīšanas vienībai (informācija), un to sauc 1 bits (1 bits).

Apsveriet funkciju

h (x) \u003d - (x * log 2 (x) + (L-x) * log 2 (L-x))

Tās definīcijas joma - intervāls (0 ;1) , Lim H (x) \u003d 0 priekš h.-\u003e 0ili h.-> 1.

Šīs funkcijas grafiks ir parādīts attēlā:

Grafika funkcija h (x) \u003d - (x * log 2 (x) + (L - x) * log 2 (L - x))

Ja jūs izrakstāt x cauri p 1, bet (1-x) cauri p 2.T. p 1 + p 2 \u003d 1; p 1, p 2 î (0; 1), h (x) \u003d h (p 1, p 2) \u003d - (p 1 * log 2 (p 1) + (p 2) * log 2 (p 2)) - entropijas sistēma ar divām valstīm; maksimums H. sasniegts p 1 \u003d p 2 \u003d 0.5.

H (x) grafiku var izmantot, risinot šādus uzdevumus:

1. uzdevums. Ir trīs nejauši mainīgie X, Y, Z, no kuriem katrs ņem divas vērtības ar varbūtībām:

1. p (x \u003d x1) \u003d 0,5; P (x \u003d x2) \u003d 0,5;

2. p (y \u003d y1) \u003d 0,2; P (y \u003d y2) \u003d 0,8;

3. p (z \u003d z1) \u003d 0,3; P (z \u003d z2) \u003d 0,7.

Ierakstīšana p (x \u003d x1) \u003d 0,5 nozīmē, ka nejaušā vērtība X ņem vērtību x1 ar varbūtību 0,5. Tas ir nepieciešams, lai sakārtotu entropija šīm sistēmām augošā secībā.

Lēmums.

Entropija H (x) ir vienāds ar 1 un būs vislielākais;

Entropy H (Y) ir vienāds ar funkcijas vērtību H (X), () pie x \u003d 0,2, ti. H (y) \u003d h (0,2);

Entropy H (z) \u003d h (0,3). Saskaņā ar H grafiku (X), to var noteikt, ka H (0,2)< h(0.3). Следовательно, H(Y) < H(Z) < H(X).

1. piezīme. Sistēmas entropija ir lielāka, jo mazāk atšķirība starp tās valstu varbūtībām viens no otra.

Pamatojoties uz to, mēs varam secināt, ka h (y)< H(Z).

Piemēram, ja ir varbūtības X un Y ar trim valstīm: par X (0,4; 0,3; 0,3), par Y (0,1; 0,1; 0,8), ir acīmredzams, ka sistēmas X nenoteiktība ir lielāka par nenoteiktību no Y sistēmas: pēdējais visticamāk, stāvoklis tiks īstenots, kuru varbūtība ir 0,8.

Entropija H (X) raksturo sistēmas nenoteiktības pakāpi. Jo lielāks informācijas apjoms, kas saņemta par informācijas sistēmu, jo vairāk informācijas par sistēmu, un mazāk neskaidra tās valsts būs par saņēmējam informāciju.

Ja sistēmas entropija pēc informācijas saņemšanas kļūst vienāda ar nulli, tas nozīmē, ka nenoteiktība pazuda, visa entropija "šķērsoja" informāciju. Šādā gadījumā ir teikts, ka tika iegūta pilnīga informācija par X sistēmu. Iegūtās informācijas apjoms, pilnībā precizējot fiziskās sistēmas stāvokli, ir vienāda ar šīs sistēmas entropiju.

Ja pēc noteikta ziņojuma saņemšanas X sistēmas nenoteiktība kļuva mazāk, bet vispār nav pazudis, ziņojumā iekļautā informācijas apjoms ir vienāds ar entropijas pieaugumu:

I \u003d H1 (x) - H2 (x),

kur H1 (X) un H2 (X) ir sistēmas entropija pirms un pēc ziņojuma attiecīgi. Ja H2 (x) \u003d 0, tad sistēmas nenoteiktības mērījums ir nulle un pilnīga informācija par sistēmu tika iegūta.

Piemērs. Jūs vēlaties uzminēt punktu skaitu, kas ietilpst kubā. Jūs saņēmāt ziņojumu, ka punktu skaits samazinājās. Kāda informācija ietver šo ziņojumu?

Lēmums. Entropijas sistēma "Spēlē Cube" H1.vienāds Žurnāls 2 6.jo Kubs var nejauši veikt sešus iespējamsvalstis (1, 2, 3, 4, 5, 6). Saņemtais ziņojums samazina iespējamo valstu skaitu līdz trim: (2, 4, 6), t.I. Entropijas sistēma tagad ir vienāda H2 \u003d Log 2 3. Entropijas pieaugums ir vienāds ar Iegūtās informācijas skaitu \u003d H1 - H2 \u003d Log 2 6 - Log 2 3 \u003d Log 2 2 \u003d 1 bits.

Attiecībā uz demontāžas uzdevuma piemēru var izskaidrot vienu no vienības vienības kopīgajām definīcijām - 1 biti: \\ t 1 bits ir vairākas informācijas, kas samazina sistēmas stāvokļa nenoteiktību pēc divām reizēm.

Diskrētā sistēmas nenoteiktība ir atkarīga no tās valstu skaita N.

Entropija pirms informācijas saņemšanas H1 \u003d log 2 n. Ja pēc informācijas saņemšanas nenoteiktība divreiz samazinājās, tad tas nozīmē, ka valstu skaits kļuva vienāds ar N / 2, un entropija H2 \u003d Log 2 N / 2. Saņemto informāciju I \u003d H1 -H2 \u003d LOG 2 N - LOG 2 N / 2 \u003d Log 2 2 \u003d 1 bits.

Apsveriet vairākus uzdevumus, izmantojot Šenonas un Hartlijas formulu.

2. uzdevums.Var entropija sistēmas, kas aizņem nejauši vienu no 4 valstīm, ir: a) 3; b) 2.1 c) 1,9 g) 1; e) 0.3? Atbilde, lai izskaidrotu.

Lēmums.Maksimālā iespējamā vērtība no sistēmas entropijas ar 4 valstīm sasniedz, ja visas valstis ir vienādas. Šī vērtība saskaņā ar Hartlijas formulu ir vienāda ar žurnālu 2 4 \u003d 2 biti. Visos citos gadījumos sistēmas entropija ar 4 valstīm būs mazāk nekā 2. Līdz ar to iespējamās vērtības entropijas no iepriekš minētajām var būt vērtības 1,9, 1, 0.3.

3. uzdevums.Funkcija h (x) \u003d -x * log 2 (x) ir iestatīts - (1-x) * log 2 (1-x). Ievietojiet šādus vērtības augošā secībā: H (0,9), H (0,85), H (0,45), H (0,2), H (0,15).

Lēmums.Izmantojiet funkcijas grafiku (3.5). Augstākā vērtība būs H (0,45), mazākā vērtība - H (0,9), tad H (0,15) un H (0,85) \u003d H (0,15) un H (0,85) \u003d H (0,15)) vērtības pieaug; H (0,2). Atbilde: H (0,9)< H(0.15)=H(0.85)< H(0.2) < H(0.45). É

4. uzdevums.Ziņojumi tiek pārraidīti pa saiti: a) "start_b_10"; b) loancha_1_v0. Salīdziniet informācijas apjomu pirmajā un otrajā ziņojumā.

Lēmums.Pirmais un otrais ziņojums sastāv no tām pašām rakstzīmēm: otrais tiek iegūts no pirmās, kā rezultātā šo rakstzīmju permutāciju. Saskaņā ar Schannon formulu šie ziņojumi satur tādu pašu informācijas apjomu. Tajā pašā laikā pirmais ziņojums sniedz nozīmīgu informāciju, un otrais ir vienkāršs rakstzīmju kopums. Tomēr šajā gadījumā mēs varam teikt, ka otrais ziņojums ir pirmais "šifrēts" iespēja, un tāpēc informācijas apjoms abos ziņojumos ir vienāds.

5. uzdevums.Ir iegūti trīs dažādi ziņojumi A, B, C:

A \u003d "ierašanās pulksten desmit"; B \u003d "ierašanās desmit stundas nulles minūtes"; C \u003d "Ierašanās tieši pulksten desmit." Izmantojot Schannon Entropy pieeju, salīdziniet šo ziņojumu ietvertās informācijas apjomu.

Lēmums.Apzīmē informācijas apjomu ziņojumos A, B, C, izmantojot I (a), I (b), I (c), attiecīgi. "Satura" nozīmē šie ziņojumi ir tieši tādi paši, bet tas pats saturs ir izteikts, izmantojot citu rakstzīmju skaitu. Šajā gadījumā visi ziņojuma simboli ir ietverti ziņojumā B un C ziņojumā C \u003d A + "Tieši", B \u003d A + "nulle minūtes"; Saskaņā ar Šenonas pieeju mēs saņemam: I (a)< I(C) < I(B).

Mūsu pasaule ir balstīta uz trim sastāvdaļām: vielu, enerģiju un informāciju. Cik daudz vielu, enerģētikas un informācijas pasaulē? Vai ir iespējams tos izmērīt un kā tieši? Mēs zinām, kā izmērīt vielas un enerģijas daudzumu. Bet kā ar informāciju? Vai ir iespējams to izmērīt?

Agrāk tika atzīmēts, ka ir vairākas pieejas informācijas skaita novērtēšanai. Tagad mēs paliksim detalizēti par vienu no tiem.

Jebkurš ziņojums būs informatīvs, ja tas papildina cilvēku zināšanas, t.i. Samazina viņa zināšanu nenoteiktību.

Izmēri notikumi

1. piemērs.

Piemēram, mest monētu, mēs cenšamies uzminēt, kura puse samazināsies. Viena no iznākuma iespējām ir iespējama: monēta būs "ērgle" vai "skriešanās" pozīcijā. Katrs no šiem diviem notikumiem būs līdzvērtīga, t.i., nevienai no tām nav priekšrocības citiem. Pirms mest monētu, neviens nevar zināt, kā tas krīt, t.i. Zināšanu nenoteiktība. Pēc notikuma rašanās, gluži pretēji, ir pilnīga noteiktība, jo throwing saņem vizuālu ziņojumu par monētas pozīciju, kas savukārt samazina viņa zināšanu nenoteiktību divreiz, jo viens no diviem līdzsvara pasākumiem notika.

2. piemērs.

Vēl viens piemērs ir situācija ar sešstūra kubu, t.i. Pirms mest, neviens nevar zināt, kura puse kritīsies. Šādā gadījumā ir iespēja iegūt vienu sešu ekvivalentu rezultātu. Tādējādi, pirms throwing nenoteiktība zināšanas par throwing būs vienāds ar 6, pēc mest, tas samazināsies tieši 6 reizes, jo tas ir 6 līdzvērtīgi notikumi, kas var rasties.

3. piemērs.

Apsveriet piemēru, kur 40 biļetes sagatavotas eksāmenam. Notikumu varbūtība, kas notiks, kad velkot biļeti, būs vienāds ar 40. Un šie notikumi būs vienādi. Tajā pašā laikā, nenoteiktība studentu zināšanas pirms biļetes izvēles būs vienāds ar 40. Līdz ar to nenoteiktība zināšanu pēc studenta ņēma biļeti samazināsies 40 reizes. Ļaujiet mums jautāt, vai šis rādītājs ir atkarīgs no iegarena biļetes skaita. Nē, jo notikumi ir vienādi).

Analizējot visus iepriekš minētos piemērus, var secināt, ka lielāks sākotnējais iespējamo līdzvērtīgo notikumu skaits, jo vairāk laika samazinās zināšanu nenoteiktība, un jo vairāk informācijas tiks ietverta eksperimenta ziņojumā.

Neekonomiskie notikumi

Apsveriet kā piemēru runāto valodu. Mēs vēršamies pie pierādīto pētījumu faktiem, kas parāda, ka visās sadarbības valodās dažas vēstules notiek daudz biežāk nekā citas. Pētījuma rezultāti apstiprina, ka $ 1000 vēstules dažādās sadarbības valodās veido citu atkārtojumu skaitu. Kā piemēri tabulā iepazīstina ar dažiem burtiem krievu un angļu valodā:

1. attēls.

Turklāt individuālo burtu izskatu varbūtība būs atkarīga no tā, kādus burtus izmanto tos priekšā. Tātad, krievu pēc patskaņa, mīksta zīme nekad nevar stāvēt, kā arī vārdos, četri patskaņi netiek izmantoti utt. Runātās valodas parasti ir savas īpašības un modeļi. Tāpēc jebkuras sarunvalodas ziņojumos ietvertās informācijas apjoms nav pieņemams, lai novērtētu Hartlijas formulu, ko lieto alfabētiskā pieeja informācijas novērtēšanai un ir raksturīgs piemēriem ar līdzvērtīgiem notikumiem (piemēri ar monētu un kubu) ).

Kā noteikt, cik daudz informācijas satur, piemēram, romāna "kara un miera" teksts vai lielo itāļu mākslinieku freskas un audekls vai cilvēka ģenētiskais kods? Atbildes uz šiem jautājumiem un līdzīgu zinātni vēl nav zināmi, un, visticamāk, drīz nebūs zināmi. Tomēr visi ir ieinteresēti, vai ir iespējams objektīvi novērtēt informācijas apjomu? Šāda veida uzdevums ir šāds piemērs.

Kā noskaidrot, vai līdzvērtīgas ziņas ir "pirmais nāks no ēkas" un "pirmais nāks no ēkas"? Nav nepārprotama atbilde uz šo jautājumu. Viss būs atkarīgs no tā, kāda veida ēku mēs runājam. Ja tas ir, piemēram, ginekoloģiskās klīnikas ēka, tad pirmās sievietes iegūšanas varbūtība ir ļoti augsta, ja tā ir militārā kazarmas, tad varbūtība iziet vispirms, lai cilvēks būtu augstāks nekā sievietei , Bet, ja tas ir kino ēka, tad varbūtības nāk ārā vispirms cilvēks un sievietes būs vienādas.

Informācijas skaita novērtējums. Formula Shannon

Lai atrisinātu šāda veida problēmas, tiek izmantots amerikāņu zinātnieku ierosinātās informācijas kopējais novērtējums Claude Shannon 1948. gadā Izveidots ar formulu, lai noteiktu informācijas skaitu, var ņemt vērā iespējamo nevienlīdzīgo varbūtību, kas ietverti komplektā. Shannon, veidojot formulu, ko izmanto matemātikā un hidrodinamikā varbūtības nenoteiktības mērs (ko sauc par entropiju), lai pilnībā novērtētu statusu sistēmas tiek pētīta un iegūtu visaugstāko iespējamo informāciju par procesiem šajā sistēmā. Šis informācijas skaita novērtējums būtībā ir varbūtības pasākumsun kā nenoteiktības novērtējums atspoguļo jebkura avota spēju parādīt visas jaunās un jaunās valstis un tādējādi sniegt informāciju.

1. definīcija.

Shannon definēts entropija. Kā vidējo logaritmisko funkciju daudzu iespējamo sistēmas iespējamo varbūtību (iespējamie pieredzes rezultāti). Lai aprēķinātu entropiju Shannon ierosināja šādu vienādojumu:

$ H \u003d - (p_1log_2p_1 + p_2log_2p_2 + ... + p_nlog_2p_n) $

ja $ p_i $ ir varbūtība, ka parādās $ i $ -th pasākums $ N $ notikumiem.

Tad informācijas apjoms, kas iegūta pieredzes rezultātā, nebūs arī atšķirība starp sistēmas entropiju uz ($ h_0 $) un pēc $ h_1 $) pieredzi:

turklāt, ja ir pilnīgi izslēgta nenoteiktība, mums ir:

$ I \u003d \\ sigma (p_ilog_2p_i), i \u003d 1, \\ t, n $.

Apsveriet piemēru, kas apstiprina šīs kannas teorijas izmantošanu praksē.

4. piemērs.

Pescari un asaris dzīvo ezerā. Aprēķināja personu skaitu katrā populācijā (pescase - $ 1,500 $, un perch - $ 500 $). Ir jānosaka, cik daudz informācijas ir ietverta ziņojumos, ka zvejnieks nozvejotas smiltis, asaris, kopumā zivīs?

Lēmums. Pescar vai asares nozvejas notikumi nav vienādi, jo ezerā ezerā dzīvo daudz mazāk nekā peskare.

Kopējais pekāzes un asaras mājokļa skaits ezerā:

$1500 + 500 = 2000$.

Mēs definējam peskar nozvejas iespējamību:

$ p_1 \u003d FRAC (1500) (2000) \u003d 0,75 $,

Mēs definējam perch nozvejas iespējamību:

$ P_2 - FRAC (500) (2000) \u003d 0,25 $.

$ I_1 \u003d log_2 (FRAC (1) (p_1)), i_1 \u003d log_2 (FRAC (1) (P_2)) $

ja $ i_1 $ un $ i_2 ir attiecīgi smilšu nozvejas un asaris varbūtība.

Izlaišanas ziņojumā ietvertās informācijas apjoms:

$ I_1 \u003d log_2 (FRAC (1) (0,75)) "0.43 $ bit, \\ t

Perch nozvejas asarī iekļautās informācijas apjoms:

$ I_2 \u003d log_2 (FRAC (1) (0,25)) »$ 2 biti.

Informācijas apjomu, kas atrodas ziņojumā par zivju nozveju (Kunciānu vai asaru), aprēķina Shannon formula:

$ I \u003d - p_1log_2p_1 - p_2log_2p_2 $

$ I \u003d -0,75 \\ cdot log_20,75-0,25 \\ cdot log_20,25 \u003d -0,75 \\ cdot (FRAC (Log0,75) (log2)) - 0,25 \\ T \u003d 0.604 biti "0.6 $ bit.

Atbilde: Ziņojumā ir informācija par 0,6 ASV dolāriem.

Tās turpmākā attīstība teorijas informācijai, kas saņemta Claud Shannon, amerikāņu inženiera un matemātikas darbos (1916 - 2001). Shannon ir viens no matemātiskās informācijas teorijas veidotājiem. Tās galvenie darbi ir veltīti releju kontaktu shēmu teorijai, matemātisko sakaru teorijai, kibernētiskiem. K. Shannon pētīja informācijas pārsūtīšanas jautājumus telegrāfā, telefonijā vai apraidē formā signālu elektromagnētisko svārstību. Viens no uzdevumiem, kas K. Shannon ievieto viņa priekšā bija noteikt kodēšanas sistēmu, kas ļauj optimizēt ātrumu un precizitāti informācijas pārsūtīšanu. Kopš kara gadu laikā viņš kalpoja šifrēšanas nodaļā, kur viņš nodarbojas ar kriptogrāfisko sistēmu attīstību, tas vēlāk palīdzēja viņam atvērt kodēšanas metodes ar kļūdu labošanu. Savos darbos 1948-1949, K. Shannon definēja informācijas apjomu, izmantojot entropiju - thermodinamics un statistikas fizikā zināmo summu kā sistēmas traucējuma mērvienību, un par informācijas skaita vienību pieņemts pēc tam To sauc par bitu (bitu).

Turpmākai prezentācijai ir jāizmanto daži varbūtības teorijas jēdzieni: nejaušs notikums, pieredze, notikuma varbūtība, nejauša vērtība. Pasaulē ap mums ir dažādi notikumi, un mēs varam intuitīvi, pamatojoties uz pieredzi, novērtēt dažus no tiem, jo \u200b\u200bvairāk iespējams, nekā citi. Nejaušs sauc par notikumu, kas var rasties, vai ne soli, kā rezultātā noteiktu testu, pieredzi vai eksperimentu. Mēs apzīmējam notikumus galvaspilsētas A, B, CTS uc Kvantitatīvais pasākums iespējamiem notikumiem dažiem notikumiem, visticamāk, būs varbūtība, un to sauc par ASP (A), p- no angļu varbūtības. Jo vairāk iespējams rašanās izlases notikumu, jo lielāka tās varbūtība: ja visticamāk, iespējams, pēc tam P (a)\u003e p (b). Ir ieviesta uzticama notikuma jēdziens - notikums, kas nāks. Šis notikums apzīmē, ka tā uzskata, ka tās varbūtība () \u003d 1. Nav iespējams izsaukt notikumu, kas nekad nenotiks. Tā apzīmē tā uzskata, ka tās varbūtība () \u003d 0. Par visu pārējo notikumu varbūtības, nevienlīdzība tiek veikta ()< p(A)

Par notikumiem tiek ieviesta jēdziens par summu un darbu. Notikumu summa A + B ir notikums, kas sastāv no notikuma rašanās A vai B. Notikumu darbs A * B sastāvā ir vienlaicīga notikumu sastopamība A un B. AIB notikumi nepilnīgsJa viņi nevar sanākt kopā vienā testa rezultātā. Nepilnīgo notikumu apjoma varbūtība ir vienāda ar to varbūtības summu. Ja un nepilnīgi notikumi, tad p (a + b) \u003d P (a) + p (b).

Notikumi A1, A2, A3, ... konvertēt pilna grupaJa pieredzes rezultātā būs vismaz viens no tiem. Ja notikumi ir A1, A2, A3, ... dusmīgs ir nesaprotams un veido pilnīgu grupu, tad to varbūtību summa P1 + P2 + P3 + ... .pn \u003d 1. Ja tie ir arī vienlīdz pat, tad katra varbūtība ir vienāda ar \u003d 1 / n, ja notikumu skaits. Varbūtībanotikumi tiek definēti kā labvēlīgo pieredzes gadījumu skaita attiecība kopējā rezultātu skaitā. Biežumsnotikumi ir empīriska tās varbūtības tuvināšana. To aprēķina vairāku eksperimentu virkni kā eksperimentu skaita attieksme, kurā notikums ir nonācis pie kopējā eksperimentu skaita. Ar lielu eksperimentu skaitu (testi) notikumu biežums ir apņēmies tās varbūtību.

K. Shannon, izmantojot R. Hartlijas pieeju, vērsa uzmanību uz to, ka, nosūtot verbālus ziņojumus, biežumu (varbūtība), izmantojot dažādus alfabēta burtus, nav tas pats: daži burti tiek izmantoti ļoti bieži, citi ir reti.

Apsveriet alfabētu m, kas sastāv no ISMS. Apzīmē I-sim simbola parādīšanās varbūtību (biežumu) jebkurā nosūtītā ziņojuma pozīcijā, kas sastāv no n rakstzīmēm. Viens no alfabēta simboliem ir informācijas apjoms, kas vienāds ar -Log 2 (p i). Pirms logaritma izmaksām "mīnus", jo informācijas apjoms nav negatīvs, un log 2 (x)<0 при 0

Katra simbola vietā var būt jebkura alfabēta rakstzīme; Informācijas apjoms par vienu ziņu simbolu ir vienāda ar vidējo vērtību informāciju par visu alfabēta rakstzīmēm M:

Kopējais informācijas apjoms no N rakstzīmēm ir:

(3.2)

Ja visas rakstzīmes alfabēta m parādās ar vienādu varbūtību, tad visi p i \u003d p. Tātad zondes i \u003d 1, tad p \u003d 1 / m.

Formula (3.2.) Gadījumā, kad visas alfabēta rakstzīmes ir vienādas, ņem

Secinājums: Shannon formula (3.2) Gadījumā, ja visi alfabēta simboli ir vienādi vienādi ar Hartlijas formulu (2.2.).

Vispārējā gadījumā HPC sistēmas X (izlases mainīgais) entropijas skaits, kas var būt m no dažādām valstīm x 1, x 2, ... XM pārvēršas par P 1, P 2, ... PM, ko aprēķina ar Shannon formulu, vienāds

(3.3)

Atgādināt, ka p 1 + p 2 + ... + p \u003d 1. Ja visi p i ir vienādi, tad visas sistēmas X ir vienādi vienādi; Šajā gadījumā, p i \u003d 1 / m un formula (3.3) ieiet Hartlijas formulā (2.5): h (x) \u003d log 2 (m).

Komentēt.Sistēmas entropijas skaits (nejaušs mainīgais) x nav atkarīgs no tā, kas īpaši norāda uz x 1, x 2, ... XM var būt sistēma, bet ir atkarīga no valstu skaita un no varbūtības p 1, p 2 ,. .. PM, ar kuru sistēma var būt šajās valstīs. Tas nozīmē, ka divas sistēmas, kurās valstu skaits ir vienlīdzīgi, un šo valstu varbūtības p 1, p 2, ... p m ir vienāds ar (ar precizitāti pasūtījuma kārtībā), ir vienāds entropija.

Teorēma.Maksimālais Entropy H (X) tiek sasniegts, kad visas sistēmas valstis ir vienlīdz vienādas. Tas nozīmē, ka

(3.4)

Ja X sistēma var būt tikai vienā stāvoklī (m \u003d 1), tad tās entropija ir nulle. Apsveriet sistēmu, kas var veikt tikai divas valstis X1 un X2 ar varbūtībām P1 un P1:

Šādas sistēmas entropijas skaits ir vienāds

H (x) \u003d - (1/2 * log 2 (1/2) + 1/2 * log 2 (1/2)) \u003d -Log 2 (1/2) \u003d log 2 (2) \u003d 1

Šo summu uzskata par entropijas mērīšanas vienību (informācija), un to sauc par 1 bitu (1 bitu).

Apsveriet funkciju

h (x) \u003d - (x * log 2 (x) + (1-x) * log 2 (1-x)). (3.5.)

Tās definīcijas joma ir intervāls (0; 1), limh (x) \u003d 0, pie x0 vai 1. Šīs funkcijas grafiks ir parādīts attēlā:

Fig. 4. Funkcijas grafiks (3.5)

Ja jūs izrakstāt x ar P 1, A (1-X) caur P 2, Top 1 + P 2 \u003d 1; p 1, p 2  (0; 1), h (x) \u003d h (p 1, p 2 ) \u003d - (P 1 * log 2 (p 1) + (P 2) * log 2 (p 2)) - entropija sistēmas ar divām valstīm; Maksimālais H tiek sasniegts ar 1 \u003d p 2 \u003d 0,5.

H (x) grafiku var izmantot, risinot šādus uzdevumus:

Uzdevums 1. Trīs izlases mainīgie X, Y, Z tiek doti, katrs no tiem aizņem divas vērtības ar varbūtībām:

P (x \u003d x1) \u003d 0,5; P (x \u003d x2) \u003d 0,5;

P (y \u003d y1) \u003d 0,2; p (y \u003d y2) \u003d 0,8;

P (z \u003d z1) \u003d 0,3; P (z \u003d z2) \u003d 0,7.

Ierakstīšana p (x \u003d x1) \u003d 0,5 nozīmē, ka nejaušā vērtība X ņem vērtību x1 ar varbūtību 0,5. Tas ir nepieciešams, lai sakārtotu entropija šīm sistēmām augošā secībā.

Lēmums. Entropija H (x) ir vienāds ar 1 un būs vislielākais; Entropy H (Y) ir vienāds ar funkcijas H (X) vērtību, skatīt (3.5), ATX \u003d 0,2, I.E.H (Y) \u003d H (0,2); Entropyh (z) \u003d h (0,3). Saskaņā ar H grafiku (X), to var noteikt, ka H (0,2)< h(0.3). Следовательно, H(Y) < H(Z) < H(X).

1. piezīme.Sistēmas entropija ir lielāka, jo mazāk atšķirība starp tās valstu varbūtībām viens no otra. Pamatojoties uz to, mēs varam secināt, ka h (y)< H(Z). Например, если для систем X и Y с тремя состояниями заданы вероятности: дляX{0.4; 0.3; 0.3}, дляY{0.1; 0.1; 0.8}, то очевидно, что неопределённость системыXбольше, чем неопределённость системыY: у последней, скорее всего, будет реализовано состояние, вероятность которого равна 0.8 .

Entropija H (X) raksturo sistēmas nenoteiktības pakāpi. Jo lielāks informācijas apjoms, kas saņemta par informācijas sistēmu, jo vairāk informācijas par sistēmu, un mazāk neskaidra tās valsts būs par saņēmējam informāciju.

Ja sistēmas entropija pēc informācijas saņemšanas kļūst vienāda ar nulli, tas nozīmē, ka nenoteiktība pazuda, visa entropija "šķērsoja" informāciju. Šādā gadījumā ir teikts, ka pilnīga informācija tika iegūta par SISTĒMU X. Informācijas skaitu, kas iegūta, pilnībā precizējot fiziskās sistēmas stāvokli, kas ir vienāds ar šīs sistēmas entropiju.

Ja pēc noteikta ziņojuma saņemšanas sistēmas nenoteiktība ir mazāka, bet vispār nav pazudis, ziņojumā ietvertās informācijas apjoms ir vienāds ar entropijas pieaugumu:

I \u003d H1 (x) - H2 (X), (3.6)

kur H1 (X) un H2 (X) ir sistēmas entropija pirms un pēc ziņojuma attiecīgi. Ja H2 (x) \u003d 0, tad sistēmas nenoteiktības mērījums ir nulle un pilnīga informācija par sistēmu tika iegūta.

Piemērs. Jūs vēlaties uzminēt punktu skaitu, kas ietilpst kubā. Jūs saņēmāt ziņojumu, ka punktu skaits samazinājās. Kāda informācija ietver šo ziņojumu?

Lēmums. "Kuba" sistēmas H1 entropija ir vienāda ar žurnālu 2 6, jo Kubs var nejauši veikt sešus iespējamsvalstis (1, 2, 3, 4, 5, 6). Saņemtais ziņojums samazina iespējamo valstu skaitu līdz trim: (2, 4, 6), t.I. Sistēmas entropija tagad ir vienāda ar H2 \u003d Log 2 3. Entropijas pieaugums ir vienāds ar iegūto informāciju I \u003d H1 - H2 \u003d Log 2 6 - Log 2 3 \u003d log 2 2 \u003d 1bit.

Attiecībā uz demontāžas uzdevuma piemēru var izskaidrot vienu no vienības vienības kopīgajām definīcijām - 1 biti: \\ t 1 bit ir informācijas apjoms, kas samazina sistēmas stāvokļa nenoteiktību divreiz.Diskrētā sistēmas nenoteiktība ir atkarīga no tās valstu skaita. Pirms informācijas saņemšanas Informationh1 \u003d Log 2 N. Ja pēc informācijas saņemšanas nenoteiktība samazinājās divreiz, tad tas nozīmē, ka valstu skaits ir kļuvis vienāds / 2, un Entropyh2 \u003d Log 2 N / 2. Saņemto informāciju \u003d H1 -H2 \u003d LOG 2 N-LOG 2 N / 2 \u003d LOG 2 2 \u003d 1 BITS.

Apsveriet vairākus uzdevumus, izmantojot Šenonas un Hartlijas formulu.

2. uzdevums.Var entropija sistēmas, kas aizņem nejauši vienu no 4 valstīm, ir: a) 3; b) 2.1 c) 1,9 g) 1; e) 0.3? Atbilde, lai izskaidrotu.

Lēmums.Maksimālā iespējamā vērtība no sistēmas entropijas ar 4 valstīm sasniedz, ja visas valstis ir vienādas. Šī vērtība saskaņā ar Hartlijas formulu ir vienāds ar tolog 2 4 \u003d 2 biti. Visos citos gadījumos sistēmas entropija ar 4 valstīm būs mazāks par 2. Līdz ar to iespējamās entropijas vērtības no iepriekš minētajām var būt vērtības 1,9, 1, 0.3.

3. uzdevums.Funkcija ir iestatīta (x) \u003d -x * log 2 (x) - (1-x) * log 2 (1-x). Ievietojiet šādus vērtības augošā secībā: H (0,9), H (0,85), H (0,45), H (0,2), H (0,15).

Lēmums.Izmantojiet funkcijas grafiku (3.5). Augstākā vērtība būs H (0,45), mazākā vērtība - H (0,9), tad augošā vērtības ir derīgas (0,15) iCh (0,85) \u003d h (0,15); H (0,2). Atbilde: H (0,9)

4. uzdevums.Ziņojumi tiek pārraidīti pa saiti: a) "start_b_10"; b) "loancha_1_v0". Salīdziniet informācijas apjomu pirmajā un otrajā ziņojumā.

Lēmums.Pirmais un otrais ziņojums sastāv no tām pašām rakstzīmēm: otrais tiek iegūts no pirmās, kā rezultātā šo rakstzīmju permutāciju. Saskaņā ar Schannon formulu šie ziņojumi satur tādu pašu informācijas apjomu. Tajā pašā laikā pirmais ziņojums sniedz nozīmīgu informāciju, un otrais ir vienkāršs rakstzīmju kopums. Tomēr šajā gadījumā mēs varam teikt, ka otrais ziņojums ir pirmais "šifrēts" iespēja, un tāpēc informācijas apjoms abos ziņojumos ir vienāds.

5. uzdevums.Tiek iegūti trīs dažādas ziņas, b, c:

A \u003d "Ierašanās pulksten desmit"; B \u003d "ierašanās desmit stundas nulles minūtes"; C \u003d "Ierašanās ir tieši pulksten 10:00." Izmantojot Schannon Entropy pieeju, salīdziniet šo ziņojumu ietvertās informācijas apjomu.

Lēmums.Apzīmē informācijas apjomu ziņojumos A, B, C TRYI (A), I (b), I (c), attiecīgi. "Satura" nozīmē šie ziņojumi ir tieši tādi paši, bet tas pats saturs ir izteikts, izmantojot citu rakstzīmju skaitu. Šajā gadījumā visi ziņojuma simboli ir ietverti ziņojumā B un C ziņojumā C \u003d A + "Tieši", B \u003d A + "nulle minūtes"; Saskaņā ar Šenonas pieeju mēs saņemam: I (a)< I(C) < I(B).

Amerikāņu inženieris R. Hartley 1928. gadā informācijas iegūšanas process tiek uzskatīts par vienu ziņu izvēli no konkrētā komplekta galīgās pārmaiņām N. līdzvērtīgi ziņojumi un informācijas apjoms I.Ietvertā izvēlētajā ziņojumā, kas definēts kā binārais logaritms N. .

Formula Hartley:

I \u003d log2. N.

Pieņemsim, ka jums ir nepieciešams uzminēt vienu numuru no skaitļu kopuma no viena līdz simts. Saskaņā ar Hartlijas formulu jūs varat aprēķināt, cik daudz informācijas ir nepieciešama: i \u003d log2100\u003e 6,644. Tādējādi ziņojums par pareizi uzminēto numuru satur informācijas apjomu, aptuveni vienāds ar 6,644 informācijas vienībām.

Mēs dodam citiem līdzvērtīgu ziņojumu piemēri:

1. Meting monētas: "Rusk samazinājās", "Eagle samazinājās";

2. Uz grāmatas lapā: "Burtu skaits ir skaidrs", "Burtu burtu skaits".

Mēs tagad definējam ir līdzvērtīgi ziņojumi "Pirmais ieradīsies no ēkas durvīm. un "Pirmais nāks ārā no ēkas durvīm cilvēks". Nepārprotami atbildēt uz šo jautājumu nevar. Tas viss ir atkarīgs no tā, kāda veida ēka mēs runājam. Ja tas ir, piemēram, metro stacija, tad varbūtība izkļūt no durvīm ir pirmā cilvēka un sievietes, un, ja tas ir militārās kazarmas, tad cilvēks šī varbūtība ir ievērojami augstāka nekā par sieviete.

Šāda veida amerikāņu zinātnieka uzdevumiem Claude Shannon 1948. gadā ierosināja citu formulu informācijas skaita noteikšanai, kas ņem vērā iespējamo nevienlīdzīgo ziņojumu varbūtību komplektā.

Shannon formula:

I \u003d - ( p.1Log2. p.1 + p.2 log2. p.2 +... + p.N log2. pn.),

Kur pi - varbūtība, ka i.-E-ziņojums ir iezīmēts komplektā N. ziņojumi.

Tas ir viegli redzēt, ka, ja varbūtības p.1, ...,pn. vienāds, tad katrs no tiem ir vienāds ar 1 / N.Un Shannon formula pārvēršas Hartlijas formulā.

Claude Shannon noteikts informācija , kā noņemta nenoteiktība . Precīzāk, informācijas saņemšana ir nepieciešams nosacījums nenoteiktības novēršanai. Nenoteiktība rodas atlases situācijā. Uzdevums, kas tiek atrisināts nenoteiktības atcelšanas laikā, ir samazināt izskatāmo iespēju skaitu (daudzveidības samazināšanās), un galu galā izvēli vienu atbilstošu situāciju pēc iespējas no iespējamā skaita. Nenoteiktības lēmumi ļauj veikt informētus risinājumus un rīkoties. Tā ir informācijas pārvaldības loma.

Iedomājieties, ka jūs devāties uz veikalu un lūdzāt pārdot jums košļājamo gumiju. Pārdevēja, kas, pieņemsim, 16 Košļājamo gumiju pakāpe ir nenoteiktības stāvoklī. Viņa nevar izpildīt jūsu pieprasījumu bez vairāk informācijas. Ja esat norādījis, teiksim, "orbītā", un no 16 Sākotnējām pārdevēju iespējām tagad uzskata tikai 8, jūs esat samazinājis savu nenoteiktību divreiz (darbojas uz priekšu, pieņemsim to, ka nenoteiktības samazināšana divreiz atbilst 1 informācijas iegūšanai ). Ja jūs, neradot aizbildnību, vienkārši norādīja pirkstu uz veikala loga, "tas ir tas!", Nenoteiktība tika pilnībā noņemta. Atkal, darbojas uz priekšu, pieņemsim, ka šis žests šajā piemērā esat informējis pārdevēju 4 bitus informāciju.

Stāvoklis maksimālā nenoteiktība Nospiež vairāku klātbūtni neizmērīgs Alternatīvas (opcijas), t.i. Neviena no iespējām nav vēlams. Un vairāk līdzvērtīgas iespējas novērots, jo lielāka nenoteiktība, jo grūtāk ir izdarīt nepārprotamu izvēli un jo vairāk informācijas ir nepieciešama lai to izdarītu. Priekš N. Iespējas Šī situācija ir aprakstīta ar šādu varbūtības sadalījumu: (1 / N.,1/ N., …,1/ N.} .

Minimālā nenoteiktība, kas vienāda ar 0. Šī situācija pilnīga noteiktība , kas nozīmē, ka izvēle tiek veikta, un tiek iegūta visa nepieciešamā informācija. Varbūtības izplatīšana situācijai pilnīgas noteiktības izskatās šādi: (1, 0, ... 0).

Daudzums, kas raksturo informācijas nenoteiktības apjomu teorijā par simbolu. H. Un tam ir vārds entropija , precīzāk informācijas entropija. .

Entropija ( H.) – nenoteiktības pasākums , izteikti bitos. Var apskatīt arī entropiju kā mērīt izplatīšanas vienveidību izlases mainīgais.

Fig. 3.4 entropijas uzvedība divu alternatīvu gadījumā

Att. 3.4 parāda entropijas uzvedību divu alternatīvu gadījumā, mainot to varbūtību attiecību ( P., (1-P.)).

Maksimālā vērtība entropijas sasniedz šajā gadījumā, ja abas varbūtības ir vienādas viens ar otru, un ir vienāda ar 1/2, nulles vērtība entropijas atbilst gadījumiem ( P.0=0, P.1 \u003d 1) un ( P.0=1, P.1=0).

Informācijas numurs I. un entropija H. Raksturo to pašu situāciju, bet no ļoti pretējām pusēm. I ir informācijas apjoms, kas ir nepieciešams, lai novērstu nenoteiktību H. Pēc Leon Brilllyuan definīcijas informācija ir negatīva entropija(negentropijs) .

Kad nenoteiktība ir pilnībā noņemta, saņemto informācijas skaits I. vienlīdz sākotnēji esošā nenoteiktība H..

Gadījumā, ja daļējas atcelšanas nenoteiktība, iegūtā informācijas apjoms un atlikušā nevajadzīgā nenoteiktība ir sākotnējās nenoteiktības apmērā. Ht + tas \u003d h(3.5. Att.).

Fig. 3.5 Komunikācija starp entropiju un informācijas skaitu

Šī iemesla dēļ formulas, kas tiks prezentētas zemāk, lai aprēķinātu entropiju H. ir abas formulas informācijas skaita aprēķināšanai I.. kad runa ir par pilnīga nenoteiktības novēršana, H.tos var aizstāt ar I..

KopumāEntropija H. un summa, kas iegūta informācijas nenoteiktības atcelšanas dēļ I. atkarīgs no sākotnējā apsvēruma iespējām N. un katras no tām īstenošanas priori varbūtība P:{p.0,p.1, …,pn-1), ti.e. H \u003d F.(N.,P.). Entropijas aprēķins šajā gadījumā tiek ražots saskaņā ar Shannon formulu 1948. gadā ierosināja rakstā "Matemātiskā sakaru teorija".

It īpašiKad visas iespējas viegli izklausās skaņa, Atkarība paliek tikai uz iespējām, kas aplūkoti, i.e. H \u003d F.(N.). Šādā gadījumā kanona formula ir ļoti vienkāršota un sakrīt ar formula Hartley , ko pirmo reizi ierosināja amerikāņu inženieris Ralph Hartley 1928. gadā, t.i. 20 gadus agrāk.

Shannon formulai ir šāda forma:

Mīnusa zīme formulā (2.1) nenozīmē, ka entropija ir negatīva vērtība. To izskaidro fakts, ka pi£ 1 pēc definīcijas, un mazāka vienības logaritms ir negatīva vērtība. Pēc logaritma īpašuma, tāpēc šo formulu var ierakstīt otrajā versijā bez mīnus pirms summas summas.

Izteiksme tiek interpretēta kā privāta informācijas apjoms. To.Iegūti ieviešanas gadījumā i.Iespēja. Entropija Shannon formulā ir vidēji raksturīga - matemātiska cerība izlases mainīgā ( I.0,I.1, …,I n-1} .

Mēs sniedzam piemēru entropijas aprēķināšanai saskaņā ar Shannon formulu. Ļaujiet kādai iestādei, darba ņēmēju sastāvs tiek izplatīts šādi: 3/4 - sievietes, 1/4 - vīrieši. Tad nenoteiktība, piemēram, kā jūs tiksies ar pirmo, dodas uz iestādi, tiks aprēķināts blakus darbībām, kas norādītas tabulā. 3.1.

3.1. Tabula

Mēs jau esam minējuši, ka Hartlijas formula ir īpašs gadījums Shannon formulu līdzvērtīgām alternatīvām.

Tā vietā aizstāšana formulā (2.1) pi tā (līdzvērtīgā gadījumā, neatkarīgi no i.) Vērtība, mēs saņemam:

Tādējādi formula Hartlijs izskatās ļoti vienkāršs:

Tas skaidri izriet, ka vairāk alternatīvu ( N.), jo lielāka nenoteiktība ( H.). Logarithmation, pamatojoties uz 2, nodrošina iespēju skaitu vienībām mērījumiem informācijas - biti. 3.6. Attēlā ir sniegta entropijas atkarība no līdzvērtīgu izvēles iespēju skaita.

Fig. 3.6 Entropijas atkarība no līdzsvara izvēles iespēju skaita (līdzvērtīgas alternatīvas)

Lai atrisinātu apgrieztās problēmas, ja ir zināma nenoteiktība ( H.) vai tās noņemšanas rezultātā iegūtā informācijas apjoms ( I.) Un jums ir nepieciešams, lai noteiktu, cik daudz vienlīdzīgi jāatbilst šīs nenoteiktības rašanās, izmantojiet Hartlijas reverso formulu, kas izskatās vēl vieglāk:

Piemēram, ja ir zināms, ka, nosakot faktu, ka Kolya Ivanov ieinteresēts otrajā stāvā, tika iegūti 3 biti, tika iegūti grīdu skaits mājā, var noteikt pēc formulas (2.3) kā N \u003d23= 8jetages.

Ja jautājums ir šāds: "8 stāvu namā, cik daudz informācijas mēs saņēmām, uzzinot, ka Kolya Ivanovs interesē otrajā stāvā?" Ir nepieciešams izmantot formulu (2.2): I \u003d.log2 (8) \u003d 3 biti.

Līdz šim mēs esam devuši formulas entropijas aprēķināšanai (nenoteiktība) H.norādot, ka H. Tos var aizstāt ar I.jo saņemtās informācijas apjoms ar pilnīgu nenoteiktības pārvietošanu Daži situācija, kvantitatīvi vienāda ar šīs situācijas sākotnējo entropiju.

Bet nenoteiktību var noņemt tikai daļēji, tāpēc informācijas apjomu iiegūti no kāda ziņojuma aprēķina kā entropijas samazināšana, kas notika saņemšanas rezultātātas ziņojumi.

Par līdzvērtīgu gadījumuIzmantojot, lai aprēķinātu entropijas formulu Hartliju, mēs saņemam:

Otrā vienlīdzība tiek parādīta, pamatojoties uz logaritma īpašībām. Tādējādi, līdzsvarā gadījumā I. atkarīgs no cik reižu Atteikuma iespēju apmērs ir mainījies (izskatāmā daudzveidība).

Pamatojoties uz (3.5), jūs varat atsaukt šādu:

Ja pēc tam - pilnīga nenoteiktības atcelšana, ziņojumā saņemto informācijas skaits ir vienāds ar nenoteiktību, kas pastāvēja pirms ziņojuma saņemšanas.

Ja, tad nenoteiktība nav mainījusies, tāpēc nebija informācijas.

Ja, tad \u003d\u003e,

ja, tad \u003d\u003e.

Tiem. Saņemtās informācijas skaits būs pozitīva vērtība, ja ziņojuma saņemšanas rezultātā samazinājās alternatīvu skaits, ja vairāk ir negatīvs.

Ja apsvērumu alternatīvu skaits ziņojuma saņemšanas rezultātā tika uz pusi, t.sk. I.\u003d log2 (2) \u003d 1 bits.Citiem vārdiem sakot, iegūstot 1 bitus informācijas neietver pusi no līdzvērtīgām iespējām.

Apsveriet kā piemēru pieredzi ar 36 kartēm (3. attēls).

Fig. 3.7 ilustrācija pieredzei ar 36 kartēm

Ļaujiet kādam no klāja izņemiet vienu karti. Mēs esam ieinteresēti, kura viena no 36 kartēm viņš izņēma. Sākotnējā nenoteiktība, ko aprēķina pēc formulas (3.2), ir H \u003d.log2 (36) @ 5,17 bits. Paredzamā karte mums sniedz daļu no informācijas. Izmantojot formulu (3.5), mēs nosakām, cik daudz informācijas mēs saņemam no šiem ziņojumiem:

Aiants A. "Šī ir karte sarkano uzvalku."

I.\u003d log2 (36/18) \u003d log2 (2) \u003d 1bits (sarkanās kartes pusē, nenoteiktība samazinājās par 2 reizēm).

B. variants. "Šī ir augstākā līmeņa platforma".

I.\u003d log2 (36/9) \u003d log2 (4) \u003d 2 biti (Peak kartes veido ceturto daļu no klājiem, nenoteiktība samazinājās par 4 reizes).

C. "Šī ir viena no vecākajām kartēm: gredzeni, dāma, karalis vai ace."

I.\u003d Log2 (36) -Log2 (16) \u003d 5.17-4 \u003d 1,17 biti (nenoteiktība samazinājās vairāk nekā divas reizes, tāpēc iegūtās informācijas apjoms ir lielāks par vienu bitu).

D. "Variants" šī ir viena karte no klāja. "

I.\u003d log2 (36/36) \u003d log2 (1) \u003d 0 biti (nenoteiktība nesamazinājās - ziņojums nav informatīvs).

Emgistime E. "Šī ir dāma virsotne."

I.\u003d log2 (36/1) \u003d log2 (36) \u003d 5.17 biti (nenoteiktība pilnībā noņemta).

1. uzdevums.Kāda informācijas apjoms satur vizuālu ziņu par šķelto bumbu krāsu, ja 50 baltas, 25 sarkanas, 25 zilas bumbiņas atrodas necaurspīdīgā maisiņā?

Lēmums.

1) kopējās bumbiņas 50 + 25 + 25 \u003d 100

2) Lodveida varbūtības 50/100 \u003d 1/2, 25/100 \u003d 1/4, 25/100 \u003d 1/4

3)I. \u003d - (1/2 log21 / 2 + 1/4 log21 / 4 + 1/4 log21 / 4) \u003d - (1/2 (0-1) +1/4 (0-2) +1/4 (0) -2)) \u003d \u003d 1,5 biti

2. uzdevums. Grozs atrodas 16 dažādu krāsu bumbiņas. Cik daudz informācijas ir ziņojums, kas jums ir balta bumba?

Lēmums. Jo N \u003d 16 bumbiņas, tad i \u003d log2 n \u003d log2 16 \u003d 4 biti.

3. uzdevums.Grozā atrodas melnās un baltās bumbiņas. Starp tiem18 melnās bumbiņas. Ziņojums, ka Baltā bumba tika uzņemta, veic 2 bitus informāciju. Cik daudz bumbiņu grozā?

1) 18 2) 24 3) 36 4)48

Lēmums. Mēs uzskatām, ka varbūtība iegūt baltu bumbu saskaņā ar Shannon: log2n \u003d 2, n \u003d 4, tāpēc varbūtība iegūt baltu bļodu ir 1/4 (25%), un iespējamība iegūt melnu bumbu, attiecīgi, 3/4 (75%). Ja 75% no visām melnajām bumbām, to skaitu 18, tad 25% no visām baltajām bumbiņām, to skaitam (18 * 25) / 75 \u003d 6.

Tas joprojām ir atrast visu bumbiņu skaitu grozā 18 + 6 \u003d 24.

Atbilde: 24 bumbiņas.

4. uzdevums.Dažās valstī auto numurs ir 5 rakstzīmes sastāv no lielajiem burtiem (30 burti tiek izmantoti) un decimālskaitli jebkurā secībā. Katrs simbols tiek kodēts tādā pašā un minimāli iespējamā bitu daudzumam, un katrs numurs ir tāds pats un minimāli iespējams ar baitiem. Nosakiet atmiņas apjomu, kas nepieciešama 50 automašīnu numuru uzglabāšanai.

1) 100 byte 2) 150 bytes 3) 200 baiti 4) 250 baiti

Lēmums. Šos rakstzīmju skaits, ko izmanto, lai kodētu numuru, ir: 30 burti + 10 cipari \u003d 40 rakstzīmes. Informācijas, kas pārvadā vienu rakstzīmi, ir 6 biti (2i \u003d 40, bet informācijas apjoms nevar būt daļēji skaitlis, tāpēc mēs ieņemam tuvāko dvīņu skaitu lielu skaitu rakstzīmju 26 \u003d 64).

Mēs atradām katrā simbolā iekļautās informācijas apjomu, numuru skaits telpā ir 5, tāpēc 5 * 6 \u003d 30 biti. Katrs numurs ir 30 biti informācijas, bet ar nosacījumu uzdevumu, katrs numurs ir kodēts pats, un minimālo iespējamo summu baitu, tāpēc mums ir jāzina, cik daudz baitu 30 bitos. Ja tas ir sadalīts 30 līdz 8, tiks iegūts frakcionēts skaits, un mums ir jāatrod vesels daudzums baitu katram skaitlim, tāpēc mēs atrodam tuvāko 8 ki reizinātāju, kas pārsniegs bitu skaitu, tas ir 4 (8 * 4 \u003d 32). Katrs numurs ir kodēts ar 4 baitiem.

Lai uzglabātu 50 auto numurus, jums būs nepieciešams: 4 * 50 \u003d 200 baiti.

Optimālās stratēģijas izvēle spēlē "Uzminiet numuru". Pie saņemot maksimālo informācijas skaitu, izvēle optimālu stratēģiju spēlē "Uzminiet numuru" ir būvēts, kurā pirmais dalībnieks ir vesels skaitlis (piemēram, 3) no noteiktā intervāla (piemēram, no 1 līdz 16), un otrajam vajadzētu "uzminēt" paredzēto numuru. Ja jūs uzskatāt šo spēli no informācijas viedokļa, sākotnējā nenoteiktība zināšanu par otro dalībnieku ir 16 iespējamie notikumi (iespējas noslēpumainiem numuriem).

Ar optimālu stratēģiju numura intervāls vienmēr ir jāpalielina uz pusēm, tad iespējamo notikumu skaits (skaitļi) katrā no iegūtajiem intervāliem būs vienādi un pielāgojot intervālus. Šajā gadījumā katrā posmā pirmā spēlētāja atbilde ("jā" vai "nē") sedz maksimālo informācijas apjomu (1 bit).

Kā redzams no galda. 1.1. Skaits 3 notika četros posmos, katrā no kuriem katrs no otrā dalībnieka zināšanu nenoteiktība samazinājās divreiz, saņemot ziņojumu no pirmā dalībnieka, kas satur 1 informāciju. Tādējādi informācijas apjoms, kas nepieciešama, lai gueads būtu viens no 16 numuriem, sasniedza 4 bitus.

Pārbaudiet jautājumus un uzdevumus

1. A priori ir zināms, ka bumba ir vienā no trim URNS: A vai C. vai C. nosaka, cik daudz informācijas ir ziņojums, ka tas ir URN V.

Iespējas:1bits,1,58bits,2bits,2,25bits.

2. Pirmā notikuma varbūtība ir 0,5, un otrais un trešais 0,25. Ko izplatīšana ir vienāda ar informācijas entropiju. Iespējas:0,5bits,1 bits,1,5bits,2bits,2,5bits,3bits.

3. Šeit ir saraksts ar darbinieku dažu organizāciju:

Noteikt trūkstošās informācijas apjomu, lai izpildītu šādus pieprasījumus:

Lūdzu, zvaniet uz Ivanovu uz tālruni.

Es esmu ieinteresēts kādā no jūsu darbinieks, tas ir dzimis 1970. gadā.

4. Kurš no ziņojumiem ir vairāk informācijas:

· Kā rezultātā, ņemot monētu (ērglis, skriešanās), skriešanās samazinājās.

· Uz luksofora (sarkans, dzeltens, zaļš) tagad ir zaļā gaisma.

· Atdzesē spēlējot kaulu (1, 2, 3, 4, 5, 6), 3 punkti samazinājās.

Visizplatītākais, nosakot vidējo informācijas skaitu, kas ir ietverts ziņojumos no visdabiskās dabas avotiem, ieguva pieeju. Uz Shannon. Apsveriet šādu situāciju.
Avots pārraida elementārus signālus k. Dažādi veidi. Let's sekot diezgan garam daļai ziņu. Ļaujiet tai ir N.1 no pirmā tipa signālu, N.2 otrā tipa signāli, ..., N.k. Signālus k.- veids, un N.1 + N.2 + ... + N.k. = N. - kopējais signālu skaits novērotā segmentā, \\ t f.1, f.2, ..., f.k. - attiecīgo signālu frekvences. Kā ziņojuma segmenta garuma pieaugums katrai frekvencei ir tendence uz fiksētu limitu, t.i.
Lim. f.i. = p.i., (i. = 1, 2, ..., k.),
Kur ri. Jūs varat apsvērt signāla varbūtību. Pieņemsim, ka saņemts signāls i.-Ho veids ar varbūtību ri.kas satur - log p.i. Informācijas vienības. Apsvērošanas segmentā i.- signāls tiksies aptuveni Np.i. reizes (mēs pieņemam, ka N. pietiekami liels), un šāda veida signālu sniegtās vispārēja informācija būs vienāda ar darbu Np.i. Žurnāls. ri.. Tas pats attiecas uz jebkura cita veida signāliem, tāpēc pilnu segmenta sniegto informāciju no N. signāli būs aptuveni vienādi

Noteikt vidējo informācijas apjomu par vienu signālu, t.i. Īpašs informācijas avots, jums ir nepieciešams sadalīt šo numuru N.. Ar neierobežotu izaugsmi, aptuvena vienlīdzība iet uz precīzu. Tā rezultātā tiks iegūta asimptotiska attiecība - Shannonas formula

Nesen tas nav mazāks par slaveno Einšteina formulu E. = mc. 2. Izrādījās, ka Hartlijas ierosinātā formula ir īpašs gadījums, kas ir vispārīgāks Šenonas formuls. Ja Schannam formulā to pieņem
r1 = p.2 = ... = ri. = ... =p.N. = 1/N.T.

Mīnus pierakstīšanās Shannon formulā nenozīmē, ka informācijas apjoms ziņojumā ir negatīva vērtība. To izskaidro fakts, ka varbūtība rPēc definīcijas, mazāk nekā viens, bet vairāk nulle. Kopš mazākas vienības logaritms, t.i. Žurnāls. p.i. - Vērtība ir negatīva, tad skaitļa logaritma varbūtības produkts būs pozitīvs.
Papildus šai formulai Shannon ierosināja abstraktu komunikācijas shēmu, kas sastāv no pieciem elementiem (informācijas avots, raidītājs, sakaru līnijas, uztvērējs un adresāts) un formulēts joslas platums, trokšņa imunitāte, kodēšana utt.
Informācijas teorijas un tās lietojumu izstrādes rezultātā Shannon idejas ātri izplatīja to ietekmi uz dažādām zināšanu jomām. Tika redzams, ka Shannon formula ir ļoti līdzīga fizikai izmantotā entropijas formulai, ko iegūst Boltzmann. Entropija apzīmē molekulu statistisko formu traucējumu pakāpi. Entropija ir maksimāla ar līdzvērtīgu molekulu kustības parametru (virzienu, ātruma un telpiskās pozīcijas) sadalījumu. Entropijas vērtība samazinās, ja molekulu kustība ir sakārtota. Tā kā pasūtīšanas kārtība palielinās, entropija mēdz nulles (piemēram, ja ir iespējama tikai viena vērtība un ātruma virziens). Izstrādājot ziņu (tekstu), izmantojot entropiju, ir iespējams raksturot rakstzīmju kustības (maiņas) fragmenta fragmenta pakāpi. Teksts ar maksimālo entropiju ir teksts ar visu alfabēta burtu sadalījumu, t.i. Ar bezjēdzīgu burtu maiņu, piemēram:bsm. Ja faktiskā varbūtība vēstuļu tiek ņemta vērā, izstrādājot tekstu, tad tādā iegūtajā "frāzēs" būs zināma kārtība klausīšanās, ko regulē biežums to izskatu: OT OKRS Aksh Tshi.
Ņemot vērā četru burtu kombināciju varbūtības, teksts kļūst tik pasūtīts, ka saskaņā ar dažām oficiālām iezīmēm tas tuvojas nozīmīgam: tas nav sauss un NEPO un CORCO. Šādas pasūtīšanas iemesls šajā gadījumā ir informācija par tekstu statistikas modeļiem. Nozīmīgos tekstos, sakārtoti, protams, vēl augstāki. Tātad, frāzē nāca ... pavasarī mums ir vēl vairāk informācijas par burtu kustību (maiņu). Tādējādi teksts tekstam palielina pasūtījumu un informāciju par tekstu, un entropija (traucējumu mērs) samazinās.
Izmantojot atšķirību formulās skaita informācijas Shannon un ertropy boltzmann (dažādas zīmes), L. Brillurian raksturo informācija kā negatīva entropija vai. \\ t negentrropija.. Tā kā entropija ir Disordex pasākums, tad informāciju var definēt kā materiālu sistēmu mērīšana .
Sakarā ar to, ka formulas izskats sakrīt, var pieņemt, ka informācijas jēdziens nav pievienot neko jēdzienu entropijas. Tomēr tas nav. Ja entropijas jēdziens iepriekš tika izmantots tikai sistēmām, meklējot termodinamisko līdzsvaru, t.i. Maksimālajam traucējumam tās sastāvdaļu kustībā, lai palielinātu entropiju, informācijas jēdziens ir pievērsis uzmanību arī tām sistēmām, kas nepalielina entropiju, bet gluži pretēji, ir valstī ar nelielām entropijas vērtībām , mēdz to vēl vairāk samazināt.

Ir grūti pārvērtēt informācijas teorijas ideju nozīmi dažādās zinātnes jomās.
Tomēr, saskaņā ar K. Shannon, visas neatrisinātās problēmas nevar atrisināt ar tādiem maģiskiem vārdiem, piemēram, "Informācija", "Entropy", "atlaišana".
Informācijas teorija ir balstīta uz varbūtību, parādību statistikas modeļiem. Tas dod noderīgu, bet ne daudzpusīgu aparātu. Tāpēc daudzas situācijas neietilpst Shannon informācijas modelī. Ne vienmēr ir iespējams iepriekš noteikt visu valsts valstu sarakstu un aprēķināt varbūtības. Turklāt informācijas teorijā tiek ņemta tikai oficiālā puse ziņojuma, bet tās nozīme paliek malā. Piemēram, radaru staciju sistēma noved pie gaisa telpas novērošanas, lai noteiktu pretinieku gaisa kuģu sistēmu S.seko novērojumi, var būt vienā no divām valstīm x.1 - ienaidnieks ir, x.2 - nav ienaidnieks. Pirmā ziņojuma nozīmi nevar novērtēt, izmantojot varbūtības pieeju. Šī pieeja un pasākums, kas balstīts uz informācijas apjomu, pirmkārt, tās nodošanas "strukturālo sintaktisko" pusi, t.i. Izteikt signālu attiecības. Tomēr "varbūtības", "nenoteiktības" jēdzieni, ar kuriem ir saistīta informācijas jēdziens, uzņemas izvēles procesu. Šo procesu var īstenot tikai tad, ja ir daudz iespēju. Bez tam var pieņemt nosacījumus, informācijas pārsūtīšana nav iespējama.