Lehet, hogy az ábécé szimbólum az egyes szimbólumok helyzetében. M.; Az egy üzenetszimbólummal kapcsolatos információk mennyisége megegyezik az összes ábécé által az információ átlagos értékével. M.:

Az üzenetben található információk teljes összege n. A szimbólumok:

Ha az összes ábécé karakter M. egyenlő valószínűséggel jelenik meg, majd minden p i \u003d p. Mint Σr i \u003d 1T. p \u003d 1 / m.

A képlet abban az esetben, ha az ábécé összes szimbóluma egyenlő, az űrlapot tartalmazza

I \u003d. n.*Napló. 2 (m.).

Kimenet: shannon képlete abban az esetben, ha az összes ábécé egyforma tranzit, a Hartley formula.

Az általános esetben az önkényes rendszer entrópiájának száma X. (véletlen változó), amely lehet m. Különböző államok x 1, x 2, ... x m Valószínűséggel p 1, p 2, ... p m A Shannon képlet által kiszámított

Emlékezzünk rá p 1 + p 2 + ... + p m \u003d 1. Ha mindenki p. ugyanaz, majd az összes rendszer állapota X. egyenértékű; ebben az esetben p i \u003d 1 / m, és a képlet a Hartley formula: H (x) \u003d log 2 (m).

Megjegyzés.A rendszer entrópiája (véletlen változó) H. nem függ attól, hogy milyen kifejezetten áll x 1, x 2, ... x m lehet rendszer, de a számtól függ m. ezek az állapotok és a valószínűsége p 1, p 2, ... p m Amellyel a rendszer lehet ezeken az állapotokban. Ez azt jelenti, hogy két olyan rendszer, amelyben az államok száma ugyanolyan, és ezeknek az államoknak a valószínűsége p 1, p 2, ... p m egyenlő (az átvitel sorrendjének pontosságával) egyenlő entrópiával rendelkeznek.

Tétel.Maximális entrópia H (x) Ez abban az esetben érhető el, ha a rendszer valamennyi állapota egyenlően egyenlő. Ez azt jelenti

Ha az X rendszer csak egy állapot lehet ( m \u003d 1.), akkor az entrópiája egyenlő nulla.

Tekintsünk olyan rendszert, amely csak két államot vehet igénybe. x1 és x2 Valószínűséggel p1 és p2.:

Az ilyen rendszer entrópiájának száma egyenlő

H (x) \u003d - (1/2 * log 2 (1/2) + 1/2 * log 2 (1/2)) \u003d -log 2 (1/2) \u003d log 2 (2) \u003d 1

Ez az összeg az entrópia mérése (információ) egységenként történik, és hívják 1 bit (1 bit).

Fontolja meg a funkciót

h (x) \u003d - (x * log 2 (x) + (l-x) * log 2 (L-X))

Meghatározása - intervallum (0 ;1) , Lim h (x) \u003d 0 -ért h.-\u003e 0ILI h.-> 1.

A funkció ütemezése a képen látható:

Ütemterv funkció h (x) \u003d - (x * log 2 (x) + (l-x) * log 2 (L-x)))

Ha X-t jelöl p 1., de (1-x) keresztül p 2.T. p 1 + p 2 \u003d 1; p 1, p 2 î (0; 1), h (x) \u003d h (p 1, p 2) \u003d - (p 1 * log 2 (p 1) + (p 2) * log 2 (p 2)) - entrópia rendszer két állammal; maximális H. elért p 1 \u003d p 2 \u003d 0,5.

A H (x) grafikon használható a következő feladatok megoldása során:

1. feladat. Három véletlenszerű változó van X, Y, Z, amelyek mindegyike két értéket vesz igénybe valószínűséggel:

1. p (x \u003d x1) \u003d 0,5; P (x \u003d x2) \u003d 0,5;

2. p (y \u003d y1) \u003d 0,2; P (y \u003d y2) \u003d 0,8;

3. p (z \u003d z1) \u003d 0,3; P (z \u003d z2) \u003d 0,7.

A P (x \u003d x1) \u003d 0,5 rögzítés azt jelenti, hogy az X véletlenszerű érték az X1 értéket 0,5-es valószínűséggel veszi át. Ezen rendszerek entrópiáját növelni kell növekvő sorrendben.

Döntés.

Entrópiás h (x) 1-es, és lesz a legnagyobb;

Az entrópiás H (Y) megegyezik az H (x), () x \u003d 0,2, azaz x \u003d 0,2, azaz H (y) \u003d h (0,2);

Entrópiás h (z) \u003d h (0,3). Az H grafikon (x) szerint megállapítható, hogy h (0,2)< h(0.3). Следовательно, H(Y) < H(Z) < H(X).

1. megjegyzés. A rendszer entrópiája a nagyobb, annál kisebb különbség az államok valószínűsége között egymástól.

Ennek alapján arra a következtetésre juthatunk, hogy h (y)< H(Z).

Például, ha három állapotban van X és Y valószínűségek: x (0,4; 0,3, 0,3), y (0,1, 0,1, 0,8) esetében nyilvánvaló, hogy az X rendszer bizonytalansága nagyobb, mint a bizonytalanság Az Y rendszer: az utóbbi valószínűleg a feltétel végrehajtásra kerül, amelynek valószínűsége 0,8.

Entrópiás H (x) jellemzi a rendszerbiztosítás mértékét. Minél nagyobb az információs rendszerről kapott információk mennyisége, annál több információ a rendszerről, és annál kevésbé bizonytalan az állam az információ kedvezményezettje.

Ha az információ beérkezése után a rendszer entrópiája nulla lehet, akkor ez azt jelenti, hogy a bizonytalanság eltűnt, az entrópia "keresztbe" az információba. Ebben az esetben azt mondják, hogy az X rendszerrel kapcsolatos teljes információt kapták. A fizikai rendszer állapotának teljes tisztázásával megszerzett információ mennyisége megegyezik a rendszer entrópiájával.

Ha egy bizonyos üzenet fogadása után az X rendszer bizonytalansága kevésbé vált, de egyáltalán nem tűnt el, az üzenetben szereplő információk mennyisége megegyezik az entrópia növekményével:

I \u003d h1 (x) - h2 (x),

ahol a h1 (x) és a h2 (x) a rendszer entrópiája az üzenet előtt és után. Ha h2 (x) \u003d 0, akkor a rendszer bizonytalanságának mértéke nulla, és a rendszerrel kapcsolatos teljes információt kaptunk.

Példa. Azt akarod kitalálni, hogy a játék kockára esik. Üzenetet kaptál, hogy a pontok száma esett. Milyen mennyiségű információ tartalmazza ezt az üzenetet?

Döntés. Entrópia rendszer "játszik kocka" H1.egyenlő Log 2 6.mivel A kocka véletlenszerűen hat egyenlőÁllamok (1, 2, 3, 4, 5, 6). A fogadott üzenet csökkenti a lehetséges állapotok számát legfeljebb három: (2, 4, 6), azaz Az entrópia rendszer most egyenlő H2 \u003d log 2 3. Az entrópia növekedése megegyezik az i \u003d h1 - h2 \u003d log 2 6 - log 2 3 \u003d log 2 2 \u003d 1 bit.

A szétszerelt feladat példáján az egységegység egyik közös definíciója magyarázható - 1 bit: 1 bit számos információ, amely csökkenti a rendszer állapotának bizonytalanságát kétszer.

A diszkrét rendszer bizonytalansága az államok számától függ.

Az információ fogadása előtt az entrópia H1 \u003d log 2 n. Ha információt kaptunk, akkor a bizonytalanság kétszer csökkent, ez azt jelenti, hogy az államok száma egyenlő N / 2-vel, és az entrópiás H2 \u003d log 2 n / 2. Az I \u003d H1 -H2 \u003d log 2 N - Nap 2 N / 2 \u003d log 2 2 \u003d 1 bit.

Tekintsünk több feladatot a Shannon és a Hartley formula használatára.

2. feladat.A rendszer, amely véletlenszerűen a 4 állam egyikét veszi igénybe: a) 3; b) 2.1 c) 1,9 g 1; d) 0,3? Válaszolni.

Döntés.A rendszer entrópiájának maximális lehetséges értéke 4 állam eléri azt az esetet, amikor az összes állam egyenlő. Ez az érték a Hartley formula szerint egyenlő a nap 2 4 \u003d 2 bit. Minden más esetben a rendszer 4 állammal rendelkező rendszer entrópiája kevesebb, mint 2. Következésképpen a fent felsorolt \u200b\u200bentrópia lehetséges értékei 1,9, 1, 0,3 értékek lehetnek.

3. feladat.A h (x) \u003d -x * log 2 (x) funkció be van állítva - (1-x) * log 2 (1-x). Helyezze a következő értékeket növekvő sorrendben: H (0,9), H (0,85), H (0,45), H (0,2), H (0,25).

Döntés.Használja a funkció grafikonját (3.5). A legmagasabb érték H (0,45), a legkisebb érték - H (0,9), majd a H (0,15) és H (0,85) \u003d h (0,15) értéke emelkedő; H (0,2). Válasz: H (0,9)< H(0.15)=H(0.85)< H(0.2) < H(0.45). É

4. feladat.Az üzeneteket a linken keresztül továbbítják: a) "START_B_10"; b) Loancha_1_v0. Hasonlítsa össze az információ mennyiségét az első és a második üzenetben.

Döntés.Az első és a második üzenet ugyanolyan karakterekből áll: a második az elsőtől származik, mivel ezek a karakterek permutációja. Schannon képletével összhangban ezek az üzenetek ugyanolyan mennyiségű információt tartalmaznak. Ugyanakkor az első üzenet hozza az értelmes információkat, és a második egy egyszerű karakterkészlet. Ebben az esetben azonban azt mondhatjuk, hogy a második üzenet egy "titkosított" opció az első, ezért az információmennyiség mindkét üzenetben ugyanaz.

5. feladat.Három különböző A, B, C üzenetet kapunk:

A \u003d "Érkezés tíz órakor"; B \u003d "Érkezés tíz óra nulla percen keresztül"; C \u003d "Az érkezés pontosan tíz órakor." A Schannon Entrópia megközelítés alkalmazásával hasonlítsa össze az ezen üzenetekben található információk mennyiségét.

Döntés.Az A, B, C, I (A), I (B), I (C), I (B), I (C) üzenetek mennyiségét jelöli. A "tartalom" értelemben ezek az üzenetek pontosan ugyanazok, de ugyanazt a tartalmat különböző számú karakterrel fejezzük ki. Ebben az esetben az A üzenet minden szimbóluma található a B és C üzenetben, a C \u003d A + "üzenet pontosan", B \u003d A + "nulla perc"; A Shannon megközelítésével összhangban kapjuk: i (a)< I(C) < I(B).

Világunk három összetevőn alapul: anyag, energia és információ. Hány az anyagok, az energia és az információ világában? Lehet-e mérni őket és pontosan? Tudjuk, hogyan kell mérni az anyag és az energia mennyiségét. De mi van az információval? Lehetőség van mérni?

Korábban megjegyezték, hogy számos megközelítés létezik az információk számának értékeléséhez. Most már részletesen maradunk az egyikükön.

Minden üzenet tájékoztató jellegű lesz, ha feltölti az emberi tudást, azaz Csökkenti a tudásának bizonytalanságát.

Esés események

1. példa.

Például, amikor egy érmét dobunk, megpróbáljuk kitalálni, hogy melyik oldalon fog esni. Az egyik kimeneti lehetőség lehetséges: az érme az "Eagle" vagy a "Rush" pozícióban lesz. Mindegyik két esemény egyenértékű lesz, azaz egyikük sem rendelkezik előnyökkel másoknak. Mielőtt egy érmét dobna, senki sem tudja, hogyan esik le, vagyis A tudás bizonytalansága. Az esemény bekövetkezése után éppen ellenkezőleg, teljes bizonyosság van, mivel a dobás vizuális üzenetet kap az érme helyzetéről, amely viszont kétszer csökkenti a tudásának bizonytalanságát, mivel a két egyensúlyi esemény közül az egyik bekövetkezett.

2. példa.

Egy másik példa a hexagon kocka, azaz A dobás előtt senki sem tudja, melyik oldalra esik. Ebben az esetben lehetőség van arra, hogy hat ekvivalens eredményt kapjon. Így, mielőtt a dobás tudásának bizonytalanságát dobná, a dobás után pontosan 6-ra csökken, pontosan 6-szor csökken, mivel ez 6 egyenértékű esemény, amely előfordulhat.

3. példa.

Vegyünk egy példát, ahol 40 jegyet készítettek a vizsgára. Az események valószínűsége, amely a jegy húzásakor előfordul, 40-vel egyenlő lesz. És ezek az események egyenlőek lesznek. Ugyanakkor a hallgató tudásának bizonytalansága a jegy megválasztása előtt 40. Következésképpen a tudás bizonytalansága a hallgató után a jegyet 40-szer csökkenti. Kérdezzük meg, hogy ez a jelző függ-e a hosszúkás jegy számától. Nem, mivel az események egyformán).

Elemzése után minden példát fentebb tárgyalt arra lehet következtetni, hogy minél nagyobb a kezdeti számos lehetséges egyenértékű események, annál több időt a bizonytalanság a tudás csökken, és minél több információt kell a jelentésben szereplő, a kísérlet.

Nem egyensúlyi események

Tekintsünk példaként beszélt nyelvnek. A bizonyított kutatás tényeihez fordulunk, ami azt mutatja, hogy minden együttműködési nyelven néhány betű sokkal gyakrabban fordul elő, mint mások. A kutatási eredmények megerősítik, hogy az 1000 dolláros betű különböző együttműködési nyelveken számlázzák a különböző számú ismétlést. A táblázatban szereplő példák néhány levelet mutatnak orosz és angol nyelven:

1. kép.

Ezenkívül az egyes betűk megjelenésének valószínűsége attól függ, hogy milyen betűket használnak az előttük. Tehát oroszul egy magánhangzó után egy puha jel soha nem állhat, és szavakkal, négy magánhangzót nem használnak, stb. A beszélt nyelvek általában saját jellemzői és mintái. Ezért az információk mennyisége szereplő bármely hibaüzenet köznyelv elfogadhatatlan, hogy értékelje a Hartley formula, mellyel ábécé megközelítés az információ értékelésére és jellemző példát egyenértékű események (például egy pénzérme és egy kocka ).

Hogyan lehet meghatározni, hogy mennyi információt tartalmaz például az új "háború és béke" szövegét, vagy a nagy olasz művészek freskójait és vászonját, vagy az emberi genetikai kódot? Ezekre a kérdésekre és hasonló tudományokra adott válaszok még nem ismertek, és minden valószínűséggel nem ismerik hamarosan. Azonban mindenki érdekel, lehetséges, hogy objektíven értékelje az információ mennyiségét? Az ilyen feladat a következő példát tartalmazza.

Hogyan lehet megtudni, hogy az egyenértékű üzenetek "az első lesz az épületből", és "az első lesz az épületből"? Nincs egyértelmű válasz erre a kérdésre. Minden attól függ, hogy milyen épületről beszélünk. Ha ez például a nőgyógyászati \u200b\u200bklinika épülete, akkor az első nő megszerzésének valószínűsége nagyon magas, ha egy katonai laktanya, akkor a valószínűsége, hogy menjen ki először egy ember lesz magasabb, mint egy nő , de ha ez egy moziépület, akkor a valószínűségek először jönnek ki, mert egy férfi és a nők ugyanazok lesznek.

Az információk számának értékelése. Formula Shannon

Az ilyen jellegű problémák megoldásához az amerikai tudósok által javasolt információk számának teljes értékelését használják Claude Shannon 1948-ban Az információszám meghatározásához szükséges képlet által létrehozott képlet képes figyelembe venni a készletben található üzenetek esetleges egyenlőtlenségét. Shannon a matematika és a hidrodinamika által használt képlet létrehozásakor a bizonytalanság valószínűségi mérése (az entrópia) annak érdekében, hogy teljes mértékben becsülje meg a rendszer státuszát, és megkapja a lehető legmagasabb információt a rendszer folyamatairól. Ez az értékelés az információ számának lényegében probabilisztikus intézkedés, és a bizonytalanság értékeléséként tükrözi az összes új és új állam megmutatására vonatkozó forrás azon képességét, és így tájékoztatást ad.

Meghatározás 1.

Shannon definiálta entrópia. Mint a rendszer számos lehetséges állapotának (a tapasztalat lehetséges kimenetei) átlagos logaritmikus funkciója. Az Entropy Shannon kiszámításához a következő egyenletet javasolta:

$ H \u003d - (P_1LOG_2P_1 + P_2LOG_2P_2 + ... + P_NLOG_2P_N) $

ahol $ p_i $ a $ I $ -TH esemény megjelenésének valószínűsége egy $ n $ eseményen.

Ezután a tapasztalatok eredményeként kapott információ mennyisége nem lesz más, mint a rendszer entrópiája ($ h_0 $) és után ($ h_1 $) tapasztalat:

ráadásul, ha a tapasztalat eredményeként való bizonytalanság teljesen kizárt, van:

$ I \u003d \\ sigma (P_ILOG_2P_I), i \u003d 1, \\ dots, n $.

Tekintsünk egy példát, amely megerősíti a csatornaelmélet használatát a gyakorlatban.

4. példa.

Pescari és sügér lakás a tóban. Számította az egyes népességek számát (Pescase - $ 1.500 $ és a sügér - 500 $). Meg kell határozni, hogy mennyi információ van a jelentésekben, amelyeket a halász fogott a homok, a sügér, általában halak?

Döntés. A pescar vagy a sügér fogása nem egyenlő, hiszen a tóban lévő diplék sokkal kevesebbet élveznek, mint a Pescare.

A Pescase és a tó partján lakóhely teljes száma:

$1500 + 500 = 2000$.

Meghatározzuk a pescar fogás valószínűségét:

$ P_1 \u003d Frac (1500) (2000) \u003d 0,75 $,

Meghatározzuk a sügér fogásának valószínűségét:

$ P_2 - Frac (500) (2000) \u003d 0,25 $.

$ I_1 \u003d log_2 (\\ frac (1) (P_1)), I_1 \u003d log_2 (\\ frac (1) (P_2)) $

ahol $ i_1 $ és $ i_2 a homokfog és a sügér valószínűsége.

Az érettségi üzenetben szereplő információk mennyisége:

$ I_1 \u003d log_2 (\\ frac (1) (0,75)) "0.43 $ bit,

A sügér fogás sügérében található információk mennyisége:

$ I_2 \u003d log_2 (\\ frac (1) (0,25)) »$ 2 bit.

A halak fogása (Crucian vagy Serch) által a Shannon képletének kiszámítása:

$ I \u003d - P_1LOG_2P_1 - P_2LOG_2P_2 $

$ I \u003d -0,75 \\ CDOT LOG_20,75-0.25 \\ CDOT LOG_20,25 \u003d -0,75 \\ CDOT (\\ frac (log0,75) (log2)) - 0,25 \\ CDOT (\\ frac (log0.25) (Log2) (Log2) (Log2) (Log2)) \u003d 0,604 bit "0.6 $ bit.

Válasz: Az üzenet 0,6 $ bites információt tartalmaz.

A Claud Shannon, az amerikai mérnök és a matematika munkáiban kapott információk elméletének továbbfejlesztése (1916 - 2001). Shannon az információ matematikai elméletének egyik alkotója. Fő munkái a relé-kontaktusok elméletére, a matematikai kommunikációs elméletre, a cybernetics-re vonatkoznak. K. Shannon tanulmányozta az információátviteli problémákat a távíróban, telefonálásban vagy sugárzással az elektromágneses rezgések jelzései formájában. Az egyik feladata, hogy K. Shannon elhelyezte előtte, hogy meghatározza a kódoló rendszert, amely lehetővé teszi az információátvitel sebességének és pontosságának optimalizálását. Mivel a háború alatt, ő szolgált a titkosítás osztály, ahol részt vesz a fejlesztési kriptográfiai rendszerek, később segített neki nyitva kódolására hibajavítást. Műveiben, 1948-1949, K. Shannon meghatározta az információ mennyiségét az entrópián keresztül - a termodinamika és a statisztikai fizika által ismert mennyiség, mint a rendszer rendellenességének mércéje, és az információszámok száma az elfogadott úgynevezett bit (bit).

További bemutatásra szükség van a valószínűségi elmélet valamilyen fogalmára: véletlenszerű esemény, tapasztalat, esemény valószínűsége, véletlenszerű érték. A körülöttünk lévő világban különböző események fordulnak elő, és intuitív módon tapasztalhatunk a tapasztalatok alapján, értékeljük néhányat, amennyire több, mint mások. A véletlenszerűen olyan eseménynek nevezhető, amely előfordulhat, vagy nem egy bizonyos teszt, tapasztalat vagy kísérlet eredményeként lépnie. Az eseményeket tőke betűkben jelöljük A, B, CTS stb. Az egyes események előfordulásának lehetőségének kvantitatív mérése valószínűleg valószínűleg valószínűleg, és az ASP (A), P- angol valószínűséggel utal. Minél inkább egy véletlen esemény előfordulása, annál nagyobb a valószínűsége: ha a leginkább talán talán, akkor p (a)\u003e p (b). A megbízható esemény fogalma bevezetésre kerül - egy esemény, amely eljön. Ez az esemény azt jelzi, hogy úgy véli, hogy valószínűsége () \u003d 1. Lehetetlen egy olyan eseményt hívni, amely soha nem fog megtörténni. Ez azt jelenti, hogy úgy véli, hogy valószínűsége () \u003d 0. Az összes többi esemény valószínűsége, az egyenlőtlenség ()< p(A)

Az eseményekhez az összeg és a munka koncepciója bevezetésre kerül. Az A + B események összege olyan esemény, amely az A vagy B esemény előfordulását tartalmazza. Az A * B események munkája az A és B. AIB események egyidejű előfordulásában áll befejezetlenHa egy teszt eredményeként nem jönnek össze. A hiányos események összegének valószínűsége megegyezik a valószínűségük összegével. Ha A és hiányos események, akkor p (A + B) \u003d p (a) + p (b).

Események A1, A2, A3, ... Átalakítás teljes csoportHa a tapasztalatok eredményeként legalább együk lesz. Ha az események A1, A2, A3, ... dühösek érthetetlenek, és teljes csoportot képeznek, akkor a valószínűségek összege P1 + P2 + P3 + ... Ha ugyanúgy is egyenlő, akkor az egyesek valószínűsége egyenlő \u003d 1 / n, ahol az események száma. Valószínűségaz események meghatározzák a tapasztalatok kedvező eseményeinek arányát az eredmények teljes számában. Frekvenciaaz események empirikus közelítése a valószínűségének. Számos kísérletsorozat következtében kiszámítják, mint a kísérletek számának olyan hozzáállása, amelyben az esemény a kísérletek teljes számához jutott. Számos kísérlet (teszt) esetén az eseményfrekvencia elkötelezett a valószínűsége miatt.

K. Shannon, az R. Hartley megközelítését, felhívta a figyelmet arra a tényre, hogy adáskor szóbeli üzenetek, a frekvencia (valószínűség) különféle ábécé betűit nem ugyanaz: néhány betű van túl gyakran használják, mások ritkák.

Tekintsük az ábécét az ISMS-ből. Az I-TH szimbólum megjelenésének valószínűségét (gyakoriságát) jelöli az N karakterekből álló továbbított üzenet bármely helyzetében. Az ábécé egy IMA szimbóluma a -log 2 (p i) értékével egyenlő információk mennyiségét hordozza. Mielőtt a logaritmus "mínusz", mert az információ mennyisége nem negatív, és log 2 (x)<0 при 0

Lehet, hogy az ábécé bármilyen karaktere lehet az egyes szimbólumok helyén; Az egyik üzenetszimbólummal kapcsolatos információk mennyisége megegyezik az AM összes ábécéjével kapcsolatos információk átlagos értékével:

Az N karakterekről szóló üzenetben szereplő információk száma:

(3.2)

Ha az A ábécé összes karaktere egyenlő valószínűséggel jelenik meg, akkor az összes p i \u003d p. Így próbák I \u003d 1, majd p \u003d 1 / m.

Képlet (3.2) abban az esetben, ha az összes ábécé azonos

Következtetés: Shannon formula (3.2) abban az esetben, ha az összes ábécé szimbólum ugyanolyan egyenlő a Hartley formula (2.2).

Az általános esetben az X 1, x 2, ... XM különböző állapotú X 1, X 2, ... x 1, P 2, ... PM, a Shannon formula által kiszámított, egyenlő

(3.3)

Emlékezzünk vissza, hogy p 1 + p 2 + ... + p m \u003d 1. Ha az összes p i ugyanaz, akkor az X rendszer minden állapota ugyanolyan egyenlő; Ebben az esetben p i \u003d 1 / m és képlet (3.3) belép a Hartley formula (2.5): h (x) \u003d log 2 (m).

Megjegyzés.A rendszer entrópiájának száma (véletlen változó) x nem függ attól, hogy specifikusan X 1, x 2, ... XM lehet rendszer, de az államok számától és a valószínűségektől függ, P 1, P 2 ,. .. PM, amellyel a rendszer lehet ezeken az állapotokban. Ez azt jelenti, hogy két olyan rendszer, amelyben az államok száma ugyanolyan, és ezen államok P 1, P 2, ... P M valószínűsége megegyezik (a lista sorrendjének pontosságával) egyenlő entrópiával rendelkeznek.

Tétel.A maximális entrópia H (x) akkor érhető el, ha a rendszer minden állapota ugyanolyan egyenlő. Ez azt jelenti

(3.4)

Ha az X rendszer csak egy állapotban lehet (M \u003d 1), akkor az entrópiája nulla. Tekintsük azt a rendszert, amely csak két X1 és X2-es állapotot vehet igénybe P1 és P1:

Az ilyen rendszer entrópiájának száma egyenlő

H (x) \u003d - (1/2 * log 2 (1/2) + 1/2 * log 2 (1/2)) \u003d -log 2 (1/2) \u003d log 2 (2) \u003d 1

Ez az összeg az entrópia (információ) mérési egységként történik, és 1 bit (1 bit).

Fontolja meg a funkciót

h (x) \u003d - (x * log 2 (x) + (1-x) * log 2 (1-x)). (3.5)

A definíciójának területe az intervallum (0; 1), limh (x) \u003d 0, x0 vagy 1. A funkció ütemezése az ábrán látható:

Ábra. 4. Funkció ütemezése (3.5)

Ha az X-t p 1-vel, a (1-x) p2-vel jelöli, a felső 1 + p 2 \u003d 1; p 1, p 2  (0; 1), h (x) \u003d h (p 1, p) ) \u003d - (p 1 * log 2 (p 1) + (p 2) * log 2 (p 2)) - Két állammal rendelkező rendszer entrópiája; A maximális H-t 1 \u003d P 2 \u003d 0,5 értékkel érjük el.

A H (x) grafikon használható a következő feladatok megoldása során:

1. feladat: Három, X, Y, Z véletlenszerű változók, amelyek mindegyike két értéket vesz igénybe:

P (x \u003d x1) \u003d 0,5; P (x \u003d x2) \u003d 0,5;

P (y \u003d y1) \u003d 0,2; p (y \u003d y2) \u003d 0,8;

P (z \u003d z1) \u003d 0,3; P (z \u003d z2) \u003d 0,7.

A P (x \u003d x1) \u003d 0,5 rögzítés azt jelenti, hogy az X véletlenszerű érték az X1 értéket 0,5-es valószínűséggel veszi át. Ezen rendszerek entrópiáját növelni kell növekvő sorrendben.

Döntés. Entrópiás h (x) 1-es, és lesz a legnagyobb; Az entrópiás h (y) egyenlő az H (x) függvény értékével, lásd (3.5), ATX \u003d 0,2, I.E.H (y) \u003d h (0,2); entypyh (z) \u003d h (0,3). Az H grafikon (x) szerint megállapítható, hogy h (0,2)< h(0.3). Следовательно, H(Y) < H(Z) < H(X).

1. megjegyzés.A rendszer entrópiája a nagyobb, annál kisebb különbség az államok valószínűsége között egymástól. Ennek alapján arra a következtetésre juthatunk, hogy h (y)< H(Z). Например, если для систем X и Y с тремя состояниями заданы вероятности: дляX{0.4; 0.3; 0.3}, дляY{0.1; 0.1; 0.8}, то очевидно, что неопределённость системыXбольше, чем неопределённость системыY: у последней, скорее всего, будет реализовано состояние, вероятность которого равна 0.8 .

Entrópiás H (x) jellemzi a rendszerbiztosítás mértékét. Minél nagyobb az információs rendszerről kapott információk mennyisége, annál több információ a rendszerről, és annál kevésbé bizonytalan az állam az információ kedvezményezettje.

Ha az információ beérkezése után a rendszer entrópiája nulla lehet, akkor ez azt jelenti, hogy a bizonytalanság eltűnt, az entrópia "keresztbe" az információba. Ebben az esetben azt mondják, hogy teljes információt kaptak az X rendszerről. A fizikai rendszer állapotának teljes tisztázásával megszerzett információk száma, amely megegyezik a rendszer entrópiájával.

Ha egy bizonyos üzenet fogadása után a rendszer bizonytalansága kevésbé, de egyáltalán nem tűnt el, az üzenetben szereplő információk mennyisége megegyezik az entrópia növekményével:

I \u003d h1 (x) - h2 (x), (3.6)

ahol a h1 (x) és a h2 (x) a rendszer entrópiája az üzenet előtt és után. Ha h2 (x) \u003d 0, akkor a rendszer bizonytalanságának mértéke nulla, és a rendszerrel kapcsolatos teljes információt kaptunk.

Példa. Azt akarod kitalálni, hogy a játék kockára esik. Üzenetet kaptál, hogy a pontok száma esett. Milyen mennyiségű információ tartalmazza ezt az üzenetet?

Döntés. A "Playing Cube" System H1 entrópiája egyenlő a nap 2 6, mert A kocka véletlenszerűen hat egyenlőÁllamok (1, 2, 3, 4, 5, 6). A fogadott üzenet csökkenti a lehetséges állapotok számát legfeljebb három: (2, 4, 6), azaz A rendszer entrópiája most megegyezik a H2 \u003d log 2-vel 3. Az entrópia növekedése megegyezik az i \u003d h1 - h2 \u003d log 2 6 - log 2 3 \u003d log 2 2 \u003d 1bit.

A szétszerelt feladat példáján az egységegység egyik közös definíciója magyarázható - 1 bit: 1 bit az információ mennyisége, amely csökkenti a rendszer állapotának bizonytalanságát kétszer.A diszkrét rendszer bizonytalansága az államok számától függ. Entrópia Az InformationH1 \u003d log 2 N. Ha az információ fogadása után a bizonytalanság kétszer csökkent, akkor ez azt jelenti, hogy az államok száma egyenlő tonna / 2, és entypyh2 \u003d log 2 n / 2. A kapott információk száma \u003d H1 -H2 \u003d log 2 N-Log 2 N / 2 \u003d log 2 2 \u003d 1 bit.

Tekintsünk több feladatot a Shannon és a Hartley formula használatára.

2. feladat.A rendszer, amely véletlenszerűen a 4 állam egyikét veszi igénybe: a) 3; b) 2.1 c) 1,9 g 1; e) 0,3? Válaszolni.

Döntés.A rendszer entrópiájának maximális lehetséges értéke 4 állam eléri azt az esetet, amikor az összes állam egyenlő. Ez az érték a Hartley formula szerint egyenlő TOD 2 4 \u003d 2 bit. Minden más esetben a 4 állammal rendelkező rendszer entrópiája kevesebb, mint 2. Következésképpen a fent felsorolt \u200b\u200bentrópia lehetséges értékei lehetnek 1,9, 1, 0.3. értékek

3. feladat.A funkció be van állítva (x) \u003d -x * log 2 (x) - (1-x) * log 2 (1-x). Helyezze a következő értékeket növekvő sorrendben: H (0,9), H (0,85), H (0,45), H (0,2), H (0,25).

Döntés.Használja a funkció grafikonját (3.5). A legmagasabb érték H (0,45), a legkisebb érték - H (0,9), majd növekvő értékek érvényesek (0,15) ICH (0,85) \u003d h (0,15); H (0,2). Válasz: H (0,9)

4. feladat.Az üzeneteket a linken keresztül továbbítják: a) "START_B_10"; b) "Loancha_1_v0". Hasonlítsa össze az információ mennyiségét az első és a második üzenetben.

Döntés.Az első és a második üzenet ugyanolyan karakterekből áll: a második az elsőtől származik, mivel ezek a karakterek permutációja. Schannon képletével összhangban ezek az üzenetek ugyanolyan mennyiségű információt tartalmaznak. Ugyanakkor az első üzenet hozza az értelmes információkat, és a második egy egyszerű karakterkészlet. Ebben az esetben azonban azt mondhatjuk, hogy a második üzenet egy "titkosított" opció az első, ezért az információmennyiség mindkét üzenetben ugyanaz.

5. feladat.Három különböző álláshely, B, C:

A \u003d "érkezés tíz órakor"; b \u003d "érkezés tízóránként nulla perc"; c \u003d "érkezés pontosan tíz óra." A Schannon Entrópia megközelítés alkalmazásával hasonlítsa össze az ezen üzenetekben található információk mennyiségét.

Döntés.Az A, B, C-es, A), I (B), I (C) üzenetek adatainak mennyiségét jelöli. A "tartalom" értelemben ezek az üzenetek pontosan ugyanazok, de ugyanazt a tartalmat különböző számú karakterrel fejezzük ki. Ebben az esetben az A üzenet minden szimbóluma található a B és C üzenetben, a C \u003d A + "üzenet pontosan", B \u003d A + "nulla perc"; A Shannon megközelítésével összhangban kapjuk: i (a)< I(C) < I(B).

Amerikai mérnök R. Hartley 1928-ban az információ megszerzésének folyamata az adott készlet végső alternatívájának egyik üzenetének megválasztására N. egyenértékű üzenetek és az információ mennyisége ÉN.a kiválasztott üzenetben, bináris logaritmusként definiálva N. .

Formula Hartley:

I \u003d log2. N.

Tegyük fel, hogy egy számot kell kitalálnia egy számból egy-egy számból. A Hartley formula szerint kiszámíthatja, hogy mennyi információra van szükség ehhez: i \u003d log2100\u003e 6,644. Így a helyesen kitalált számról szóló üzenet tartalmazza az információmennyiséget, amely megközelítőleg 6,644 információegységgel rendelkezik.

Adunk másokat az egyenértékű üzenetek példái:

1. Az érmék dobásakor: "Rusk leesett", "Eagle elesett";

2. A Könyvoldalon: "A betűk száma világos", "A betűk számának száma".

Most definiáljuk egyenértékű üzenetek "Az első az épület ajtajából származik. és "Az első kijön az ember ajtajából egy ember". Egyértelműen válaszoljon erre a kérdésre. Mindez attól függ, hogy milyen épületről beszélünk. Ha ez például a metróállomás, akkor az ajtók kiszabadulásának valószínűsége az első ember és egy nő számára, és ha katonai laktanya, akkor egy ember számára ez a valószínűség lényegesen magasabb, mint a egy nőt.

Az ilyen amerikai tudós feladatait Claude Shannon 1948-ban javasolt egy másik képlet az olyan információk számának meghatározására, amelyek figyelembe veszik az üzenetek esetleges egyenlőtlenségét a készletben.

Shannon formula:

I \u003d - ( p.1log2. p.1 + p.2 log2. p.2 +... + p.N log2. pN.),

Hol pi - az a valószínűsége, hogy ÉN.-E-üzenet kiemelve van a készletben N. üzenetek.

Könnyű látni, hogy ha valószínűségek p.1, ...,pN. egyenlő, akkor mindegyik egyenlő 1 / N.És Shannon képlete a Hartley formula felé fordul.

Claude Shannon eltökélt információ , mint eltávolított bizonytalanság . Pontosabban, az információ átvétele szükséges feltétel a bizonytalanság eltávolításához. A bizonytalanság kiválasztási helyzetben keletkezik. A bizonytalanság eltávolítása során megoldott feladat a vizsgált lehetőségek számának csökkentése (a sokféleség csökkenése), és végül az opció egyik megfelelő helyzetének megválasztása a lehetséges számából. A bizonytalanság döntései lehetővé teszik a tájékozott megoldásokat és törvényeket. Ez az információ kezelési szerepe.

Képzeld el, hogy elmentél a boltba, és kérte, hogy eladjon neked egy rágógumit. Az értékesítő, aki, aki, mondjuk, 16 fokozatú rágógumi a bizonytalanság állapotában van. Nem tud több információ nélkül teljesíteni kérését. Ha megadta, mondja: "Orbit", és 16 kezdeti opció az értékesítési üzlet számára most csak 8, akkor csökkentette a bizonytalanságát kétszer (előre haladunk, mondjuk el a bizonytalanság kétszerese csökkentése 1 bites információ megszerzéséhez ). Ha Ön, felügyelet nélkül, egyszerűen jelezte az ujját a bolt ablakon, "Ez ez!", A bizonytalanságot teljesen eltávolították. Ismét előrefelé, mondjuk, hogy ez a gesztus ebben a példában értesítette az értékesítési 4 bites információt.

Helyzet maximális bizonytalanság Nyomja meg több jelenlétét eszes Alternatívák (opciók), vagyis A lehetőségek közül egyik sem előnyösebb. És minélabb lehetőség megfigyelték, annál nagyobb a bizonytalanság, annál nehezebb, hogy egyértelmű választás és minél több információra van szükség ezt csináld meg. -Ért N. Opciók Ez a helyzet a következő valószínűségi eloszlás: (1 / N.,1/ N., …,1/ N.} .

Minimális bizonytalanság 0. ez a szituáció teljes bizonyosság , azt jelenti, hogy a választás megtörtént, és minden szükséges információt kapunk. A teljes bizonyossággal kapcsolatos valószínűségek eloszlása \u200b\u200bígy néz ki: (1, 0, ... 0).

Az információelméletben szereplő bizonytalanság mennyiségét jellemző mennyiség a szimbólum jelzi. H. És van egy neve entrópia , pontosabban információ entrópia. .

Entrópia ( H.) – bizonytalanság mértéke , bitekben kifejezve. Az entrópia is megtekinthető az elosztás egységességének mérése véletlen változó.

Ábra. 3.4 Az entrópia viselkedése két alternatíva esetében

Ábrán. Mutatja 3,4 viselkedését entrópia az esetben, ha két alternatíva, ha változik az arány a valószínűségek ( P., (1-P.)).

Az entrópia maximális értéke ebben az esetben eléri, ha mindkét valószínűség egyenlő egymással, és egyenlő 1/2, az entrópia nulla értéke megfelel az eseteknek ( P.0=0, P.1 \u003d 1) és ( P.0=1, P.1=0).

Információ száma I. és entrópia H. Jellemezze ugyanazt a helyzetet, hanem a magasan ellentétes oldalakat. I Az információ mennyisége, amely szükséges a bizonytalanság H. Leon Brilllyuan meghatározásával az információ negatív entrópia(negentropium) .

Ha a bizonytalanságot teljesen eltávolítják, a kapott információk száma ÉN. egyformán eredetileg meglévő bizonytalanság H..

A bizonytalanság részleges eltávolítása esetén az információ mennyisége és a fennmaradó felesleges bizonytalanság a kezdeti bizonytalanság összege. Ht + it \u003d h(3.5. Ábra).

Ábra. 3.5 Az entrópia és az információszám közötti kommunikáció

Ezért az alábbiakban bemutatandó képletek az entrópia kiszámításához H. mind a formulák az információ számának kiszámításához ÉN.. amikor arra kerül sor a bizonytalanság teljes eltávolítása, H.helyettesíthetők ÉN..

Általánosságban, Entrópia H. és az információ bizonytalanságának eltávolításának eredményeként kapott mennyiséget ÉN. a vizsgált opciók kezdeti számától függ N. és az egyesek végrehajtásának priori valószínűsége P:{p.0,p.1, …,pn-1), vagyis H \u003d F.(N.,P.). Ebben az esetben az entrópia kiszámítása shannon formula szerint 1948-ban javasolta a "matematikai kommunikációs elmélet" cikkben.

KülönösenAmikor minden lehetőség hangosan hangzik, A függőség csak a vizsgált opciók számán marad, azaz H \u003d F.(N.). Ebben az esetben a csatorna formula jelentősen egyszerűsíthető és egybeesik formula Hartley , amelyet először az 1928-ban Ralph Hartley-i mérnök javasolta. 20 évvel korábban.

Shannon formula a következő formában:

A (2.1) képletben lévő mínusz jel nem jelenti azt, hogy az entrópia negatív érték. Azt az a tény, hogy pi£ 1 definíció szerint, és a kisebb egység logaritmusa negatív érték. A logaritmus tulajdonát képezi, így ez a képlet rögzíthető a második verzióban, anélkül, hogy mínusz lenne az összeg összege előtt.

A kifejezést magánszállításként értelmezik. AZT.végrehajtás esetén ÉN.Választási lehetőség. A Shannon képletének entrópiája egy átlagos jellemző - matematikai elvárás a véletlen változó eloszlásának ( ÉN.0,ÉN.1, …,BAN BEN-1} .

Adunk példát az entrópia kiszámítására Shannon formula szerint. Egyes intézményben a munkavállalók összetételét az alábbiak szerint terjesztik: 3/4 - Nők, 1/4 - férfiak. Ezután a bizonytalanság például, hogy kinek kell találkoznia az elsőnek, az intézménybe kerül, a táblázatban bemutatott műveletek mellett kerül kiszámításra. 3.1.

3.1. Táblázat

Már megemlítettük, hogy a Hartley formula SHANNON képletének különleges esete az egyenértékű alternatívák számára.

Helyett helyettesítése (2.1) helyett pi (egyenértékű esetben, függetlenül attól ÉN.) Érték, kapunk:

Így a Formula Hartley nagyon egyszerűnek tűnik:

Ez egyértelműen következik, hogy minél több alternatíva ( N.), annál nagyobb a bizonytalanság ( H.). A 2-es logaritmáció az információs bitek mérésére szolgáló egységekre vonatkozó lehetőségek számát biztosítja. A 3.6. Ábra bemutatja az entrópia függőségét az egyenértékű kiválasztási lehetőségek számára.

Ábra. 3.6 Entrópia függőség az egyensúlyi kiválasztási lehetőségek számáról (ekvivalens alternatívák)

Az inverz problémák megoldása, ha a bizonytalanság ismert ( H.) vagy az eltávolítás következtében kapott információk mennyisége ( ÉN.), És meg kell határozni, hogy mennyi egyaránt alternatívaként megfelel a megjelenése ezt a bizonytalanságot, használja a fordított képlet Hartley, ami úgy néz ki, még egyszerűbb:

Például, ha ismert, hogy ennek eredményeként a meghatározása, hogy a Kolya Ivanov érdekelt a második emeleten, 3 bit információt kapunk, az emeletek száma a házban lehet meghatározni (2.3) formula, mint N \u003d23= 8Jetages.

Ha a kérdés a következő: "A 8 emelet házában mennyi információt kaptunk, miután megtudtuk, hogy a Kolya Ivanov érdekli a második emeleten?" Meg kell használni a képletet (2.2): I \u003d.log2 (8) \u003d 3 bit.

Eddig formulákat adott az entrópia kiszámításához (bizonytalanság) H.rámutat erre H. Helyettesíthetők ÉN.Mivel a kapott információ mennyisége a bizonytalanság teljes elmozdulásával Néhány helyzet, kvantitatívan megegyezik a helyzet kezdeti entrópiájával.

De a bizonytalanság csak részben eltávolítható, ezért az iegyes üzenetből származik a kézhezvétel következtében bekövetkezett entrópia csökkentéseez üzenetek.

Egyenértékű esetreA Hartley entley Formula kiszámításához:

A második egyenlőség a logaritmus tulajdonságai alapján jelenik meg. Így egy kiegyenlítő esetben ÉN. attól függ hányszor A vizsgált kiválasztási lehetőségek mennyisége megváltozott (a vizsgált sokféleség).

A (3.5) alapján visszavonhatja a következőket:

Ha ezután - a bizonytalanság teljes eltávolítása, az üzenetben kapott információk száma megegyezik az üzenet kézhezvételét megelőző bizonytalansággal.

Ha a bizonytalanság nem változott, ezért nem volt információ.

Ha, akkor \u003d\u003e,

ha, akkor \u003d\u003e.

Azok. A kapott információk száma pozitív érték lesz, ha egy üzenet fogadása, a vizsgált alternatívák száma csökkent, és negatív, ha több.

Ha az üzenet fogadásának eredményeként figyelembe vett alternatívák száma felére csökkent, vagyis ÉN.\u003d log2 (2) \u003d 1 bit.Más szavakkal, az 1 bites információ megszerzése kizárja az egyenértékű opciók felét.

Fontolja meg például a 36 kártya fedélzetét (3.7. Ábra).

Ábra. 3.7 Illusztráció 36 kártya fedélzetével kapcsolatos tapasztalatokhoz

Hagyja, hogy valaki kivegye az egyik kártyát a fedélzetről. Érdekelünk, hogy melyik 36 kártya van. A (3.2) képlet által kiszámított kezdeti bizonytalanság H \u003d.log2 (36) @ 5,17 bit. A várt térkép azt mondja nekünk néhány információt. A (3.5) képlet alkalmazásával meghatározzuk, hogy mennyi információt kapunk ezekből az üzenetekből:

A. opció. "Ez egy piros öltöny térkép."

ÉN.\u003d log2 (36/18) \u003d log2 (2) \u003d 1 bits (piros lapok a fél fedélzetén, a bizonytalanság 2-szeresére csökkent).

Variant B. "Ez egy csúcs platformja".

ÉN.\u003d log2 (36/9) \u003d log2 (4) \u003d 2 bit (csúcskártyák teszik ki a fedélzet egynegyedét, a bizonytalanság 4-szer csökkent).

C. opció: Ez az egyik vezető kártya: gyűrűk, hölgy, király vagy ász. "

ÉN.\u003d Log2 (36) -log2 (16) \u003d 5,17-4 \u003d 1,17 bit (a bizonytalanság több mint kétszer csökkent, ezért a kapott információ mennyisége nagyobb, mint egy bit.

D. Változat D. "Ez egy kártya a fedélzetről."

ÉN.\u003d log2 (36/36) \u003d log2 (1) \u003d 0 bit (a bizonytalanság nem csökkent - az üzenet nem tájékoztató jellegű).

E. kiviteli alak "Ez egy hölgy csúcs."

ÉN.\u003d log2 (36/1) \u003d log2 (36) \u003d 5,17 bit (teljesen eltávolított bizonytalanság).

1. feladat.Milyen információmennyiséget fog tartalmazni vizuális üzenetet a törött labda színéről, ha 50 fehér, 25 piros, 25 kék golyó található egy átlátszatlan zsákban?

Döntés.

1) Teljes golyó 50 + 25 + 25 \u003d 100

2) Golyós valószínűségek 50/100 \u003d 1/2, 25/100 \u003d 1/4, 25/100 \u003d 1/4

3)ÉN. \u003d - (1/2 Log21 / 2 + 1/4 Log21 / 4 + 1/4 Log21 / 4) \u003d - (1/2 (0-1) +1/4 (0-2) +1/4 (0 -2)) \u003d \u003d 1,5 bitek

2. feladat. A kosár 16 különböző színű golyó található. Mennyi információ van az üzenetnek, hogy van egy fehér labda?

Döntés. Mivel N \u003d 16 golyó, akkor i \u003d log2 n \u003d log2 16 \u003d 4 bit.

3. feladat.A kosárban fekete-fehér golyók vannak. Köztük18 fekete golyó. Az üzenet, amelyet a fehér labdát vettek, 2 információt hordoz. Hány golyó a kosárban?

1) 18 2) 24 3) 36 4)48

Döntés. Megtaláljuk a fehér golyó megszerzésének valószínűségét Shannon: Log2n \u003d 2, N \u003d 4, ezért a fehér tál megszerzésének valószínűsége 1/4 (25%), valamint a fekete golyó megszerzésének valószínűsége, 3/4 (75%). Ha az összes fekete golyó 75% -a, a 18-as számuk, akkor az összes fehér golyó 25% -a, számuk (18 * 25) / 75 \u003d 6.

Továbbra is megtalálja az összes golyó számát a kosárban 18 + 6 \u003d 24.

Válasz: 24 golyó.

4. feladat.Egyes országban 5 karakterből álló autószám nagybetűkből áll (30 betűt használnak) és a decimális számjegyek bármilyen sorrendben. Minden szimbólum ugyanolyan és minimálisan lehetséges bites mennyiségben van kódolva, és minden szám azonos és minimálisan bájton lehetséges. Határozza meg az 50 autószám tárolásához szükséges memória mennyiségét.

1) 100 byte 2) 150 bájt 3) 200 bájt 4) 250 byte

Döntés. A szám kódolásához használt karakterek száma: 30 betű + 10 számjegy \u003d 40 karakter. Az egyik karaktert hordozó információ mennyisége 6 bit (2i \u003d 40, de az információ mennyisége nem lehet frakcionálási szám, ezért a legközelebbi 26 karakteres 26 karaktert 26 karakterből állunk.

Megtaláltuk az egyes szimbólumokba ágyazott információk mennyiségét, a szobában szereplő karakterek száma 5, ezért 5 * 6 \u003d 30 bit. Minden szám 30 információt tartalmaz, de a feladat feltétele szerint minden szám ugyanazt és a minimális lehetséges mennyiségű bájtot kódolja, ezért tudnunk kell, hogy mennyi bájt van 30 bitben. Ha 30-8-ig osztott, frakcionált számot kapunk, és minden számra teljes összegű bájtot kell találnunk, így megtaláljuk a legközelebbi 8-ki legközelebbi szorzót, amely meghaladja a bitek számát, 4 (8 * 4 \u003d 32). Minden szám 4 bájtot kódol.

A tárolás 50 autószámra van szüksége: 4 * 50 \u003d 200 bájt.

A választás az optimális stratégia a játék "Találd ki a számot". A maximális információ számának kézhezvételét követően a "Találd ki a szám" játékban lévő optimális stratégia választását, amelyben az első résztvevő egy adott intervallumból (például 3) egész számot (pl. 1-16), és a másodiknak "kitalálnia" a rendeltetési számot. Ha úgy gondolja, ez a játék egy információs szempontból, a kezdeti bizonytalanság tudás a második résztvevő 16 lehetséges események (lehetőségek rejtélyes számok).

Az optimális stratégiát, a szám intervallum mindig ossza félbe, majd a számos lehetséges események (számok) az egyes intervallumok kapott ugyanaz lesz, és beállítja a időközönként egyaránt. Ebben az esetben minden lépésnél az első játékos ("igen" vagy "nem") válasza az információ maximális mennyiségét (1 bit) viseli.

Amint az a táblázatból látható. 1.1, kitalálva a 3. számot négy lépésben, amelyek mindegyikében a második résztvevő tudásának bizonytalansága kétszer csökkent az első résztvevő által az 1 bites információt tartalmazó üzenet fogadásával. Így a 16 szám egyikének beutazásához szükséges információk mennyisége 4 bit volt.

Ellenőrizze a kérdéseket és feladatokat

1. A priori ismert, hogy a labda az egyik három urnában van: A, in vagy C. Határozza meg, hogy hány információ tartalmaz egy üzenetet, hogy az URN V.

Opciók:1bit,1,58bit,2bit,2,25bit.

2. Az első esemény valószínűsége 0,5, a második és a harmadik 0,25. Az eloszlás megegyezik az információ entrópiával. Opciók:0,5bit,1 bit,1,5bit,2bit,2,5bit,3bit.

3. Itt van a szervezet munkavállalói listája:

Határozza meg a hiányzó információk mennyiségét a következő kérések teljesítéséhez:

Kérjük, hívja Ivanov-t telefonra.

Érdekel az egyik alkalmazottja, 1970-ben született.

4. Melyik üzenet tartalmaz több információt:

· Az érme (sas, rohanás) bevétele következtében a rohanás csökkent.

· A közlekedési lámpánál (piros, sárga, zöld) most zöld fény.

· A játékcsont (1, 2, 3, 4, 5, 6) helyreállítása következtében 3 pont esett.

A legszélesebb körben elterjedt az átlagos információszám meghatározásakor, amely a legkülönbözőbb természetű forrásokból származik, megközelítést kap. Shannonba. Tekintsük a következő helyzetet.
A forrás elemi jeleket továbbít k. Különböző típusok. Kövessük az üzenet meglehetősen hosszú szegmensét. Hadd legyen N.Az első típusú jelek közül 1, N.2 másodperces jel, ..., N.k. Jelek k.- típusa, és N.1 + N.2 + ... + N.k. = N. - a megfigyelt szegmensben lévő jelek teljes száma, f.1, f.2, ..., f.k. - A megfelelő jelek frekvenciái. Az üzenet szegmensének hossza növekedésének köszönhetően az egyes frekvenciák egy rögzített határértéket, azaz
Lim. f.ÉN. = p.ÉN., (ÉN. = 1, 2, ..., k.),
Hol rÉN. Figyelembe veheti a jel valószínűségét. Tegyük fel, hogy a kapott jel ÉN.-HO típusú valószínűséggel rÉN.tartalmazó - napló p.ÉN. Információegységek. A vizsgált szegmensben ÉN.- A jel kb Np.ÉN. (feltételezzük, hogy N. elég nagy), és az ilyen típusú jelekkel ellátott általános információk megegyeznek a munkával Np.ÉN. Napló. rÉN.. Ugyanez vonatkozik bármely más típusú jelekre, így a szegmens által szállított teljes összeg teljes összege N. A jelek megközelítőleg egyenlőek lesznek

Az egyik jelre vonatkozó információ átlagos mennyiségének meghatározása, azaz Speciális információforrás, meg kell osztania ezt a számot N.. Korlátlan növekedés esetén a hozzávetőleges egyenlőség pontos lesz. Ennek eredményeképpen az aszimptotikus arány - a Shannon képlete

Nemrégiben nem volt kevésbé gyakori, mint a híres Einstein képlet E. = mc. 2. Kiderült, hogy a Hartley által javasolt képlet a Shannon általánosabb képletének különleges esete. Ha a Schannam képletében elfogadja ezt
r1 = p.2 = ... = rÉN. = ... =p.N. = 1/N.T.

A Shannon formula mínusz jele nem jelenti azt, hogy az üzenetben szereplő információk mennyisége negatív érték. Ezt az a tény, hogy a valószínűség rA definíció szerint kevesebb, mint egy, de nulla. Mivel egy kisebb egység logaritmusa, vagyis Napló. p.ÉN. - Az érték negatív, akkor a szám logaritmusának valószínűsége pozitív lesz.
Amellett, hogy ez a képlet, Shannon javasolt egy absztrakt kommunikációs rendszer, amely öt elem (információforrás, transzmitter, kommunikációs vonalak, vevőt és címzett), és a megfogalmazott sávszélesség, a zaj immunitást, kódolási, stb
Az információs elmélet és alkalmazásainak fejlesztése eredményeként Shannon ötletei gyorsan elosztották befolyását a legkülönbözőbb tudás területére. Azt láttuk, hogy a képlet a Shannon nagyon hasonló a képlet az entrópia alkalmazott fizika, amelyet az a Boltzmann. Az entrópia a molekulák statisztikai formáinak rendellenességét jelöli. Az entrópia maximálisan a molekulák mozgási paramétereinek egyenértékű eloszlásával (irány, sebesség és térbeli helyzet). Az entrópia érték csökken, ha a molekulák mozgása elrendezve van. Mivel a rendelési elrendezés növekszik, az entrópia nulla (például, ha csak egy érték és a sebesség iránya lehetséges). Amikor üzenetet készít (szöveg) az entrópia segítségével, lehetséges a karakterek törékenységének (váltakció) mértékének jellemzésére. A maximális entrópia szövege az összes ábécé betűvel való egyenlítő eloszlásával rendelkezik, azaz azaz A betűk értelmetlen váltakozásával, például: ykhzzzzcchkchkkchchchkchkSBSM. Ha a betűk tényleges valószínűségét figyelembe veszik, akkor az így kapott "kifejezésekben" az így kapott "kifejezésekben" a levelek mozgásának bizonyos rendje lesz, amelyet a megjelenés gyakoriságának szabályozásával szabályoznak: az OKRS OTE az aksh tshi.
Ha figyelembe vesszük a négybetűs kombinációk valószínűségét, a szöveg úgy válik, hogy néhány formális jellemző szerint közeledik: ez nem száraz és Nepo és Corco. Az ilyen rendelés oka ebben az esetben a szövegek statisztikai mintáiról szóló információ. Értelmes szövegekben, rendezett, természetesen, még magasabb is. Tehát a kifejezésben jött ... Tavaszunk még több információ van a betűk mozgásáról (váltakozás). Így a szöveghez tartozó szöveg növeli a megrendelést és a szöveggel kapcsolatos információkat, és az entrópia (a rendellenesség mértéke) csökken.
A Shannon információinak számának és a Boltzmann erdropulájának (különböző jelek), L. Brillurian jellemzésével jellemezhető információkat negatív entrópia, vagy negentria.. Mivel az entrópia a Disordex mérése, akkor az információ definiálható az anyagrendszerek mérése .
Annak a ténynek köszönhetően, hogy a képlet megjelenése egybeesik, feltételezhető, hogy az információ fogalma nem ad semmit az entrópia fogalmához. Azonban nem. Ha az entrópia fogalmát korábban csak olyan rendszerekhez használták, amelyek termodinamikai egyensúlyt keresnek, azaz. Ahhoz, hogy a maximális zavar a mozgás, összetevői, növekedéséhez entrópia, az információ fogalma is figyelt azokat a rendszereket, amelyek nem növelik az entrópia, hanem éppen ellenkezőleg, olyan állapotban, kis értékei entrópia , hajlamosak tovább csökkenteni.

Nehéz túlbecsülni a tudományos területek elméletének elképzeléseinek fontosságát a tudományos területek fejlesztésében.
A K. Shannon szerint azonban az összes megoldatlan probléma nem oldható meg olyan mágikus szavakkal, mint az "információ", "entrópia", "redundancia".
Az információelmélet a valószínűségi, statisztikai jelenségek statisztikai mintáin alapul. Hasznos, de nem sokoldalú készüléket ad. Ezért sok helyzet nem illeszkedik a Shannon információs modelljébe. Nem mindig lehet előre meghatározni az összes állami állam listáját, és kiszámítja a valószínűségeiket. Ezenkívül csak az üzenet hivatalos oldalát figyelembe veszik az információelméletben, míg a jelentése félremarad. Például a radarállomások rendszere a légtér megfigyeléséhez vezet az ellenfél repülőgép-rendszerének felderítése érdekében S.ezt követi a megfigyelés, két állam egyikében lehet x.1 - az ellenség, x.2 - Nincs ellenség. Az első üzenet fontosságát nem lehet probabilisztikus megközelítéssel értékelni. Ez a megközelítés és az információs kifejezést, elsősorban az átvitel "strukturális-szintaktikai" oldalának, azaz az " Kifejezze a jelek kapcsolatát. Azonban a "valószínűség", "bizonytalanság" fogalma, amellyel az információ fogalma társul, vállalja a választás folyamatát. Ezt a folyamatot csak akkor lehet végrehajtani, ha sok lehetőség van. Ennek nélkül a feltételek feltételezhetők, az információ továbbítása lehetetlen.