Հաղորդագրության յուրաքանչյուր նիշը կարող է փոխարինվել այբուբենի ցանկացած գրանշանով: Ա մ; հաղորդագրության մեկ նիշի համար տեղեկատվության քանակը հավասար է այբուբենի բոլոր նիշերի վերաբերյալ տեղեկատվության միջին արժեքին Ա մ:

ից հաղորդագրության մեջ պարունակվող տեղեկատվության ընդհանուր քանակը nնիշերը հավասար են.

Եթե ​​այբուբենի բոլոր նիշերը Ա մհայտնվում են հավասար հավանականությամբ, հետո բոլորը p i = p... Որովհետեւ ∑p i = 1, ապա p = 1 / մ.

Բանաձևն այն դեպքում, երբ այբուբենի բոլոր նշանները հավասարապես հավանական են, ձև է ստանում

Ես = n*Մատյան 2 (մ).

Եզրակացություն: Շենոնի բանաձեւն այն դեպքում, երբ այբուբենի բոլոր նշանները հավասարապես հավանական են, վերածվում է Հարթլիի բանաձեւի։

Ընդհանուր դեպքում կամայական համակարգի H էնտրոպիայի մեծությունը X(պատահական փոփոխական), որը կարող է լինել մտարբեր պայմաններ x 1, x 2, ... x մհավանականությունների հետ p 1, p 2, ... p mՇենոնի բանաձևով հաշվարկված է

Հիշեք դա p 1 + p 2 + ... + p m = 1:Եթե ​​բոլորը էջես նույնն եմ, հետո համակարգի բոլոր վիճակները Xհամարժեք; այս դեպքում p i = 1 / մ, և բանաձևը վերածվում է Հարթլիի բանաձևի. H (X) = մատյան 2 (մ):

Մեկնաբանություն.Համակարգի էնտրոպիայի մեծությունը (պատահական փոփոխական) Xկախված չէ կոնկրետ ինչ պայմաններից x 1, x 2, ... x մկարող է լինել համակարգ, բայց կախված է քանակից մայս վիճակների և հավանականությունների վրա p 1, p 2, ... p mորոնցով համակարգը կարող է լինել այս նահանգներում: Սա նշանակում է, որ երկու համակարգեր, որոնցում պետությունների թիվը նույնն է, և այդ պետությունների հավանականությունները p 1, p 2, ... p mհավասար են (մինչև թվարկման կարգը), ունեն հավասար էնտրոպիաներ։

Թեորեմ.Առավելագույն էնտրոպիա H (X)ձեռք է բերվում, երբ համակարգի բոլոր վիճակները հավասարապես հավանական են: Դա նշանակում է որ

Եթե ​​X համակարգը կարող է լինել միայն մեկ վիճակում ( մ = 1), ապա դրա էնտրոպիան է զրո.

Դիտարկենք մի համակարգ, որը կարող է ընդունել միայն երկու վիճակ x1և x2հավանականությունների հետ p1և p2:

Նման համակարգի էնտրոպիայի չափը կազմում է

H (X) = - (1/2 * Մատյան 2 (1/2) + 1/2 * Մատյան 2 (1/2)) = -Մատյան 2 (1/2) = Մատյան 2 (2) = 1

Այս գումարը վերցվում է որպես էնտրոպիայի (տեղեկատվության) չափման միավոր և կոչվում է 1 բիթ(1 բիթ):

Դիտարկենք գործառույթը

h (x) = - (x * log 2 (x) + (l-x) * log 2 (l-x))

Դրա շրջանակը միջակայք է (0 ;1) , Lim h (x) = 0ժամը X-> 0 կամ X-> 1.

Այս ֆունկցիայի գրաֆիկը ներկայացված է նկարում.

Ֆունկցիայի գրաֆիկ h (x) = - (x * log 2 (x) + (l-x) * log 2 (l-x))

Եթե ​​x-ով նշանակենք p 1, ա (1-x)երկայնքով p 2, ապա p 1 + p 2 = 1; p 1, p 2 Î (0; 1), h (x) = H (p 1, p 2) = - (p 1 * log 2 (p 1) + (p 2) * log 2 (p 2))- երկու վիճակ ունեցող համակարգի էնտրոպիա. առավելագույնը Հձեռք է բերվում p 1 = p 2 = 0,5.

h (x) գրաֆիկը կարող է օգտագործվել հետևյալ խնդիրները լուծելու համար.

Նպատակ 1.Տրված են երեք պատահական փոփոխականներ X, Y, Z, որոնցից յուրաքանչյուրը վերցնում է երկու արժեք՝ հավանականություններով.

1.P (X = x1) = 0.5; P (X = x2) = 0,5;

2. P (Y = y1) = 0.2; P (Y = y2) = 0.8;

3. P (Z = z1) = 0.3; P (Z = z2) = 0,7:

P (X = x1) = 0,5 գրելը նշանակում է, որ X պատահական փոփոխականը վերցնում է x1 արժեքը 0,5 հավանականությամբ: Պահանջվում է այս համակարգերի էնտրոպիաները դասավորել աճման կարգով։

Լուծում.

Էնտրոպիան H (X) հավասար է 1-ի և կլինի ամենամեծը.

Էնտրոպիան H (Y) հավասար է h ֆունկցիայի արժեքին (x), () x = 0.2-ում, այսինքն. H (Y) = h (0.2);

Էնտրոպիա H (Z) = h (0.3): h (x) գրաֆիկից մենք կարող ենք որոշել, որ h (0.2)< h(0.3). Следовательно, H(Y) < H(Z) < H(X).

Դիտողություն 1. Համակարգի էնտրոպիան որքան մեծ է, այնքան քիչ են նրա վիճակների հավանականությունները տարբերվում միմյանցից։

Ելնելով դրանից՝ կարող ենք եզրակացնել, որ H (Y)< H(Z).

Օրինակ, եթե X և Y համակարգերի համար տրվում են հավանականություններ երեք վիճակներով՝ X-ի համար (0.4; 0.3; 0.3), Y-ի համար (0.1; 0.1; 0.8), ապա ակնհայտ է, որ X համակարգի անորոշությունն ավելի մեծ է, քան Y համակարգի անորոշությունը. վերջինս ունի ամենայն հավանականությամբ, 0.8 հավանականությամբ վիճակ կկատարվի:

Էնտրոպիան H (X) բնութագրում է համակարգի անորոշության աստիճանը: Որքան մեծ լինի համակարգի մասին ստացված տեղեկատվության քանակը, այնքան ավելի շատ տեղեկատվություն կլինի համակարգի մասին, և այնքան քիչ անորոշ կլինի դրա վիճակը տեղեկատվություն ստացողի համար:

Եթե ​​տեղեկատվության ստացումից հետո համակարգի էնտրոպիան հավասարվում է զրոյի, դա նշանակում է, որ անորոշությունը վերացել է, ամբողջ էնտրոպիան «անցել» է տեղեկատվության մեջ։ Այս դեպքում ասվում է, որ ստացվել է ամբողջական տեղեկատվություն X համակարգի մասին: Ֆիզիկական համակարգի վիճակի ամբողջական պարզաբանման ժամանակ ձեռք բերված տեղեկատվության քանակը հավասար է այս համակարգի էնտրոպիային:

Եթե ​​որոշակի հաղորդագրություն ստանալուց հետո X համակարգի անորոշությունը նվազել է, բայց ընդհանրապես չի վերացել, ապա հաղորդագրության մեջ պարունակվող տեղեկատվության քանակը հավասար է էնտրոպիայի աճին.

I = H1 (X) - H2 (X),

որտեղ H1 (X) և H2 (X) համակարգի էնտրոպիան հաղորդագրությունից առաջ և հետո համապատասխանաբար: Եթե ​​H2 (X) = 0, ապա համակարգի անորոշության չափումը զրո է, և ստացվել է համակարգի մասին ամբողջական տեղեկատվություն:

Օրինակ... Դուք ցանկանում եք գուշակել այն միավորների քանակը, որոնք կհայտնվեն զառերի վրա: Դուք ստացել եք հաղորդագրություն, որ զույգ միավորներ են հավաքվել: Որքա՞ն տեղեկատվություն է պարունակում այս հաղորդագրությունը:

Լուծում... «Զառախաղ» համակարգի էնտրոպիա Հ1հավասար է Մատյան 2 6քանի որ մեռնողը կարող է պատահականորեն ընդունել վեցը հավասարապես հնարավոր էպետություններ (1, 2, 3, 4, 5, 6): Ստացված հաղորդագրությունը նվազեցնում է հնարավոր վիճակների թիվը երեքի՝ (2, 4, 6), այսինքն. համակարգի էնտրոպիան այժմ է H2 = Մատյան 2 3... Էնտրոպիայի աճը հավասար է ստացված տեղեկատվության քանակին I = H1 - H2 = Log 2 6 - Log 2 3 = Log 2 2 = 1 bit:

Վերլուծված խնդրի օրինակով կարելի է բացատրել չափման միավորի ընդհանուր սահմանումներից մեկը՝ 1 բիթ. 1 բիթը տեղեկատվության քանակն է, որը կրկնակի նվազեցնում է համակարգի վիճակի անորոշությունը:

Դիսկրետ համակարգի անորոշությունը կախված է նրա N վիճակների քանակից։

Էնտրոպիա մինչև տեղեկատվության ստացումը H1 = Մատյան 2 N... Եթե ​​տեղեկատվություն ստանալուց հետո անորոշությունը կրկնակի նվազել է, դա նշանակում է, որ վիճակների թիվը հավասարվել է N/2-ի, իսկ էնտրոպիան H2 = Log 2 N/2: Ստացված տեղեկատվության քանակը I = H1 -H2 = Log 2 N - Log 2 N / 2 = Log 2 2 = 1 բիթ:

Դիտարկենք Շենոնի և Հարթլի բանաձևի կիրառման մի քանի խնդիր։

Նպատակ 2.Կարո՞ղ է արդյոք համակարգի էնտրոպիան, որը պատահականորեն ընդունում է 4 վիճակներից մեկը, հավասար լինել. ա) 3; բ) 2.1 գ) 1.9 դ) 1; ե) 0.3. Պատասխանը բացատրելն է.

Լուծում. 4 վիճակ ունեցող համակարգի էնտրոպիան հասնում է հնարավոր առավելագույն արժեքին, երբ բոլոր վիճակները հավասարապես հավանական են։ Այս արժեքը, ըստ Հարթլիի բանաձեւի, Log 2 4 = 2 բիթ է: Մնացած բոլոր դեպքերում 4 վիճակ ունեցող համակարգի էնտրոպիան կլինի 2-ից փոքր: Հետևաբար, վերը թվարկված էնտրոպիայի հնարավոր արժեքները կարող են լինել 1,9, 1, 0,3:

Նպատակ 3.Ֆունկցիան դրված է H (x) = -x * Log 2 (x) - (1-x) * Log 2 (1-x): Աճման կարգով դասավորե՛ք հետևյալ արժեքները՝ H (0.9), H (0.85), H (0.45), H (0.2), H (0.15):

Լուծում.Մենք օգտագործում ենք ֆունկցիայի գրաֆիկը (3.5): Ամենամեծ արժեքը կլինի H (0.45), ամենափոքր արժեքը կլինի H (0.9), այնուհետև H (0.15) և H (0.85) = H (0.15) արժեքները աճման կարգով են. H (0.2). Պատասխան՝ H (0.9)< H(0.15)=H(0.85)< H(0.2) < H(0.45). É

Առաջադրանք 4.Հետևյալ հաղորդագրությունները փոխանցվել են կապի գծով. ա) «start_w_10»; բ) «start_1_v0»: Համեմատեք առաջին և երկրորդ հաղորդագրության տեղեկատվության քանակը:

Լուծում.Առաջին և երկրորդ հաղորդագրությունները բաղկացած են միևնույն նշաններից. երկրորդը ստացվում է առաջինից՝ այս նշանների փոխակերպման արդյունքում: Շենոնի բանաձեւի համաձայն՝ այս հաղորդագրությունները պարունակում են նույն քանակությամբ տեղեկատվություն։ Այս դեպքում առաջին հաղորդագրությունը կրում է բովանդակալից տեղեկատվություն, իսկ երկրորդը՝ նիշերի պարզ հավաքածու: Այնուամենայնիվ, այս դեպքում կարելի է ասել, որ երկրորդ հաղորդագրությունը առաջինի «գաղտնագրված» տարբերակն է, և հետևաբար երկու հաղորդագրություններում էլ տեղեկատվության ծավալը նույնն է։

Առաջադրանք 5.Ստացված երեք տարբեր հաղորդագրություններ A, B, C.

A = «ժամանել ժամը տասին»; B = «ժամանում ժամը տասին զրոյական րոպե»; C = «ժամանել ուղիղ ժամը տասին»: Օգտագործելով Շենոնի էնտրոպիայի մոտեցումը, համեմատեք այս հաղորդագրություններում պարունակվող տեղեկատվության քանակը:

Լուծում.Նշենք համապատասխանաբար I (A), I (B), I (C) հաղորդագրություններում A, B, C հաղորդագրությունների քանակը: «Բովանդակության» իմաստով այս հաղորդագրությունները միանգամայն նույնն են, բայց նույն բովանդակությունն արտահայտվում է տարբեր թվով նշանների միջոցով: Այս դեպքում A հաղորդագրության բոլոր նշանները պարունակվում են B և C հաղորդագրություններում, C = A + «ճիշտ», B = A + «զրո րոպե»; Շենոնի մոտեցման համաձայն՝ մենք ստանում ենք՝ I (A)< I(C) < I(B).

Մեր աշխարհը հիմնված է երեք բաղադրիչների վրա՝ նյութ, էներգիա և տեղեկատվություն: Որքա՞ն նյութ, էներգիա և տեղեկատվություն կա աշխարհում: Կարո՞ղ են դրանք չափվել և ինչպես ճշգրիտ: Մենք գիտենք նյութի և էներգիայի քանակությունը չափելու եղանակներ։ Բայց ինչ վերաբերում է տեղեկատվությանը: Կարող եք չափել այն:

Արդեն նշվել է, որ տեղեկատվության ծավալը գնահատելու մի քանի մոտեցումներ կան։ Այժմ մենք ավելի մանրամասն կանդրադառնանք դրանցից մեկին։

Ցանկացած հաղորդագրություն կլինի տեղեկատվական, եթե այն լրացնում է մարդու գիտելիքները, այսինքն. նվազեցնում է իր գիտելիքների անորոշությունը.

Հավասար հավանական իրադարձություններ

Օրինակ 1

Օրինակ, երբ մետաղադրամ են նետում, մենք փորձում ենք գուշակել, թե որ կողմն է ընկնելու: Հնարավոր ելքերից մեկը հնարավոր է՝ մետաղադրամը կլինի «գլուխների» կամ «պոչի» դիրքում։ Այս երկու իրադարձություններից յուրաքանչյուրը հավասարապես հավանական կստացվի, այսինքն՝ ոչ մեկն առավելություն չունի մյուսի նկատմամբ։ Մետաղադրամը նետելուց առաջ ոչ ոք չի կարող իմանալ, թե ինչպես է այն ընկնելու, այսինքն. կա գիտելիքի անորոշություն. Իրադարձության առաջացումից հետո, ընդհակառակը, կա լիակատար որոշակիություն, քանի որ նետողը տեսողական հաղորդագրություն է ստանում մետաղադրամի դիրքի մասին, որն իր հերթին կիսով չափ նվազեցնում է նրա գիտելիքների անորոշությունը, քանի որ երկուսից մեկը հավասարապես հավանական է. իրադարձություններ են տեղի ունեցել.

Օրինակ 2

Մեկ այլ օրինակ է իրավիճակը վեցակողմանի մահացու հետ, այսինքն. նետումից առաջ ոչ ոք չի կարող իմանալ, թե որ կողմն է ընկնելու: Այս դեպքում վեց հավասար հավանականից մեկ արդյունք ստանալու հնարավորություն կա։ Այսպիսով, նետումից առաջ նետողի գիտելիքների անորոշությունը հավասար կլինի 6-ի, նետումից հետո այն կնվազի ուղիղ 6 անգամ, քանի որ կարող է տեղի ունենալ ուղիղ 6 հավասար հավանական իրադարձություն։

Օրինակ 3

Դիտարկենք մի օրինակ, որտեղ քննության համար պատրաստվել է 40 տոմս։ Իրադարձությունների հավանականությունը, որոնք տեղի կունենան տոմսի խաղարկության ժամանակ, կկազմի 40: Ավելին, այդ իրադարձությունները հավասարապես հավանական են լինելու: Այս դեպքում ուսանողի գիտելիքների անորոշությունը նախքան տոմս ընտրելը հավասար կլինի 40-ի։ Ըստ այդմ՝ ուսանողի տոմսը վերցնելուց հետո գիտելիքների անորոշությունը կնվազի 40 անգամ։ Հարցնենք ինքներս մեզ՝ արդյոք այս ցուցանիշը կախված է խաղարկված տոմսի քանակից։ Ոչ, քանի որ իրադարձությունները հավասարապես հավանական են։

Վերոնշյալ բոլոր օրինակները վերլուծելուց հետո կարող ենք գալ այն եզրակացության, որ որքան մեծ է հավանական հավասարապես հավանական իրադարձությունների սկզբնական թիվը, այնքան շատ անգամ է նվազում գիտելիքների անորոշությունը, և այնքան ավելի շատ տեղեկատվություն կպարունակվի հաղորդագրության արդյունքների մասին: փորձ.

Անհավասար իրադարձություններ

Որպես օրինակ վերցնենք խոսակցական լեզուներ։ Դառնանք ապացուցված հետազոտության փաստերին, որոնք ցույց են տալիս, որ խոսակցական բոլոր լեզուներում որոշ տառեր շատ ավելի հաճախ են հանդիպում, քան մյուսները։ Հետազոտության արդյունքները հաստատում են, որ տարբեր խոսակցական լեզուներով տառերի 1000 դոլարի հաշվով կրկնությունների տարբեր քանակ կա: Որպես օրինակ՝ աղյուսակը ցույց է տալիս ռուսերեն և անգլերեն որոշ տառեր.

Նկար 1.

Բացի այդ, առանձին տառերի հայտնվելու հավանականությունը կախված կլինի նրանից, թե որ տառերն են օգտագործվում դրանց դիմաց: Այսպիսով, ռուսերենում փափուկ նշանը երբեք չի կարող լինել ձայնավորից հետո, իսկ չորս ձայնավոր անընդմեջ բառերում չեն օգտագործվում և այլն: Խոսակցական լեզուները, որպես կանոն, ունեն իրենց առանձնահատկություններն ու օրինաչափությունները։ Ահա թե ինչու ցանկացած խոսակցական լեզվի հաղորդագրություններում պարունակվող տեղեկատվության քանակն անընդունելի է գնահատել Հարթլիի բանաձևի միջոցով, որն օգտագործվում է տեղեկատվության գնահատման այբբենական մոտեցման մեջ և բնորոշ է նույնքան հավանական իրադարձություններով օրինակներին (օրինակներ մետաղադրամով և զառերով): ):

Ինչպե՞ս որոշել, թե որքան տեղեկատվություն է պարունակում, օրինակ, «Պատերազմ և խաղաղություն» վեպի տեքստը, կամ իտալացի մեծ նկարիչների որմնանկարներն ու կտավները, կամ մարդու գենետիկ կոդը: Այս և նմանատիպ հարցերի պատասխանները գիտությանը դեռ հայտնի չեն և, ամենայն հավանականությամբ, շուտով հայտնի չեն լինի։ Այնուամենայնիվ, բոլորին հետաքրքրում է՝ հնարավո՞ր է օբյեկտիվորեն գնահատել տեղեկատվության ծավալը։ Այս տեսակի խնդրին կարելի է վերաբերել հետևյալ օրինակին.

Ինչպե՞ս պարզել, թե «կինն առաջինը դուրս կգա շենքից» և «տղամարդը առաջինը դուրս կգա շենքից» հաղորդագրությունները հավասարապես հավանական են։ Այս հարցին միանշանակ պատասխան չկա։ Ամեն ինչ կախված կլինի նրանից, թե ինչ շենքի մասին է խոսքը։ Եթե ​​սա, օրինակ, գինեկոլոգիական կլինիկայի շենքն է, ապա առաջինը կնոջ դուրս գալու հավանականությունը շատ մեծ է, եթե զորանոց է, ապա տղամարդու համար առաջինը դուրս գալու հավանականությունը ավելի մեծ կլինի, քան տղամարդու համար։ կին, բայց եթե սա կինոթատրոնի շենք է, ապա առաջինը տղամարդու և կնոջ համար փողոց դուրս գալու հավանականությունը նույնն է լինելու։

Տեղեկատվության քանակի գնահատում. Շենոնի բանաձեւը

Այս կարգի խնդիրները լուծելու համար օգտագործվում է ամերիկացի գիտնականի կողմից առաջարկված տեղեկատվության քանակի ընդհանուր գնահատականը: Կլոդ Շենոնը 1948թ.Նրա կողմից ստեղծված տեղեկատվության քանակի որոշման բանաձեւն ի վիճակի է հաշվի առնել հավաքածուում պարունակվող հաղորդագրությունների հնարավոր անհավասար հավանականությունը։ Բանաձևը ստեղծելու համար Շենոնն օգտագործել է մաթեմատիկայի և հիդրոդինամիկայի մեջ օգտագործվող բանաձևը: անորոշության հավանականության չափանիշ(կոչվում է էնտրոպիա)՝ ուսումնասիրվող համակարգի վիճակը լիովին գնահատելու և այս համակարգում տեղի ունեցող գործընթացների վերաբերյալ առավելագույն հնարավոր տեղեկատվություն ստանալու համար։ Տեղեկատվության քանակի այս գնահատականն ըստ էության հավանականական միջոցև, որպես անորոշության գնահատում, այն արտացոլում է ցանկացած աղբյուրի՝ ավելի ու ավելի շատ նոր վիճակներ դրսևորելու և այդպիսով տեղեկատվություն տալու կարողությունը:

Սահմանում 1

Շենոնը բացահայտեց էնտրոպիաորպես համակարգի հնարավոր վիճակների հավանականությունների բազմության միջին լոգարիթմական ֆունկցիա (փորձի հնարավոր արդյունքներ): Էնտրոպիան հաշվարկելու համար Շենոնն առաջարկեց հետևյալ հավասարումը.

$ H = - (p_1log_2p_1 + p_2log_2p_2 +... + P_Nlog_2p_N) $,

որտեղ $ p_i $ $ i $ -րդ իրադարձության հավանականությունն է $ N $ իրադարձությունների բազմությունում:

Այնուհետև փորձի արդյունքում ստացված տեղեկատվության քանակը կլինի ոչ այլ ինչ, քան համակարգի էնտրոպիայի միջև եղած տարբերությունը ($ H_0 $) և հետո ($ H_1 $) փորձից հետո.

ընդ որում, եթե փորձի արդյունքում անորոշությունն ամբողջությամբ վերացվի, ապա ունենք.

$ I = \ Սիգմա (p_ilog_2p_i), i = 1, \ կետեր, N $:

Դիտարկենք մի օրինակ, որը հաստատում է Շենոնի այս տեսության կիրառումը գործնականում:

Օրինակ 4

Լիճը բնակեցված է մանուկներով և թառերով։ Հաշվարկվել է յուրաքանչյուր պոպուլյացիայի մեջ անհատների թիվը (մինոները՝ 1500 դոլար, իսկ թառերը՝ 500 դոլար)։ Պետք է պարզել, թե որքա՞ն տեղեկատվություն է պարունակում այն ​​հաղորդումները, որ ձկնորսը բռնել է ձուկ, թառ, ընդհանրապես ձուկ։

Լուծում.Գուդի կամ թառի բռնման դեպքերը հավասարապես հավանական չեն, քանի որ լճում թառերը շատ ավելի փոքր են, քան մանրաձուկը:

Լճում ապրող մանուկների և թառերի ընդհանուր թիվը.

$1500 + 500 = 2000$.

Եկեք որոշենք ձագ բռնելու հավանականությունը.

$ p_1 = \ ֆրակ (1500) (2000) = 0,75 $,

Եկեք որոշենք թառ բռնելու հավանականությունը.

$ p_2 - \ frac (500) (2000) = 0,25 $:

$ I_1 = log_2 (\ frac (1) (p_1)), I_1 = log_2 (\ frac (1) (p_2)) $,

որտեղ $ I_1 $ և $ I_2 $ համապատասխանաբար ձագ և թառ բռնելու հավանականությունն են:

Տեղեկատվության քանակությունը, որը պարունակվում է գունդ բռնելու զեկույցում.

$ I_1 = log_2 (\ frac (1) (0.75)) «0.43 $ բիթ,

Պերճ բռնելու հաշվետվության մեջ պարունակվող տեղեկատվության քանակը.

$ I_2 = log_2 (\ frac (1) (0,25)) «2 $ բիթ.

Ձկների (խաչածր կամ թառ) բռնելու մասին հաղորդագրության մեջ պարունակվող տեղեկատվության քանակը հաշվարկվում է Շենոնի բանաձևով.

$ I = - p_1log_2p_1 - p_2log_2p_2 $

$ I = -0.75 \ cdot log_20.75- 0.25 \ cdot log_20.25 = -0.75 \ cdot (\ frac (log0.75) (log2)) - 0.25 \ cdot (\ frac ( log0.25) (log2)) = 0,604 բիթ »0,6 $ բիթ:

Պատասխան.հաղորդագրությունը պարունակում է $0,6 $ բիթ տեղեկատվություն

Տեղեկատվության տեսությունն իր հետագա զարգացումն է ստացել ամերիկացի ինժեներ և մաթեմատիկոս Կլոդ Շենոնի աշխատություններում (1916 - 2001 թթ.): Շենոնը մաթեմատիկական տեղեկատվության տեսության հիմնադիրներից է։ Նրա հիմնական աշխատությունները նվիրված են ռելե-շփման սխեմաների տեսությանը, կապի մաթեմատիկական տեսությանը, կիբեռնետիկային։ Կ.Շենոնն ուսումնասիրել է տեղեկատվության փոխանցումը հեռագրում, հեռախոսակապի կամ ռադիոհեռարձակման մեջ էլեկտրամագնիսական ալիքների ազդանշանների տեսքով։ Խնդիրներից մեկը, որը Ք.Շենոնն իր առջեւ դրեց, կոդավորման համակարգի սահմանումն էր, որը կօպտիմիզացնի տեղեկատվության փոխանցման արագությունն ու հուսալիությունը: Քանի որ պատերազմի տարիներին նա ծառայում էր կոդավորման բաժնում, որտեղ զբաղվում էր կրիպտոգրաֆիկ համակարգերի մշակմամբ, դա հետագայում օգնեց նրան բացահայտել սխալների ուղղման հետ կոդավորման մեթոդներ: 1948-1949 թվականների իր աշխատություններում Կ. Շենոնը որոշեց տեղեկատվության քանակը էնտրոպիայի միջոցով՝ մի մեծություն, որը հայտնի է թերմոդինամիկայում և վիճակագրական ֆիզիկայում՝ որպես համակարգի անկարգության չափիչ, և վերցրեց այն, ինչը հետագայում կոչվեց բիթ (բիթ) որպես բիթ։ տեղեկատվության միավոր:

Հետագա ներկայացման համար անհրաժեշտ է օգտագործել հավանականության տեսության որոշ հասկացություններ՝ պատահական իրադարձություն, փորձ, իրադարձության հավանականություն, պատահական փոփոխական։ Մեզ շրջապատող աշխարհում տարբեր իրադարձություններ են տեղի ունենում, և մենք կարող ենք ինտուիտիվ կերպով, փորձի հիման վրա, դրանցից մի քանիսը ավելի հնարավոր գնահատել, քան մյուսները: Պատահական իրադարձությունը այն իրադարձությունն է, որը կարող է տեղի ունենալ կամ չլինել ինչ-որ փորձության, փորձի կամ փորձի արդյունքում: Իրադարձությունները կնշանակենք A, B, C և այլն մեծատառերով։ Որոշակի իրադարձության տեղի ունենալու հավանականության քանակական չափանիշը՝ A, կոչվում է դրա հավանականություն և նշվում է որպես p (A), p– անգլերեն հավանականությունից: Որքան հնարավոր է պատահական իրադարձության առաջացումը, այնքան մեծ է դրա հավանականությունը. եթե A-ն ավելի հնարավոր է, քան B-ն, ապա p (A)> p (B): Ներկայացված է վստահելի իրադարձության հայեցակարգը՝ իրադարձություն, որն անպայման տեղի կունենա: Այս իրադարձությունը նշանակված է  և ենթադրվում է, որ դրա հավանականությունը p () = 1 է: Այն իրադարձությունը, որը երբեք տեղի չի ունենա, կոչվում է անհնարին: Այն նշանակվում է և դրա հավանականությունը ենթադրվում է p () = 0: Բոլոր մյուս իրադարձությունների A հավանականությունների համար p () անհավասարությունը:< p(A)

Միջոցառումների համար ներդրվում է գումար և արտադրանք հասկացությունը: A + B իրադարձությունների գումարը մի իրադարձություն է, որը բաղկացած է A կամ B իրադարձության առաջացումից: A *B իրադարձությունների արտադրյալը բաղկացած է A և B իրադարձությունների միաժամանակյա առաջացումից: Իրադարձություններ A և B. անհամապատասխանեթե նրանք չեն կարող հավաքվել նույն դատավարության արդյունքում։ Անհամապատասխան իրադարձությունների գումարի հավանականությունը հավասար է դրանց հավանականությունների գումարին: Եթե ​​A-ն և B-ն անհամապատասխան իրադարձություններ են, ապա p (A + B) = p (A) + p (B):

Իրադարձություններ A1, A2, A3, ... Ձև ամբողջական խումբեթե փորձի արդյունքում դրանցից գոնե մեկը անպայման տեղի ունենա։ Եթե ​​A1, A2, A3,… An իրադարձությունները զույգերով անհամատեղելի են և կազմում են ամբողջական խումբ, ապա դրանց հավանականությունների գումարը p1 + p2 + p3 +… .pn = 1: Եթե ​​դրանք նույնպես հավասարապես հավանական են, ապա յուրաքանչյուրի հավանականությունը հավասար է p = 1 / n, որտեղ n-ը իրադարձությունների թիվն է: Հավանականությունիրադարձությունները սահմանվում են որպես փորձի բարենպաստ իրադարձությունների արդյունքների քանակի և արդյունքների ընդհանուր թվի հարաբերակցությունը: Հաճախականությունիրադարձություններ - դրա հավանականության էմպիրիկ մոտարկում: Այն հաշվարկվում է մի շարք փորձերի արդյունքում որպես փորձերի քանակի հարաբերակցություն, որոնցում տեղի է ունեցել իրադարձությունը փորձերի ընդհանուր թվին: Մեծ թվով փորձերի (թեստերի) դեպքում իրադարձության հաճախականությունը հակված է իր հավանականությանը:

Ք.Շենոնը, օգտագործելով Ռ.Հարթլիի մոտեցումը, ուշադրություն հրավիրեց այն փաստի վրա, որ բանավոր հաղորդագրություններ փոխանցելիս այբուբենի տարբեր տառերի օգտագործման հաճախականությունը (հավանականությունը) նույնը չէ. որոշ տառեր օգտագործվում են շատ հաճախ, մյուսները՝ հազվադեպ։ .

Դիտարկենք A m այբուբենը, որը բաղկացած է m նշաններից: p i-ով նշենք i-րդ նշանի հավանականությունը (հաճախականությունը) հայտնվելու n սիմվոլից բաղկացած փոխանցվող հաղորդագրության ցանկացած դիրքում։ Այբուբենի մեկ i-րդ նիշը կրում է տեղեկատվության քանակությունը, որը հավասար է -Log 2 (p i): Լոգարիթմին նախորդում է «մինուս» նշանը, քանի որ տեղեկատվության քանակը ոչ բացասական է, իսկ մատյան 2 (x)<0 при 0

Հաղորդագրության մեջ յուրաքանչյուր նիշի փոխարեն կարող է լինել այբուբենի ցանկացած նիշ A m; Հաղորդագրության մեկ նիշի համար տեղեկատվության քանակը հավասար է A m այբուբենի բոլոր նիշերի վերաբերյալ տեղեկատվության միջին արժեքին.

n նիշից բաղկացած հաղորդագրության մեջ պարունակվող տեղեկատվության ընդհանուր քանակը հետևյալն է.

(3.2)

Եթե ​​A m այբուբենի բոլոր նիշերը հայտնվում են հավասար հավանականությամբ, ապա բոլորը p i = p. Քանի որ р i = 1, ապա p = 1 / մ:

Բանաձևը (3.2) այն դեպքում, երբ այբուբենի բոլոր նշանները հավասարապես հավանական են, ստանում է ձև.

Եզրակացություն՝ Շենոնի բանաձեւը (3.2) այն դեպքում, երբ այբուբենի բոլոր նշանները հավասարապես հավանական են, վերածվում է Հարթլիի բանաձեւի (2.2)։

Ընդհանուր դեպքում, կամայական X համակարգի H էնտրոպիայի մեծությունը (պատահական փոփոխական), որը կարող է լինել m տարբեր վիճակներում x 1, x 2, ... xm p 1, p 2, ... pm հավանականություններով, Շենոնի բանաձևով հաշվարկված է

(3.3)

Հիշենք, որ p 1 + p 2 +… + p m = 1. Եթե բոլոր p i-երը նույնն են, ապա X համակարգի բոլոր վիճակները հավասարապես հավանական են. այս դեպքում p i = 1 / մ, և բանաձևը (3.3) վերածվում է Հարթլիի բանաձևի (2.5). H (X) = Log 2 (m):

Մեկնաբանություն.Համակարգի էնտրոպիայի մեծությունը (պատահական փոփոխական) X կախված չէ նրանից, թե կոնկրետ ինչ վիճակներում կարող է լինել համակարգը x 1, x 2, ... xm, այլ կախված է այս վիճակների քանակից և p 1 հավանականություններից, p 2, ... pm, որի հետ համակարգը կարող է լինել այս վիճակներում: Սա նշանակում է, որ երկու համակարգեր, որոնցում վիճակների թիվը նույնն է, և այդ վիճակների հավանականությունները p 1, p 2,… p m հավասար են (մինչև թվարկման կարգը), ունեն հավասար էնտրոպիաներ:

Թեորեմ.Առավելագույն էնտրոպիան H (X) ձեռք է բերվում, երբ համակարգի բոլոր վիճակները հավասարապես հավանական են: Դա նշանակում է որ

(3.4)

Եթե ​​X համակարգը կարող է լինել միայն մեկ վիճակում (m = 1), ապա նրա էնտրոպիան զրո է։ Դիտարկենք մի համակարգ, որը կարող է ընդունել միայն երկու վիճակ x1 և x2 p1 և p2 հավանականություններով.

Նման համակարգի էնտրոպիայի չափը կազմում է

H (X) = - (1/2 * Մատյան 2 (1/2) + 1/2 * Մատյան 2 (1/2)) = -Մատյան 2 (1/2) = Մատյան 2 (2) = 1

Այս գումարը ընդունվում է որպես էնտրոպիայի (տեղեկատվության) չափման միավոր և կոչվում է 1 բիթ (1 բիթ)։

Դիտարկենք գործառույթը

h (x) = - (x * log 2 (x) + (1-x) * log 2 (1-x)): (3.5)

Դրա տիրույթը միջակայքն է (0; 1), Limh (x) = 0 x0-ի կամ 1-ի համար: Այս ֆունկցիայի գրաֆիկը ներկայացված է նկարում.

Բրինձ. 4. Ֆունկցիայի գրաֆիկ (3.5)

Եթե ​​x-ը նշանակենք p 1-ով, և (1-x)-ը p 2-ով, ապա p 1 + p 2 = 1; p 1, p 2  (0; 1), h (x) = H (p 1, p 2) = - (p 1 * log 2 (p 1) + (p 2) * log 2 (p 2)) երկու վիճակ ունեցող համակարգի էնտրոպիան է. H-ի առավելագույնը հասնում է p 1 = p 2 = 0,5:

h (x) գրաֆիկը կարող է օգտագործվել հետևյալ խնդիրները լուծելու համար.

Խնդիր 1. Տրված են X, Y, Z երեք պատահական փոփոխականներ, որոնցից յուրաքանչյուրը ընդունում է երկու արժեք՝ հավանականություններով.

P (X = x1) = 0,5; P (X = x2) = 0,5;

P (Y = y1) = 0,2, P (Y = y2) = 0,8;

P (Z = z1) = 0.3; P (Z = z2) = 0,7:

P (X = x1) = 0,5 գրելը նշանակում է, որ X պատահական փոփոխականը վերցնում է x1 արժեքը 0,5 հավանականությամբ: Պահանջվում է այս համակարգերի էնտրոպիաները դասավորել աճման կարգով։

Լուծում. Էնտրոպիան H (X) հավասար է 1-ի և կլինի ամենամեծը. էնտրոպիան H (Y) հավասար է h (x) ֆունկցիայի արժեքին, տես (3.5), x = 0.2-ի համար, այսինքն՝ H (Y) = h (0.2); էնտրոպիա H (Z) = h (0.3): h (x) գրաֆիկից մենք կարող ենք որոշել, որ h (0.2)< h(0.3). Следовательно, H(Y) < H(Z) < H(X).

Դիտողություն 1.Համակարգի էնտրոպիան որքան մեծ է, այնքան քիչ են նրա վիճակների հավանականությունները տարբերվում միմյանցից։ Ելնելով դրանից՝ կարող ենք եզրակացնել, որ H (Y)< H(Z). Например, если для систем X и Y с тремя состояниями заданы вероятности: дляX{0.4; 0.3; 0.3}, дляY{0.1; 0.1; 0.8}, то очевидно, что неопределённость системыXбольше, чем неопределённость системыY: у последней, скорее всего, будет реализовано состояние, вероятность которого равна 0.8 .

Էնտրոպիան H (X) բնութագրում է համակարգի անորոշության աստիճանը: Որքան մեծ լինի համակարգի մասին ստացված տեղեկատվության քանակը, այնքան ավելի շատ տեղեկատվություն կլինի համակարգի մասին, և այնքան քիչ անորոշ կլինի դրա վիճակը տեղեկատվություն ստացողի համար:

Եթե ​​տեղեկատվության ստացումից հետո համակարգի էնտրոպիան հավասարվում է զրոյի, դա նշանակում է, որ անորոշությունը վերացել է, ամբողջ էնտրոպիան «անցել» է տեղեկատվության մեջ։ Այս դեպքում ասվում է, որ ամբողջական տեղեկատվություն է ստացվել X համակարգի մասին։ Ֆիզիկական համակարգի վիճակի ամբողջական պարզաբանման ժամանակ ձեռք բերված տեղեկատվության քանակը հավասար է այս համակարգի էնտրոպիային։

Եթե ​​որոշակի հաղորդագրություն ստանալուց հետո X համակարգի անորոշությունը նվազել է, բայց ընդհանրապես չի վերացել, ապա հաղորդագրության մեջ պարունակվող տեղեկատվության քանակը հավասար է էնտրոպիայի աճին.

I = H1 (X) - H2 (X), (3.6)

որտեղ H1 (X) և H2 (X) համակարգի էնտրոպիան հաղորդագրությունից առաջ և հետո համապատասխանաբար: Եթե ​​H2 (X) = 0, ապա համակարգի անորոշության չափումը զրո է, և ստացվել է համակարգի մասին ամբողջական տեղեկատվություն:

Օրինակ. Դուք ցանկանում եք գուշակել այն միավորների քանակը, որոնք կհայտնվեն զառերի վրա: Դուք ստացել եք հաղորդագրություն, որ զույգ միավորներ են հավաքվել: Որքա՞ն տեղեկատվություն է պարունակում այս հաղորդագրությունը:

Լուծում. H1 «զառային» համակարգի էնտրոպիան հավասար է Log 2 6-ին, քանի որ մեռնողը կարող է պատահականորեն ընդունել վեցը հավասարապես հնարավոր էպետություններ (1, 2, 3, 4, 5, 6): Ստացված հաղորդագրությունը նվազեցնում է հնարավոր վիճակների թիվը երեքի՝ (2, 4, 6), այսինքն. Համակարգի էնտրոպիան այժմ հավասար է H2 = Log 2 3. Էնտրոպիայի աճը հավասար է ստացված տեղեկատվության քանակին I = H1 - H2 = Log 2 6 - Log 2 3 = Log 2 2 = 1bit.

Վերլուծված խնդրի օրինակով կարելի է բացատրել չափման միավորի ընդհանուր սահմանումներից մեկը՝ 1 բիթ. 1 բիթը տեղեկատվության քանակն է, որը կրկնակի նվազեցնում է համակարգի վիճակի անորոշությունը:Դիսկրետ համակարգի անորոշությունը կախված է նրա N վիճակների քանակից։ Էնտրոպիան մինչև տեղեկություն ստանալը H1 = Log 2 N. Եթե տեղեկատվություն ստանալուց հետո անորոշությունը նվազել է կիսով չափ, դա նշանակում է, որ վիճակների թիվը հավասար է N / 2-ի, իսկ էնտրոպիան H2 = Log 2 N / 2: Ստացված տեղեկատվության քանակը I = H1 -H2 = Log 2 N-Log 2 N / 2 = Log 2 2 = 1 բիթ:

Դիտարկենք Շենոնի և Հարթլի բանաձևի կիրառման մի քանի խնդիր։

Նպատակ 2.Կարո՞ղ է արդյոք համակարգի էնտրոպիան, որը պատահականորեն ընդունում է 4 վիճակներից մեկը, հավասար լինել. ա) 3; բ) 2.1 գ) 1.9 դ) 1; ե) 0.3. Պատասխանը բացատրելն է.

Լուծում. 4 վիճակ ունեցող համակարգի էնտրոպիան հասնում է հնարավոր առավելագույն արժեքին, երբ բոլոր վիճակները հավասարապես հավանական են։ Այս արժեքը, ըստ Հարթլիի բանաձեւի, Log 2 4 = 2 բիթ է: Մնացած բոլոր դեպքերում 4 վիճակ ունեցող համակարգի էնտրոպիան կլինի 2-ից փոքր: Հետևաբար, վերը թվարկված էնտրոպիայի հնարավոր արժեքները կարող են լինել 1,9, 1, 0,3:

Նպատակ 3.Ֆունկցիան դրված է H (x) = -x * Log 2 (x) - (1-x) * Log 2 (1-x): Աճման կարգով դասավորե՛ք հետևյալ արժեքները՝ H (0.9), H (0.85), H (0.45), H (0.2), H (0.15):

Լուծում.Մենք օգտագործում ենք ֆունկցիայի գրաֆիկը (3.5): Ամենամեծ արժեքը կլինի H (0.45), ամենափոքր արժեքը կլինի H (0.9), այնուհետև H (0.15) և H (0.85) = H (0.15) արժեքները կգան աճման կարգով. H (0.2). Պատասխան՝ H (0.9)

Առաջադրանք 4.Հետևյալ հաղորդագրությունները փոխանցվել են կապի գծով. ա) «start_w_10», բ) «start_1_v0»: Համեմատեք առաջին և երկրորդ հաղորդագրության տեղեկատվության քանակը:

Լուծում.Առաջին և երկրորդ հաղորդագրությունները բաղկացած են միևնույն նշաններից. երկրորդը ստացվում է առաջինից՝ այս նշանների փոխակերպման արդյունքում: Շենոնի բանաձեւի համաձայն՝ այս հաղորդագրությունները պարունակում են նույն քանակությամբ տեղեկատվություն։ Այս դեպքում առաջին հաղորդագրությունը կրում է բովանդակալից տեղեկատվություն, իսկ երկրորդը՝ նիշերի պարզ հավաքածու: Այնուամենայնիվ, այս դեպքում կարելի է ասել, որ երկրորդ հաղորդագրությունը առաջինի «գաղտնագրված» տարբերակն է, և հետևաբար երկու հաղորդագրություններում էլ տեղեկատվության ծավալը նույնն է։

Առաջադրանք 5.Ստացված երեք տարբեր հաղորդագրություններ A, B, C.

A = «ժամանել ժամը տասին», B = «ժամանում է ժամը տասին զրոյական րոպեին», C = «ժամանում ուղիղ ժամը տասին»: Օգտագործելով Շենոնի էնտրոպիայի մոտեցումը, համեմատեք այս հաղորդագրություններում պարունակվող տեղեկատվության քանակը:

Լուծում.Նշենք համապատասխանաբար I (A), I (B), I (C) հաղորդագրություններում A, B, C հաղորդագրությունների քանակը: «Բովանդակության» իմաստով այս հաղորդագրությունները միանգամայն նույնն են, բայց նույն բովանդակությունն արտահայտվում է տարբեր թվով նշանների միջոցով: Այս դեպքում A հաղորդագրության բոլոր նշանները պարունակվում են B և C հաղորդագրություններում, C = A + «ճիշտ», B = A + «զրո րոպե»; Շենոնի մոտեցման համաձայն՝ մենք ստանում ենք՝ I (A)< I(C) < I(B).

Ամերիկացի ինժեներ Ռ. Հարթլի 1928 թվականին տեղեկատվության ստացման գործընթացը դիտարկվել է որպես վերջնական կանխորոշված ​​շարքից մեկ հաղորդագրության ընտրություն Նհավասարապես հավանական հաղորդագրությունները և տեղեկատվության քանակը ԻԸնտրված հաղորդագրության մեջ պարունակվող սահմանվել է որպես երկուական լոգարիթմ Ն .

Հարթլիի բանաձևը.

I = log2 Ն.

Ենթադրենք, դուք պետք է գուշակեք մեկ թիվ մեկից մինչև հարյուր թվերի շարքից: Օգտագործելով Hartley բանաձևը, դուք կարող եք հաշվարկել, թե որքան տեղեկատվություն է պահանջվում դրա համար. I = log2100> 6.644: Այսպիսով, ճիշտ գուշակված թվի մասին հաղորդագրությունը պարունակում է մոտավորապես 6,644 միավոր տեղեկատվության չափ:

Ահա մյուսները հավասար հավանական հաղորդագրությունների օրինակներ:

1. Երբ մետաղադրամը նետվում է. «Պոչերն ընկան», «Արծիվն ընկավ»;

2. գրքի էջում. «Տառերի թիվը զույգ է», «Տառերի թիվը կենտ է».

Հիմա սահմանենք հաղորդագրությունները համարժեք են «Կինն առաջինը դուրս կգա շենքի դռնից».և «Տղամարդն առաջինը դուրս կգա շենքի դռնից».. Անհնար է միանշանակ պատասխանել այս հարցին։... Ամեն ինչ կախված է նրանից, թե ինչ շենքի մասին է խոսքը։ Եթե ​​սա, օրինակ, մետրոյի կայարան է, ապա առաջինը դռնից դուրս գալու հավանականությունը տղամարդու և կնոջ համար նույնն է, իսկ եթե զորանոց է, ապա տղամարդու համար այդ հավանականությունը շատ ավելի մեծ է, քան կին.

Այս տեսակի առաջադրանքների համար ամերիկացի գիտնական Կլոդ Շենոն 1948 թվականին առաջարկել է տեղեկատվության քանակի որոշման մեկ այլ բանաձև՝ հաշվի առնելով հավաքածուի հաղորդագրությունների հնարավոր անհավասար հավանականությունը։

Շենոնի բանաձևը.

Ես = - ( էջ 1log2 էջ 1 + էջ 2 log2 էջ 2 +... + էջ N log2 pN),

որտեղ պի- հավանականությունը, որ հենց ես-րդ հաղորդագրությունը ընտրված է հավաքածուի մեջ Նհաղորդագրություններ.

Հեշտ է տեսնել, որ եթե հավանականությունները էջ 1, ...,pNհավասար են, ապա նրանցից յուրաքանչյուրը հավասար է 1-ի / Ն, և Շենոնի բանաձևը դառնում է Հարթլիի բանաձևը։

Կլոդ Շենոնբացահայտված տեղեկատվություն , ինչպես վերացրեց անորոշությունը ... Ավելի ճիշտ՝ տեղեկատվություն ստանալը անհրաժեշտ պայման է անորոշությունը վերացնելու համար։ Անորոշությունն առաջանում է ընտրության իրավիճակում։ Խնդիրը, որը լուծվում է անորոշությունը վերացնելու ընթացքում, դիտարկվող տարբերակների քանակի նվազումն է (բազմազանության նվազում) և, որպես հետեւանք, իրավիճակին համապատասխանող մեկ տարբերակի ընտրություն հնարավորներից։ Անորոշության վերացումը ձեզ հնարավորություն է տալիս տեղեկացված որոշումներ կայացնել և քայլեր ձեռնարկել: Սա տեղեկատվության ուղղորդող դերն է:

Պատկերացրեք՝ մտնում եք խանութ և խնդրում, որ ձեզ մաստակ վաճառեն: Ասենք 16 մակնիշի մաստակ ունեցող վաճառողուհին անորոշ վիճակում է. Նա չի կարող կատարել ձեր խնդրանքը առանց լրացուցիչ տեղեկությունների: Եթե ​​դուք նշել եք, ասենք, «Orbit», իսկ վաճառողուհին այժմ դիտարկում է նախնական 16 տարբերակներից միայն 8-ը, ապա կիսով չափ կրճատել եք նրա անորոշությունը (առաջ նայելով, ասենք, որ. անորոշության կիսով չափ կրճատումը համապատասխանում է 1 բիթ տեղեկատվություն ստանալուն ). Եթե ​​դուք, առանց ավելորդ անհանգստության, պարզապես ձեր մատը ցույց տվեցիք պատուհանի վրա՝ «այս մեկը», ապա անորոշությունն ամբողջությամբ վերացավ: Կրկին, առաջ նայելով, ասենք, որ այս օրինակի այս ժեստով դուք վաճառողուհուն հայտնել եք 4 բիթ տեղեկատվություն։

Իրավիճակը առավելագույն անորոշություն առաջարկում է մի քանիսը համարժեք այլընտրանքներ (տարբերակներ), այսինքն. ոչ մի տարբերակ նախընտրելի չէ: Ավելին, նույնքան հավանական տարբերակները դիտարկված, որքան մեծ է անորոշությունը, այնքան ավելի դժվար է միանշանակ ընտրություն կատարելը և այնքան ավելի շատ տեղեկատվություն է պահանջվում դրա համար ստացիր: Համար Նտարբերակները, այս իրավիճակը նկարագրվում է հավանականության հետևյալ բաշխմամբ. (1 / Ն,1/ Ն, …,1/ Ն} .

Նվազագույն անորոշությունը 0 է, այսինքն. այս իրավիճակը լիակատար վստահություն , ինչը նշանակում է, որ ընտրությունը կատարվել է, և ստացվել են բոլոր անհրաժեշտ տեղեկությունները։ Հավանականության բաշխումը լրիվ որոշակի իրավիճակի համար ունի հետևյալ տեսքը՝ (1, 0,… 0):

Տեղեկատվության տեսության մեջ անորոշության չափը բնութագրող մեծությունը նշվում է խորհրդանիշով Հև ունի անուն էնտրոպիա , ավելի ճիշտ տեղեկատվության էնտրոպիա .

Էնտրոպիա ( Հ) – անորոշության չափանիշ , արտահայտված բիթերով: Էնտրոպիան կարող է դիտվել նաև որպես բաշխման միատեսակության չափում պատահական փոփոխական.

Բրինձ. 3.4 Էնտրոպիայի վարքագիծը երկու այլընտրանքների դեպքում

Նկ. 3.4-ը ցույց է տալիս էնտրոպիայի վարքագիծը երկու այլընտրանքների դեպքում՝ դրանց հավանականությունների հարաբերակցության փոփոխությամբ ( Պ, (1-Պ)).

Էնտրոպիան հասնում է իր առավելագույն արժեքին այս դեպքում, երբ երկու հավանականությունները հավասար են միմյանց և հավասար են 1/2-ի, էնտրոպիայի զրոյական արժեքը համապատասխանում է դեպքերին ( Պ 0=0, Պ 1 = 1) և ( Պ 0=1, Պ 1=0).

Տեղեկատվության քանակը Iև էնտրոպիա Հբնութագրում են նույն իրավիճակը, բայց որակապես հակառակ կողմերից: I-ն այն տեղեկատվության քանակն է, որն անհրաժեշտ է Հ. Ինչպես սահմանել է Լեոն Բրիլուենը տեղեկատվությունը բացասական էնտրոպիա է(նեգենտրոպիա) .

Երբ անորոշությունն ամբողջությամբ վերացվում է, ստացված տեղեկատվության քանակը Իհավասար է նախկինում գոյություն ունեցող անորոշությանը Հ.

Անորոշության մասնակի վերացման դեպքում ստացված տեղեկատվության քանակը և մնացած չբացահայտված անորոշությունը ավելանում են սկզբնական անորոշության վրա: Ht + It = H(նկ. 3.5):

Բրինձ. 3.5 Էնտրոպիայի և տեղեկատվության քանակի միջև կապը

Այս պատճառով էնտրոպիայի հաշվարկման բանաձևերը, որոնք կներկայացվեն ստորև Հնաև տեղեկատվության քանակի հաշվարկման բանաձևեր են Ի, այսինքն. երբ խոսքը վերաբերում է անորոշության ամբողջական վերացում, Հդրանցում կարելի է փոխարինել Ի.

Ընդհանուր առմամբ, էնտրոպիա Հեւ անորոշությունը վերացնելու արդյունքում ստացված տեղեկատվության ծավալը Իկախված է դիտարկվող տարբերակների սկզբնական քանակից Նև դրանցից յուրաքանչյուրի իրականացման նախնական հավանականությունները P:{էջ 0,էջ 1, …,pN- 1), այսինքն. H = F(Ն,Պ): Էնտրոպիայի հաշվարկն այս դեպքում կատարվում է Շենոնի բանաձեւով , առաջարկվել է նրա կողմից 1948 թվականին «Հաղորդակցության մաթեմատիկական տեսություն» հոդվածում։

Կոնկրետ դեպքումերբ բոլոր տարբերակները համարժեք, կախվածություն է մնում միայն դիտարկվող տարբերակների քանակից, այսինքն. H = F(Ն): Այս դեպքում Շենոնի բանաձեւը մեծապես պարզեցված է եւ համընկնում է Հարթլի բանաձեւով , որն առաջին անգամ առաջարկվել է ամերիկացի ինժեներ Ռալֆ Հարթլիի կողմից 1928 թվականին, այսինքն. 20 տարի առաջ.

Շենոնի բանաձևը հետևյալն է.

(2.1) բանաձևում մինուս նշանը չի նշանակում, որ էնտրոպիան բացասական է: Սա բացատրվում է նրանով, որ պի£ 1 ըստ սահմանման, իսկ մեկից փոքր թվի լոգարիթմը բացասական է: Լոգարիթմի հատկությամբ, հետևաբար, այս բանաձևը կարելի է գրել երկրորդ տարբերակով՝ առանց գումարի նշանի դիմաց մինուս։

Արտահայտությունը մեկնաբանվում է որպես տեղեկատվության քանակություն Այնձեռք բերված իրականացման դեպքում ես-րդ տարբերակ. Շենոնի բանաձևում էնտրոպիան միջին բնութագիր է՝ պատահական փոփոխականի բաշխման մաթեմատիկական ակնկալիքը ( Ի 0,Ի 1, …,Ես N- 1} .

Ահա Շենոնի բանաձևով էնտրոպիան հաշվարկելու օրինակ. Թող ինչ-որ հիմնարկում աշխատողների կազմը բաշխված լինի հետևյալ կերպ՝ 3/4-ը՝ կանայք, 1/4-ը՝ տղամարդիկ։ Այնուհետև անորոշությունը, օրինակ, թե ում եք առաջինը հանդիպում հաստատություն մտնելիս, կհաշվարկվի աղյուսակում ներկայացված մի շարք գործողություններով: 3.1.

Աղյուսակ 3.1

Մենք արդեն նշել ենք, որ Հարթլիի բանաձևը Շենոնի՝ հավասար հավանական այլընտրանքների բանաձևի հատուկ դեպքն է։

Փոխարինելով բանաձևով (2.1): պիայն (համարժեք դեպքում՝ անկախ ես) արժեքը, մենք ստանում ենք.

Այսպիսով, Հարթլիի բանաձևը շատ պարզ է թվում.

Դրանից հստակ հետևում է, որ որքան մեծ է այլընտրանքների թիվը ( Ն), այնքան մեծ է անորոշությունը ( Հ): Հաշվի առնելով լոգարիթմները 2-րդ հիմքի վրա, ընտրանքների քանակը բերում է տեղեկատվական միավորներին՝ բիթերին: Նկար 3.6-ը ցույց է տալիս էնտրոպիայի կախվածությունը համահավանական ընտրությունների քանակից:

Բրինձ. 3.6 Էնտրոպիայի կախվածությունը հավասարապես հավանական ընտրությունների քանակից (համարժեք այլընտրանքներ)

Հակադարձ խնդիրներ լուծելու համար, երբ հայտնի է անորոշությունը ( Հ) կամ դրա հեռացման արդյունքում ստացված տեղեկատվության քանակը ( Ի) և անհրաժեշտ է որոշել, թե որքան հավասար հավանական այլընտրանքներ են համապատասխանում այս անորոշության առաջացմանը, օգտագործեք հակադարձ Հարթլիի բանաձևը, որն ավելի պարզ է թվում.

Օրինակ, եթե հայտնի է, որ պարզելու արդյունքում, որ մեզ հետաքրքրող Կոլյա Իվանովն ապրում է երկրորդ հարկում, ստացվել է 3 բիթ տեղեկատվություն, ապա տան հարկերի թիվը կարելի է որոշել բանաձևով (2.3. ), ինչպես N = 23= 8 հարկ.

Եթե ​​հարցն այսպիսին է. «Տանը 8 հարկ կա, որքա՞ն տեղեկություն ստացանք, երբ իմացանք, որ մեզ հետաքրքրող Կոլյա Իվանովը ապրում է երկրորդ հարկում», անհրաժեշտ է օգտագործել բանաձևը (2.2). Ես = log2 (8) = 3 բիթ:

Մինչ այժմ մենք տվել ենք էնտրոպիայի (անորոշության) հաշվարկման բանաձևեր. Հնշելով, որ Հդրանք կարող են փոխարինվել Իքանի որ ստացված տեղեկատվության ծավալը անորոշության լիակատար վերացումովորոշակի իրավիճակի, որը քանակապես հավասար է այս իրավիճակի սկզբնական էնտրոպիային:

Բայց անորոշությունը կարող է վերացվել միայն մասամբ, ուստի տեղեկատվության քանակը Iինչ-որ հաղորդագրությունից ստացված հաշվարկվում է որպես ստացման արդյունքում էնտրոպիայի նվազումտրված հաղորդագրություններ.

Հավասար հավանական դեպքի համար, օգտագործելով Հարթլի բանաձևը էնտրոպիան հաշվարկելու համար, մենք ստանում ենք.

Երկրորդ հավասարությունը ստացվում է լոգարիթմի հատկություններից։ Այսպիսով, հավասար հավանական դեպքում Իկախված է նրանից քանի անգամփոխվել է քննարկվող տարբերակների քանակը (համարվում է բազմազանություն):

Ելնելով (3.5) հիման վրա, մենք կարող ենք եզրակացնել հետևյալը.

Եթե, ապա - անորոշության ամբողջական վերացում, հաղորդագրության մեջ ստացված տեղեկատվության քանակը հավասար է անորոշությանը, որը կար մինչև հաղորդագրություն ստանալը:

Եթե, ուրեմն, անորոշությունը չի փոխվել, հետևաբար տեղեկություն չի ստացվել։

Եթե, ապա =>,

եթե, ապա =>.

Նրանք. ստացված տեղեկատվության քանակը դրական արժեք կլինի, եթե հաղորդագրություն ստանալու արդյունքում դիտարկվող այլընտրանքների թիվը նվազել է, իսկ բացասական՝ եթե այն ավելացել է։

Եթե ​​հաղորդագրություն ստանալու արդյունքում դիտարկվող այլընտրանքների թիվը կրկնակի նվազել է, այսինքն Ի= log2 (2) = 1 քիչ.Այլ կերպ ասած, 1 բիթ տեղեկատվություն ստանալը բացառում է համարժեք տարբերակների կեսը:

Որպես օրինակ դիտարկենք 36 քարտերից բաղկացած տախտակամածի փորձը (Նկար 3.7):

Բրինձ. 3.7 Փորձի նկարազարդում 36 քարտերից բաղկացած տախտակամածով

Թող ինչ-որ մեկին մեկ քարտ քաշի տախտակամածից: Մեզ հետաքրքրում է, թե 36 խաղաքարտերից որն է հանել։ Նախնական անորոշությունը, որը հաշվարկվում է (3.2) բանաձևով H = log2 (36) @ 5.17 քիչ... Նա, ով նկարում է քարտը, մեզ պատմում է որոշ տեղեկություններ: Օգտագործելով բանաձևը (3.5), մենք որոշում ենք, թե որքան տեղեկատվություն ենք ստանում այս հաղորդագրություններից.

Տարբերակ Ա. «Սա կարմիր քարտ է»:

Ի= log2 (36/18) = log2 (2) = 1 բիթ (կարմիր քարտերի կեսը տախտակամածում, անորոշությունը նվազել է 2 անգամ):

Տարբերակ B. «Սա բահերի բացիկ է»:

Ի= log2 (36/9) = log2 (4) = 2 բիթ (բահերը կազմում են տախտակամածի քառորդ մասը, անորոշությունը նվազել է 4 անգամ):

Տարբերակ C. «Սա ամենաբարձր խաղաքարտերից մեկն է՝ ջեք, թագուհի, արքա կամ էյս»:

Ի= log2 (36) –log2 (16) = 5.17-4 = 1.17 բիթ (անորոշությունը նվազել է ավելի քան երկու անգամ, ուստի ստացված տեղեկատվության քանակը մեկ բիթից ավելի է):

Տարբերակ D. «Սա մեկ քարտ է տախտակամածից»:

Ի= log2 (36/36) = log2 (1) = 0 բիթ (անորոշությունը չի նվազել. հաղորդագրությունը տեղեկատվական չէ):

Տարբերակ E. «Սա բահերի թագուհին է»:

Ի= log2 (36/1) = log2 (36) = 5,17 բիթ (անորոշությունն ամբողջությամբ հանված է):

Նպատակ 1.Որքա՞ն տեղեկատվություն կպարունակի տեսողական հաղորդագրությունը հանված օդապարիկի գույնի մասին, եթե անթափանց տոպրակի մեջ կան 50 սպիտակ, 25 կարմիր, 25 կապույտ գնդակներ:

Լուծում.

1) ընդհանուր գնդակներ 50 + 25 + 25 = 100

2) գնդակների հավանականությունը 50/100 = 1/2, 25/100 = 1/4, 25/100 = 1/4

3)Ի= - (1/2 լոգ21 / 2 + 1/4 լոգ21 / 4 + 1/4 լոգ21 / 4) = - (1/2 (0-1) +1/4 (0-2) +1/4 (0) -2)) = = 1,5 բիթ

Նպատակ 2.Զամբյուղը պարունակում է տարբեր գույների 16 գնդակ: Որքա՞ն տեղեկատվություն կա հաղորդագրության մեջ, որ դուք ստացել եք սպիտակ գնդակը:

Լուծում... Որովհետեւ N = 16 գնդակ, ապա I = log2 N = log2 16 = 4 բիթ:

Նպատակ 3.Զամբյուղը պարունակում է սև և սպիտակ գնդակներ: Դրանց թվում են 18 սև գնդակներ։ Հաղորդագրությունը, որ սպիտակ գնդակը քաշվել է, պարունակում է 2 բիթ տեղեկատվություն: Քանի՞ գնդակ կա զամբյուղում:

1) 18 2) 24 3) 36 4)48

Լուծում... Շենոնի բանաձևով գտնենք սպիտակ գնդակ ստանալու հավանականությունը՝ log2N = 2, N = 4, հետևաբար, սպիտակ գնդակ ստանալու հավանականությունը 1/4 է (25%), իսկ սև գնդակ ստանալու հավանականությունը՝ 3։ /4 (75%), համապատասխանաբար: Եթե ​​բոլոր գնդակների 75%-ը սև է, նրանց թիվը 18 է, ապա բոլոր գնդակների 25%-ը սպիտակ են, նրանց թիվը (18*25) / 75=6 է։

Մնում է գտնել զամբյուղի բոլոր գնդակների թիվը 18 + 6 = 24:

Պատասխան՝ 24 գնդակ:

Առաջադրանք 4.Որոշ երկրներում 5 նիշանոց համարանիշը կազմված է մեծատառերից (ընդհանուր առմամբ 30 տառ) և տասնորդական թվանշաններից՝ ցանկացած հերթականությամբ։ Յուրաքանչյուր նիշ կոդավորված է բիթերի նույն և նվազագույն հնարավոր քանակով, իսկ յուրաքանչյուր թիվ՝ նույն և նվազագույն հնարավոր բայթերով: Որոշեք 50 պետհամարանիշեր պահելու համար պահանջվող հիշողության ծավալը:

1) 100 բայթ 2) 150 բայթ 3) 200 բայթ 4) 250 բայթ

Լուծում... Թիվը կոդավորելու համար օգտագործվող նիշերի թիվն է՝ 30 տառ + 10 նիշ = 40 նիշ: Մեկ նիշ կրող տեղեկատվության քանակը 6 բիթ է (2I = 40, բայց տեղեկատվության քանակը չի կարող լինել կոտորակային թիվ, ուստի մենք վերցնում ենք երկուսի ամենամոտ հզորությունը մեծ թվով նիշերի 26 = 64):

Մենք գտանք յուրաքանչյուր նիշի մեջ պարունակվող տեղեկատվության քանակը, թվի նիշերի թիվը 5 է, հետևաբար, 5 * 6 = 30 բիթ: Յուրաքանչյուր թիվը հավասար է 30 բիթ տեղեկատվության, բայց ըստ խնդրի պայմանի՝ յուրաքանչյուր թիվ կոդավորված է նույն և նվազագույն հնարավոր բայթերով, հետևաբար, պետք է պարզել, թե քանի բայթ կա 30 բիթում։ Եթե ​​30-ը բաժանեք 8-ի, կստանաք կոտորակային թիվ, և մենք պետք է գտնենք բայթերի ամբողջ թիվ յուրաքանչյուր թվի համար, այնպես որ մենք գտնում ենք 8-ի ամենամոտ գործակիցը, որը կգերազանցի բիթերի թիվը, սա 4 է (8 * 4): = 32): Յուրաքանչյուր թիվ կոդավորված է 4 բայթով:

50 պետհամարանիշեր պահելու համար ձեզ հարկավոր է՝ 4 * 50 = 200 բայթ:

Օպտիմալ ռազմավարության ընտրություն «Գուշակիր թիվը» խաղում:«Գուշակիր համարը» խաղում օպտիմալ ռազմավարության ընտրությունը հիմնված է տեղեկատվության առավելագույն քանակի ստացման վրա, որում առաջին մասնակիցը կռահում է ամբողջ թիվ (օրինակ՝ 3) տվյալ միջակայքից (օրինակ՝ 1-ից 16-ը): ), իսկ երկրորդը պետք է «կռահի» բեղմնավորված թիվը։ Եթե ​​այս խաղը դիտարկենք տեղեկատվական տեսանկյունից, ապա երկրորդ մասնակցի համար գիտելիքների նախնական անորոշությունը 16 հնարավոր իրադարձություն է (մտածված թվերի տարբերակները)։

Օպտիմալ ռազմավարության դեպքում թվերի միջակայքը միշտ պետք է կրկնակի կրճատվի, այնուհետև ստացված ինտերվալներից յուրաքանչյուրում հնարավոր իրադարձությունների (թվերի) թիվը կլինի նույնը, իսկ միջակայքերը կռահելը հավասարապես հավանական է։ Այս դեպքում, յուրաքանչյուր քայլին, առաջին խաղացողի պատասխանը («Այո» կամ «Ոչ») կունենա առավելագույն քանակությամբ տեղեկատվություն (1 բիթ):

Ինչպես տեսնում եք աղյուսակից. 1.1, 3 թիվը գուշակելը տեղի ունեցավ չորս քայլով, որոնցից յուրաքանչյուրում երկրորդ մասնակցի գիտելիքների անորոշությունը կրկնակի կրճատվեց՝ առաջին մասնակցից 1 բիթ տեղեկատվություն պարունակող հաղորդագրություն ստանալու պատճառով: Այսպիսով, 16 թվերից մեկը գուշակելու համար պահանջվող տեղեկատվության քանակը 4 բիթ էր։

Թեստային հարցեր և առաջադրանքներ

1. Ապրիորի հայտնի է, որ գնդակը գտնվում է երեք կարասներից մեկում՝ A, B կամ C: Որոշեք, թե քանի բիթ տեղեկատվություն է պարունակում հաղորդագրությունը, որ այն գտնվում է B urn-ում:

Ընտրանքներն են. 1քիչ, 1,58քիչ, 2քիչ, 2,25քիչ.

2. Առաջին իրադարձության հավանականությունը 0,5 է, իսկ երկրորդի և երրորդի հավանականությունը՝ 0,25։ Ո՞րն է տեղեկատվական էնտրոպիան նման բաշխման համար: Ընտրանքներն են. 0,5քիչ, 1 քիչ, 1,5քիչ, 2քիչ, 2,5քիչ, 3քիչ.

3. Ահա որոշակի կազմակերպության աշխատակիցների ցանկը.

Որոշեք բացակայող տեղեկատվության քանակը՝ հետևյալ պահանջները կատարելու համար.

Խնդրում ենք զանգահարել Իվանովին հեռախոսով։

Ինձ հետաքրքրում է ձեր աշխատակիցներից մեկը, նա ծնվել է 1970թ.

4. Հաղորդագրություններից որն է ավելի շատ տեղեկատվություն.

· Մետաղադրամի նետման (գլուխներ, պոչեր) արդյունքում պոչեր են ընկել։

· Լուսացույցը (կարմիր, դեղին, կանաչ) այժմ կանաչ է:

· Մատյան նետելը (1, 2, 3, 4, 5, 6) հանգեցնում է 3 միավորի:

Ամենատարածված մոտեցումը տեղեկատվության միջին քանակությունը որոշելու համար, որը պարունակվում է շատ տարբեր բնույթի աղբյուրներից ստացված հաղորդագրություններում: Շենոնին։ Հաշվի առեք հետևյալ իրավիճակը.
Աղբյուրը փոխանցում է ատոմային ազդանշաններ կտարբեր տեսակների. Եկեք հետևենք ուղերձի բավականին երկար հատվածին. Թող պարունակի ՆԱռաջին տիպի 1 ազդանշան, ՆԵրկրորդ տիպի 2 ազդանշան, ..., Նկազդանշաններ կ-րդ տեսակ, և Ն 1 + Ն 2 + ... + Նկ = Ն- դիտարկվող հատվածում ազդանշանների ընդհանուր թիվը, զ 1, զ 2, ..., զկ- համապատասխան ազդանշանների հաճախականությունը. Քանի որ հաղորդագրության հատվածի երկարությունը մեծանում է, հաճախականություններից յուրաքանչյուրը ձգտում է ֆիքսված սահմանի, այսինքն.
լիմ զես = էջես, (ես = 1, 2, ..., կ),
որտեղ Ռեսկարելի է համարել ազդանշանի հավանականությունը։ Ենթադրենք ստացված ազդանշան ես-երորդ տեսակը հավանականությամբ Ռեսպարունակող - լոգ էջեստեղեկատվության միավորներ. Դիտարկվող հատվածում ես-երրորդ ազդանշանը կհանդիպի մոտավորապես Նպեսանգամ (մենք կենթադրենք, որ Նբավականաչափ մեծ է), և այս տեսակի ազդանշանների միջոցով ստացված ընդհանուր տեղեկատվությունը հավասար կլինի արտադրանքին Նպեսգերան Ռես... Նույնը վերաբերում է ցանկացած այլ տեսակի ազդանշանների, հետևաբար, հատվածի կողմից մատակարարվող տեղեկատվության ընդհանուր քանակին Նազդանշանները մոտավորապես հավասար կլինեն

Մեկ ազդանշանի համար տեղեկատվության միջին քանակությունը որոշելու համար, այսինքն. աղբյուրի կոնկրետ տեղեկատվական բովանդակություն, դուք պետք է բաժանեք այս թիվը Ն... Անսահմանափակ աճի դեպքում մոտավոր հավասարությունը վերածվում է ճշգրիտի։ Արդյունքում կստացվի ասիմպտոտիկ հարաբերություն՝ Շենոնի բանաձևը

Վերջերս այն ոչ պակաս տարածված է դարձել, քան հայտնի Էյնշտեյնի բանաձեւը Ե = mc 2. Պարզվեց, որ Հարթլիի առաջարկած բանաձեւը ավելի ընդհանուր Շենոնի բանաձեւի հատուկ դեպք է։ Եթե ​​Շենոնի բանաձեւում ընդունենք, որ
Ռ 1 = էջ 2 = ... = Ռես = ... =էջՆ = 1/Ն, ապա

Շենոնի բանաձեւում մինուս նշանը չի նշանակում, որ հաղորդագրության մեջ տեղեկատվության քանակը բացասական է։ Դա բացատրվում է նրանով, որ հավանականությունը Ռըստ սահմանման մեկից փոքր է, բայց զրոյից մեծ: Քանի որ մեկից փոքր թվի լոգարիթմը, այսինքն. գերան էջես- արժեքը բացասական է, ապա հավանականության և թվի լոգարիթմի արտադրյալը կլինի դրական:
Ի հավելումն այս բանաձևի՝ Շենոնն առաջարկեց հաղորդակցության վերացական սխեման, որը բաղկացած էր հինգ տարրերից (տեղեկատվության աղբյուր, հաղորդիչ, կապի գիծ, ​​ստացող և նպատակակետ), և ձևակերպեց թեորեմներ թողունակության, աղմուկի իմունիտետի, կոդավորման և այլնի վերաբերյալ։
Տեղեկատվության տեսության և դրա կիրառման զարգացման արդյունքում Շենոնի գաղափարները արագորեն տարածեցին իրենց ազդեցությունը գիտելիքի բազմազան ոլորտների վրա: Նկատվեց, որ Շենոնի բանաձևը շատ նման է ֆիզիկայում օգտագործվող էնտրոպիայի բանաձևին, որը ստացվել է Բոլցմանի կողմից։ Էնտրոպիան նշանակում է մոլեկուլային շարժման վիճակագրական ձևերի խանգարման աստիճանը։ Էնտրոպիան առավելագույնն է մոլեկուլային շարժման պարամետրերի (ուղղություն, արագություն և տարածական դիրք) հավասար հավանական բաշխման դեպքում: Էնտրոպիայի արժեքը նվազում է, եթե մոլեկուլների շարժումը պատվիրված է: Երբ շարժման կարգը մեծանում է, էնտրոպիան ձգտում է զրոյի (օրինակ, երբ հնարավոր է միայն մեկ արժեք և արագության ուղղություն): Ցանկացած հաղորդագրություն (տեքստ) կազմելիս, օգտագործելով էնտրոպիան, կարելի է բնութագրել սիմվոլների շարժման (փոխանցման) խանգարման աստիճանը։ Առավելագույն էնտրոպիա ունեցող տեքստը այբուբենի բոլոր տառերի հավասարապես հավանական բաշխված տեքստ է, այսինքն. տառերի անիմաստ փոփոխությամբ, օրինակ. Եթե ​​տեքստը կազմելիս հաշվի է առնվում տառերի իրական հավանականությունը, ապա այս կերպ ստացված «բառերում» կդիտարկվի տառերի շարժման որոշակի կարգ՝ կարգավորվող դրանց տեսքի հաճախականությամբ՝ EYT TSIYAA OKRV ODNT. LCHE MLOTSK ZYA ENV TSHA.
Հաշվի առնելով չորս տառերի համակցությունների հավանականությունը՝ տեքստն այնքան դասավորված է դառնում, որ որոշ ֆորմալ նշանների համաձայն այն իմաստավորվում է՝ ԵՐՋԱՆԻԿ Է ՀԵՌՆԵԼ ՉԱՌ ՉՈՐ ԵՎ ՆԵՊՈ ԵՎ ԿՈՐԿՈ։ Նման կարգուկանոնի պատճառն այս դեպքում տեքստերի վիճակագրական օրինաչափությունների մասին տեղեկություններն են։ Իմաստալից տեքստերում կարգը բնականաբար ավելի բարձր է։ Այսպիսով, ԱՐԻ ... ԳԱՐՈՒՆ արտահայտության մեջ մենք էլ ավելի շատ տեղեկություններ ունենք տառերի շարժման (այլափոխման) մասին։ Այսպիսով, տեքստից տեքստ ավելանում է կարգուկանոնը և տեքստի մասին մեր ունեցած տեղեկատվությունը, իսկ էնտրոպիան (անկարգության չափանիշը) նվազում է։
Օգտագործելով Շենոնի տեղեկատվության քանակի և Բոլցմանի էնտրոպիայի (տարբեր նշաններ) բանաձևերի տարբերությունը, Լ. Բրիլուենը բնութագրեց. տեղեկատվություն որպես բացասական էնտրոպիա, կամ նեգենտրոպիա. Քանի որ էնտրոպիան անկարգության չափանիշ է, ուրեմն տեղեկատվությունը կարող է սահմանվել որպես նյութական համակարգերի կարգի չափում .
Հաշվի առնելով այն, որ բանաձևերի արտաքին տեսքը նույնն է, կարելի է ենթադրել, որ ինֆորմացիա հասկացությունը ոչինչ չի ավելացնում էնտրոպիայի հայեցակարգին։ Այնուամենայնիվ, դա այդպես չէ: Եթե ​​էնտրոպիայի հասկացությունը նախկինում օգտագործվում էր միայն թերմոդինամիկական հավասարակշռության հակված համակարգերի համար, այսինքն. դրա բաղադրիչների շարժման առավելագույն անկարգություններին, էնտրոպիայի ավելացմանը տեղեկատվության հայեցակարգը ուշադրություն հրավիրեց այն համակարգերի վրա, որոնք չեն մեծացնում էնտրոպիան, այլ ընդհակառակը, գտնվելով էնտրոպիայի փոքր արժեքներով վիճակում, հակված են այն էլ ավելի նվազեցնելու:

Դժվար է գերագնահատել տեղեկատվության տեսության գաղափարների կարևորությունը գիտական ​​բազմազան ոլորտների զարգացման գործում:
Սակայն, ըստ Կ.Շենոնի, բոլոր չլուծված խնդիրները չեն կարող լուծվել այնպիսի կախարդական բառերի օգնությամբ, ինչպիսիք են «ինֆորմացիա», «էնտրոպիա», «ավելորդություն»։
Տեղեկատվության տեսությունը հիմնված է երևույթների հավանականության, վիճակագրական օրինաչափությունների վրա։ Այն ապահովում է օգտակար, բայց ոչ ունիվերսալ սարք: Հետեւաբար, շատ իրավիճակներ չեն տեղավորվում Շենոնի տեղեկատվական մոդելի մեջ: Միշտ չէ, որ հնարավոր է նախապես ստեղծել համակարգի բոլոր վիճակների ցանկը և հաշվարկել դրանց հավանականությունը: Բացի այդ, տեղեկատվության տեսության մեջ դիտարկվում է հաղորդագրության միայն ֆորմալ կողմը, մինչդեռ դրա իմաստը մի կողմ է մնում։ Օրինակ՝ ռադարային համակարգը վերահսկում է օդային տարածքը՝ թշնամու ինքնաթիռը հայտնաբերելու համար։ ՍՄոնիտորինգը կարող է լինել երկու պետություններից մեկում x 1 - կա թշնամի, x 2 - թշնամի չկա: Առաջին հաղորդագրության կարևորությունը հնարավոր չէ գնահատել՝ օգտագործելով հավանական մոտեցումը: Այս մոտեցումը և դրա վրա հիմնված տեղեկատվության քանակի չափումն արտահայտում են առաջին հերթին դրա փոխանցման «կառուցվածքային-շարահյուսական» կողմը, այսինքն. արտահայտել ազդանշանների փոխհարաբերությունները. Սակայն «հավանականություն», «անորոշություն» հասկացությունները, որոնց հետ կապված է ինֆորմացիա հասկացությունը, ենթադրում են ընտրության գործընթաց։ Այս գործընթացը կարող է իրականացվել միայն այն դեպքում, եթե կան բազմաթիվ հնարավորություններ: Առանց այս պայմանի, ինչպես կարելի է ենթադրել, տեղեկատվության փոխանցումն անհնար է։