Her sembolün konumunda herhangi bir alfabe simgesi olabilir. Bir M.; Bir mesaj sembolündeki bilgi miktarı, tüm alfabe karakterleriyle ilgili bilgilerin ortalama değerine eşittir. Bir M.:

Mesajda bulunan toplam bilgi miktarı n. Semboller:

Tüm alfabe karakterleri varsa Bir M. eşit olasılıkla görünür, o zaman hepsi p i \u003d p. Gibi Σr i \u003d 1T. p \u003d 1 / m.

Alfabenin tüm sembollerinin eşit olduğu durumdaki formül, formu alır.

Ben \u003d. n.*Günlüğü. 2 (m.).

Çıktı: shannon'un formülü, tüm alfabe karakterlerinin eşit şekilde geçiş yapıldıklarında, Hartley formülüne gider.

Genel durumda, keyfi bir sistemin entropisi h sayısı X. (rastgele değişken) içinde olabilecek m. Farklı eyaletler x 1, x 2, ... x m Olasılıkla p 1, p 2, ... p m Shannon formülü tarafından hesaplanan eşittir

Hatırlamak p 1 + p 2 + ... + p m \u003d 1. Eğer herkes p. Ben aynıyım, sonra tüm sistem durumu X. eşdeğer; bu durumda p i \u003d 1 / mve formül Hartley formülüne gider: H (x) \u003d log 2 (m).

Yorum Yap.Sistemin entropisi sayısı (rastgele değişken) H. Özel olarak hangi durumlara bağlı değildir x 1, x 2, ... x m bir sistem olabilir, ancak sayıya bağlıdır m. Bu durumlar ve olasılık p 1, p 2, ... p m Bu durumlarda sistemin hangi durumlarda olabileceği. Bu, devlet sayısının eşit olduğu ve bu devletlerin olasılığı olduğu anlamına gelir. p 1, p 2, ... p m Eşit (şanzıman sırasının doğruluğu ile), eşit entropiye sahip olun.

Teorem.Maksimum entropi H (x) Sistemin tüm durumlarının eşit derecede eşit olduğu durumlarda elde edilir. Bu demektir

X sistemi sadece bir durum olabilirse ( m \u003d 1.), sonra entropisi eşittir sıfır.

Sadece iki eyalete girebilecek bir sistemi düşünün. x1 ve x2 Olasılıkla pl ve p2.:

Böyle bir sistemin entropisi sayısı eşittir

H (x) \u003d - (1/2 * log 2 (1/2) + 1/2 * log 2 (1/2)) \u003d -Log 2 (1/2) \u003d log 2 (2) \u003d 1

Bu miktar entropi ölçümü (bilgi) birim başına alınır ve denir 1 bit (1 bit).

Bir fonksiyon düşünün

h (x) \u003d - (x * log 2 (x) + (L-X) * Günlük 2 (L-X)))

Tanımının alanı - aralık (0 ;1) , LIM H (x) \u003d 0 için h.-\u003e 0ILI h.-> 1.

Bu özelliğin takvimi resimde gösterilmiştir:

Program fonksiyonu h (x) \u003d - (x * log 2 (x) + (l - x) * log 2 (l - x))

X üzerinden belirlerseniz p 1, fakat (1-x) vasıtasıyla p 2.T. p 1 + p 2 \u003d 1; p1, p 2 î (0; 1), h (x) \u003d H (p 1, p 2) \u003d - (P 1 * Günlük 2 (p 1) + (p 2) * Günlük 2 (p 2)) - İki eyalette entropi sistemi; maksimum H. ulaşıldı p 1 \u003d P 2 \u003d 0.5.

Aşağıdaki görevleri çözerken H (x) grafiği kullanılabilir:

Görev 1. Her biri olasılıkla iki değer alan X, Y, Z'nin üç rastgele değişken vardır:

1. p (x \u003d x1) \u003d 0.5; P (x \u003d x2) \u003d 0.5;

2. p (y \u003d y1) \u003d 0.2; P (y \u003d y2) \u003d 0.8;

3. p (z \u003d z1) \u003d 0.3; P (z \u003d z2) \u003d 0.7.

P (x \u003d x1) \u003d 0.5 kayıt, rasgele değerin X1 değerini 0,5 olasılıkla aldığı anlamına gelir. Bu sistemlerin entropisini artan sırada düzenlemek gerekir.

Karar.

Entropi H (x) 1'e eşittir ve en büyük olacaktır;

Entropi H (Y), X \u003d 0.2, yani x \u003d 0.2'de H (x), () işlevinin değerine eşittir. H (y) \u003d h (0.2);

Entropi H (Z) \u003d H (0.3). G grafiğine göre (x), H (0.2) olduğu tespit edilebilir.< h(0.3). Следовательно, H(Y) < H(Z) < H(X).

Not 1. Sistemin entropisi, devletlerinin olasılıkları arasındaki birbirlerinden daha az fark daha yüksektir.

Buna dayanarak, h (y)< H(Z).

Örneğin, üç durumla x ve y için olasılıklar varsa: x (0.4; 0.3; 0.3) için, Y (0.1; 0.1; 0.8) için, X sisteminin belirsizliğinin belirsizlikten daha büyük olduğu açıktır. Y sisteminin: ikincisi, muhtemel durumun, olasılığı 0,8 olan durum uygulanacaktır.

Entropi H (x), sistem belirsizliğinin derecesini karakterize eder. Bilgi sistemi hakkında alınan bilgi miktarı, sistem hakkında daha fazla bilgi ve durumu daha az belirsiz olanı, bilgilerin alıcısı için olacaktır.

Bilgi aldıktan sonra sistemin entropisi sıfıra eşit olursa, bu belirsizliğin ortadan kalktığı anlamına gelir, tüm entropi "geçti". Bu durumda, X sistemiyle ilgili tam bilgilerin elde edildiği söylenir. Fiziksel sistemin durumunun tam netleşmesiyle elde edilen bilgi miktarı bu sistemin entropisine eşittir.

Belirli bir mesaj aldıktan sonra, X sisteminin belirsizliği daha az hale geldi, ancak hiç kaybolmadı, mesajda yer alan bilgi miktarı entropinin artışına eşittir:

I \u003d H1 (x) - H2 (x),

buradaki H1 (x) ve H2 (x), sırasıyla mesajdan önce ve sonra sistemin entropisidir. H2 (x) \u003d 0 ise, sistem belirsizliğinin ölçüsü sıfırdır ve sistem hakkında tam bilgi elde edildi.

Misal. Bir oyun küpüne düşen puan sayısını tahmin etmek istiyorsunuz. Nokta sayısının düştüğünü bir mesaj aldınız. Bu mesajın ne kadar bilgi içeriyor?

Karar. Entropi sistemi "Küp oynamak" H1.eşit Günlük 2 6.Çünkü Küp rastgele altı alabilir mümkündevletler (1, 2, 3, 4, 5, 6). Alınan mesaj, olası durumların sayısını üçe kadar azaltır: (2, 4, 6), yani Entropi sistemi şimdi eşit H2 \u003d Günlük 2 3. Entropinin artışı, elde edilen bilgi sayısına eşittir I \u003d H1 - H2 \u003d LOG 2 6 - LOG 2 3 \u003d LOG 2 2 \u003d 1 bit.

Demonte bir görev örneğinde, birim birimin ortak tanımlarından biri açıklanabilir - 1 bit: 1 bit, sistem durumunun belirsizliğini iki kez azaltan bir dizi bilgidir.

Ayrık sistemin belirsizliği, Eyaletlerinin sayısına bağlıdır.

Bilgi almadan önce entropi H1 \u003d log 2 n. Bilgi aldıktan sonra, belirsizlik iki kez azalırsa, bu durumlar, N / 2'ye eşit olduğu ve entropi H2 \u003d log 2 n / 2'ye eşit olduğu anlamına gelir. Alınan bilgi sayısı I \u003d H1-H2 \u003d log 2 n - log 2 n / 2 \u003d log 2 2 \u003d 1 bit.

Shannon ve Hartley formülünün kullanımında çeşitli görevleri göz önünde bulundurun.

Görev 2.4 eyaletten rastgele olan sistemin entropisi şunlardır: a) 3; b) 2.1 c) 1.9 g) 1; d) 0.3? Açıklamak için cevap.

Karar.Sistemin entropisinin 4 eyalette mümkün olan maksimum değeri, tüm devletlerin eşit olduğunda duruma ulaşır. Hartley formülüne göre bu değer, günlük 2 4 \u003d 2 bit'e eşittir. Diğer tüm durumlarda, sistemin 4 eyalette entropi 2'den az olacaktır. Sonuç olarak, yukarıda listelenenlere entropinin olası değerleri 1.9, 1, 0.3 değerleri olabilir.

Görev 3.H (x) \u003d -x * log 2 (x) işlevi ayarlanmıştır - (1-x) * Günlük 2 (1-x). Aşağıdaki değerleri artan sıraya yerleştirin: H (0.9), H (0.85), H (0.45), H (0.2), H (0.15).

Karar.İşlevin grafiğini kullanın (3.5). En yüksek değer H (0.45), en küçük değer - H (0.9), daha sonra H (0.15) ve H (0.85) \u003d H (0.15) değerleri artan olacaktır; H (0.2). Cevap: H (0.9)< H(0.15)=H(0.85)< H(0.2) < H(0.45). É

Görev 4.Mesajlar bağlantının üzerinden iletilir: a) "start_b_10"; b) loancha_1_v0. Birinci ve ikinci mesajdaki bilgi miktarını karşılaştırın.

Karar.Birinci ve ikinci mesaj aynı karakterlerden oluşur: İkincisi, bu karakterlerin permütasyonunun bir sonucu olarak birincisinden elde edilir. Schannon'un formülüne uygun olarak, bu mesajlar aynı miktarda bilgiyi içerir. Aynı zamanda, ilk mesaj anlamlı bilgileri getirir ve ikincisi basit bir karakter kümesidir. Bununla birlikte, bu durumda, ikinci mesajın birinci'nin bir "şifreli" bir seçenek olduğunu ve bu nedenle her iki mesajdaki bilgi miktarının aynı olduğunu söyleyebiliriz.

Görev 5.Üç farklı mesaj A, B, C elde edilir:

A \u003d "O'clock'a varış"; B \u003d "on saatte varış sıfır dakikalar"; C \u003d "tam olarak on var." Schannon Entropy yaklaşımını kullanarak, bu mesajlarda yer alan bilgi miktarını karşılaştırın.

Karar.A, B, C'den I (a), i (b), i (c) mesajlarındaki bilgi miktarını sırasıyla belirtir. "İçerik" anlamında, bu mesajlar tamamen aynıdır, ancak aynı içerik, farklı sayıda karakter kullanılarak ifade edilir. Bu durumda, A mesajının tüm sembolleri B ve C mesajında \u200b\u200bbulunur, C \u003d A + "tam", B \u003d A + "sıfır dakika" mesajı; Shannon'un yaklaşımına uygun olarak, biz (a)< I(C) < I(B).

Dünyamız üç bileşene dayanmaktadır: madde, enerji ve bilgi. Maddeler, enerji ve bilgi dünyasında kaç kişi? Onları ölçmek mümkün mü ve tam olarak nasıl? Madde ve enerji miktarını nasıl ölçeceğinizi biliyoruz. Peki ya bilgi hakkında? Ölçmek mümkün mü?

Daha önce bilgi sayısının değerlendirilmesinde birkaç yaklaşım olduğu belirtildi. Şimdi onlardan birinde ayrıntılı olarak kalacağız.

İnsan bilgisini doldurup, yani, yani herhangi bir mesaj bilgilendirici olacaktır. Bilginin belirsizliğini azaltır.

İnkar Etkinlikler

Örnek 1.

Örneğin, bir jeton atarken, hangi tarafın düşeceğini tahmin etmeye çalışıyoruz. Sonuç seçeneklerinden biri mümkündür: madalyon "kartal" veya "acele" konumunda olacaktır. Bu iki olayın her biri eşdeğer olacak, yani, hiçbiri başkalarına avantaja sahip değildir. Bir jeton atmadan önce, kimsenin nasıl düştüğünü bilemez, yani. Bilgi belirsizliği var. Etkinliğin oluşmasından sonra, aksine, tam bir kesinlik vardır, çünkü atma, bir madalyonun konumu hakkında görsel bir mesaj aldıktan sonra, iki denge olayından biri olan, bilginin belirsizliğini iki kez azaltır. meydana geldi.

Örnek 2.

Başka bir örnek, altıgen küpü olan bir durumdur, yani. Atıştan önce, kimse hangi tarafı düşeceğini bilemez. Bu durumda, altı eşdeğerinin bir sonucu elde etme fırsatı var. Dolayısıyla, atma bilgisinin belirsizliğini atmadan önce, atmadan sonra 6'ya eşit olacak, tam olarak 6 kez azalacak, çünkü oluşabilecek 6 eşdeğer olaydır.

Örnek 3.

Sınav için 40 biletin hazırladığı bir örneği düşünün. Bilet çekerken gerçekleşecek olayların olasılığı 40'a eşit olacaktır. Ve bu olaylar eşit olacaktır. Aynı zamanda, öğrencinin bilet seçiminden önce bilgisinin belirsizliği 40'a eşit olacaktır. Bu göstergenin uzun biletin sayısına bağlı olup olmadığını soralım. Hayır, olaylar eşit olduğundan).

Yukarıda tartışılan tüm örnekleri analiz ettikten sonra, olası eşdeğer olayların ilk sayısının ne kadar büyük olması, bilgi belirsizliğinin ne kadar zaman azaldığı ve daha fazla bilgi deneme raporunda bulunacak olduğu sonucuna varılabilir.

Dengesiz olmayan olaylar

Örnek olarak konuşulan bir dil olarak düşünün. Tüm işbirlikçi dillerde, bazı harflerin diğerlerinden çok daha sık gerçekleştiğini gösteren kanıtlanmış araştırmanın gerçeklerine dönüyoruz. Araştırma sonuçları, farklı işbirlikçi dillerde 1.000 doların farklı bir tekrarlama sayısını hesaba kattığını doğrular. Tablodaki örnekler, Rusça ve İngilizce'de bazı harfler sunar:

Resim 1.

Ek olarak, bireysel harflerin görünümünün olasılığı, önlerinde hangi harflerin kullanıldığına bağlı olacaktır. Öyleyse, bir sesli harften sonra Rusça, yumuşak bir işaret asla dayanamaz, kelimelerle ve ayrıca dört ünlüler kullanılmaz, vb. Sözlü diller, bir kural olarak, kendi özellikleri ve kalıplarıdır. Bu nedenle, herhangi bir konuşma dilinin mesajlarında yer alan bilgilerin miktarı, bilgi değerlendirmesine alfabetik bir yaklaşımda kullanılan ve eşdeğer olaylara sahip örneklerin karakteristiği olan Hartley Formula kullanılarak değerlendirilmesi kabul edilemez. ).

Örneğin, "Savaş ve Barış" nın veya büyük İtalyan sanatçılarının freskleri ve tuvalinin veya insan genetik kodunun metnini ne kadar bilgi içeriyor? Bu soruların cevapları ve benzeri bilime henüz bilinmemektedir ve her şeye göre, yakında bilinmeyecektir. Ancak, herkes ilgileniyor, bilgi miktarını nesnel olarak değerlendirmeniz mümkün müdür? Bu türün görevi aşağıdaki örneği içerir.

Eşdeğer mesajların "binadan önce çıkacağı" ve "ilk binadan çıkacak" ve nasıl öğrenilir? Bu soruya açık bir cevap yok. Her şey ne tür bir binanın konuşacağına bağlı olacaktır. Bu, örneğin, jinekolojik kliniğin binası, daha sonra ilk kadını alma olasılığı çok yüksektir, eğer bir askeri kışlalarsa, bir erkek için önce dışarı çıkma olasılığı bir kadından daha yüksek olacaktır. , ancak bu bir sinema binası ise, ilk önce bir erkek için olasılıklar çıkıyor ve kadınlar aynı olacak.

Bilgi sayısının değerlendirilmesi. Formula Shannon

Bu tür sorunları çözmek için, Amerikan bilimcileri tarafından önerilen bilgi sayısının toplam değerlendirmesi kullanılır. 1948'de Claude Shannon Bilgi sayısını belirlemek için formül tarafından oluşturulur, sette bulunan mesajların olası eşitsiz olasılık olasılığını göz önünde bulundurabilir. Matematik ve hidrodinamikte kullanılan formülü oluştururken Shannon belirsizlik olasılık ölçüsü (entropi olarak adlandırılır), sistemin durumunu tam olarak tahmin etmek ve bu sistemdeki süreçler hakkında mümkün olan en yüksek bilgileri elde etmek için. Bilgi sayısının bu değerlendirmesi esasen olasılık ölçüsüve, ve belirsizliğin bir değerlendirmesi olarak, herhangi bir kaynağın tüm yeni ve yeni durumları göstermesi ve böylece bilgi vermesini yansıtmaktadır.

Tanım 1.

Shannon tanımlandı entropi. Sistemin olası durumlarının birçok olasılıkının ortalama bir logaritmik işlevi olarak (olası deneyimin sonuçları). Entropiyi hesaplamak için Shannon aşağıdaki denklemi önerdi:

$ H \u003d - (P_1LOG_2P_1 + P_2LOG_2P_2 + ... + P_NLOG_2P_N) $

$ P_I $, $ N $ etkinliklerinde bir dizi etkinlikte $-} olayın olasılığı olasılığıdır.

Daha sonra, deneyim sonucu elde edilen bilgi miktarı, sistemin entropisi ($ H_0 $) ve sonrasında ($ H_1 $) deneyiminin arasındaki farkın dışında olmayacaktır:

dahası, eğer deneyimin bir sonucu olarak belirsizlik tamamen hariç tutulursa, biz var:

$ İ \u003d \\ sigma (p_ilog_2p_i), i \u003d 1, \\ dots, n $.

Pratikte bu kanal teorisinin kullanımını onaylayan bir örneği düşünün.

Örnek 4.

Pescari ve levrek gölde yaşıyor. Her popülasyondaki birey sayısını hesapladı (Pescase - 1,500 $ $ ve levrek - 500 $). Balıkçının Kum, Levrek, Genel Balık'ta yakaladığı raporlarda ne kadar bilginin bulunduğunu belirlemek gerekir mi?

Karar. Göldeki diples pescare'den çok daha az yaşadığı için PESCAR veya levreklerin yakalanmasının olayları eşit değildir.

Toplam pescase sayısı ve gölde yaşayan levrek sayısı:

$1500 + 500 = 2000$.

Pescar Catch olasılığını tanımlıyoruz:

$ p_1 \u003d \\ frac (1500) (2000) \u003d 0.75 $,

Perch yakalamanın olasılığını tanımlarız:

$ P_2 - \\ Frac (500) (2000) \u003d 0.25 $.

$ İ_1 \u003d log_2 (\\ frac (1) (p_1)), i_1 \u003d log_2 (\\ frac (1) (p_2) $

nerede $ i_1 $ ve $ i_2, sırasıyla kum yakalaması ve levrek olasılığıdır.

Mezuniyet mesajında \u200b\u200byer alan bilgi miktarı:

$ İ_1 \u003d log_2 (\\ frac (1) (0.75)) "0.43 $ bit,

Levrek levbirinde yer alan bilgi miktarı:

$ İ_2 \u003d log_2 (\\ frac (1) (0.25)) »2 $ bit.

Balıkların yakalanması (Crucian veya levrek) ile ilgili mesajda yer alan bilgi miktarı Shannon'un formülü ile hesaplanır:

$ İ \u003d - P_1LOG_2P_1 - P_2LOG_2P_2 $

$ İ \u003d -0.75 \\ CDOT LOG_20,75-0.25 \\ CDOT LOG_20,25 \u003d -0.75 \\ CDOT (\\ Frac (log0,75) (log2)) - 0.25 \\ CDOT (\\ Frac (log0.25) (log2)) \u003d 0.604 bit "0.6 $ bit.

Cevap: Mesaj, 0,6 $ $ bit bilgisi içeriyor.

Claud Shannon, Amerikan Mühendisi ve Matematik işlerinde alınan bilgi teorisinin daha da gelişmesi (1916 - 2001). Shannon, matematiksel bilgi teorisinin yaratıcısından biridir. Ana işleri, röle temas şemaları, matematiksel iletişim teorisi, sibernetik teorisine adanmıştır. K. Shannon, telgraf, telefon veya yayındaki elektromanyetik salınımların sinyalleri biçiminde bilgi aktarım sorunlarını inceledi. K. Shannon'un önüne koyduğu görevlerden biri, bilgi transferinin hızını ve doğruluğunu optimize etmenizi sağlayan kodlama sistemini belirlemek idi. Savaş yıllarında, şifreleme sistemlerinin geliştirilmesinde nişanlandığı şifreleme bölümünde görev yaptı, daha sonra hata düzeltmesi ile kodlama yöntemlerini açmasına yardımcı oldu. Çalışmalarında, 1948-1949, K. Shannon, entropi içindeki bilgi miktarını - termodinamik ve istatistiksel fizikte bilinen miktar, sistem bozukluğunun bir ölçüsü olarak ve daha sonra ne olduğunu kabul edilen bilgi sayısının birimi olarak tanımladı. bit olarak adlandırılır (bit).

Daha fazla sunum için, bazı olasılık teorisi kavramlarını kullanmak gerekir: rastgele bir olay, deneyim, bir olayın olasılığı, rastgele bir değer. Çevremizdeki dünyada, çeşitli etkinlikler ortaya çıkıyor ve sezgisel olarak deneyime dayanabiliriz, bazılarını diğerlerinden daha mümkün olduğunca değerlendirebilir. Rastgele, belirli bir test, deneyim veya deneyin sonucu olarak ortaya çıkabilecek bir olay denir. Büyük harflerle A, B, CTS vb. Olayları belirtiriz. Bazı olayın oluşma olasılığının nicel ölçüsü olasılık olması muhtemeldir ve İngilizce olasılıktan ASP (A), P-'sine atıfta bulunur. Rastgele bir olayın ortaya çıkması, olasılığı ne kadar büyükse, olasılığı arttırır: eğer muhtemelen belki ise, sonra p (a)\u003e p (b). Güvenilir bir etkinlik kavramı tanıtıldı - gelecek bir olay. Bu olay, olasılığının () \u003d 1 olduğuna inantığına inanıyor. Asla olmayacak bir olayı çağırmak imkansız. Onun belirtiği, olasılığının () \u003d 0 olduğuna inanıyor. Diğer tüm olayların olasılıkları için eşitsizlik ()< p(A)

Olaylar için, miktar ve iş kavramı tanıtılır. A + B olaylarının toplamı, A veya B olayının oluşumunda oluşan bir olaydır. Olayların çalışması A * B, A ve B. AIB olaylarının eşzamanlı olarak oluşmasından oluşur. tamamlanmamışBir test sonucu bir araya gelemezlerse. Eksik olayların tutarı olasılığı, olasılıklarının toplamına eşittir. A ve eksik etkinliklerde ise, p (a + b) \u003d p (a) + p (b).

Olaylar A1, A2, A3, ... Dönüştürme tam grupEğer, deneyimin bir sonucu olarak, en az biri gelecek. Olaylar A1, A2, A3, ... öfkeli ise anlaşılmaz ve eksiksiz bir grup oluşturur, ardından olasılıklarının toplamı P1 + P2 + P3 + ... .PN \u003d 1. Ayrıca eşit olarak eşitlerse, her birinin olasılığı \u003d 1 / n'ye eşittir, olayların sayısını nereye eşittir. Olasılıketkinlikler, toplam çıktının sayısındaki uygun deneyim olaylarının sayısının oranı olarak tanımlanmaktadır. Sıklıkolaylar olasılığının ampirik bir yaklaşımıdır. Etkinliğin toplam deney sayısına geldiği deney sayısının bir tutumu olarak bir dizi deneyin bir sonucu olarak hesaplanır. Çok sayıda deney (test) ile, olay sıklığı olasılığına bağlıdır.

K. Shannon, R. Hartley'in yaklaşımını kullanarak, sözlü mesajları iletirken, çeşitli alfabe harflerini kullanmanın frekansı (olasılık) olduğu gerçeğine dikkat çekti: Bazı harfler çok sık kullanılmaktadır, diğerleri nadirdir.

ISMS'den oluşan bir m alfabesini düşünün. I-inci sembolünün görünümünün (frekansı), N karakterlerinden oluşan iletilen mesajın herhangi bir konumunda görünürlüğüne göre belirtir. Alfabenin bir ima sembolü, -Log 2 (p i) 'e eşit bilgi miktarını taşır. Logaritma maliyetinden önce "eksi", çünkü bilgi miktarı negatif değildir ve günlük 2 (x)<0 при 0

Her sembolün yerine alfabenin herhangi bir karakteri olabilir; Bir mesaj sembolündeki bilgi miktarı, bir M'nin tüm alfabe karakterleriyle ilgili bilgilerin ortalama değerine eşittir:

N karakterlerden mesajda bulunan toplam bilgi sayısı:

(3.2)

Alfabenin tüm karakterleri bir m eşit bir olasılıkla görünürse, o zaman tüm p i \u003d s. Öyleyse prob i \u003d 1, sonra p \u003d 1 / m.

Tüm alfabe karakterlerinin eşit olduğu durumlarda formül (3.2)

Sonuç: Tüm alfabe sembollerinin Hartley formülüne (2.2) eşit olarak eşit olduğu durumlarda Shannon Formül (3.2).

Genel durumda, HPC sisteminin (rasgele değişkeninin) entropinin sayısı X 1, X2, ... XM, P 1, P 2'ye dönüşür, ... PM, Shannon Formula tarafından hesaplanan, eşit

(3.3)

P 1 + p2 + ... + p m \u003d 1'i hatırlayın. Tüm p i aynı ise, X sistemin tüm durumları eşit derecede eşittir; Bu durumda, p i \u003d 1 / m ve Formül (3.3) Hartley Formülüne (2.5) girer: H (x) \u003d log 2 (m).

Yorum Yap.Sistemin entropisi sayısı (rastgele değişken) X, özellikle X 1, X2, ... XM'nin sistem olabileceğine bağlı değildir, ancak durumların sayısına ve P1, P2, P2, P2,. .. PM, hangi sistemin bu durumlarda olabileceği. Bu, durumların sayısının eşit olduğu ve bu durumların Pı, P2, ... P M'nin olasılıkları (listenin sırasının doğruluğu ile) eşit entropiye sahip olduğu anlamına gelir.

Teorem.Sistemin tüm durumları eşit derecede eşit olduğunda, maksimum entropi H (X) elde edilir. Bu demektir

(3.4)

X sistemi yalnızca bir durumda (m \u003d 1) olabilirse, entropisi sıfırdır. P1 ve P1 olasılıklarıyla sadece X1 ve X2'yi yalnızca X1 ve X2'yi alabilen sistemi düşünün:

Böyle bir sistemin entropisi sayısı eşittir

H (x) \u003d - (1/2 * log 2 (1/2) + 1/2 * log 2 (1/2)) \u003d -Log 2 (1/2) \u003d log 2 (2) \u003d 1

Bu miktar, entropi (bilgi) bir ölçüm birimi olarak alınır ve 1 bit (1 bit) olarak adlandırılır.

Bir fonksiyon düşünün

h (x) \u003d - (x * log 2 (x) + (1-x) * Günlük 2 (1-x)). (3.5)

Tanımının alanı (0; 1), LIMH (x) \u003d 0, X0 veya 1 arasındadır. Bu fonksiyonun programı Şekilde gösterilmiştir:

İncir. 4. İşlev Programı (3.5)

X ile p 1, A (1-X) ile P2, üst 1 + p 2 \u003d 1; P1, P 2  (0; 1), H (x) \u003d H (P 1, P 2) belirlerseniz ) \u003d - (P 1 * Günlük 2 (P 1) + (p 2) * Günlük 2 (p 2)) - İki eyalette bir sistemin entropisi; Maksimum H, 1 \u003d p 2 \u003d 0.5 ile elde edilir.

Aşağıdaki görevleri çözerken H (x) grafiği kullanılabilir:

Görev 1. Her biri olasılıkla iki değer alan üç rastgele değişken X, Y, Z verilir:

P (x \u003d x1) \u003d 0.5; P (x \u003d x2) \u003d 0.5;

P (y \u003d y1) \u003d 0.2; p (y \u003d y2) \u003d 0.8;

P (z \u003d z1) \u003d 0.3; P (z \u003d z2) \u003d 0.7.

P (x \u003d x1) \u003d 0.5 kayıt, rasgele değerin X1 değerini 0,5 olasılıkla aldığı anlamına gelir. Bu sistemlerin entropisini artan sırada düzenlemek gerekir.

Karar. Entropi H (x) 1'e eşittir ve en büyük olacaktır; Entropi H (Y), H (x) fonksiyonunun değerine eşittir, bakınız (3.5), ATX \u003d 0.2, I.E.H (Y) \u003d H (0.2); Entropyh (z) \u003d H (0.3). G grafiğine göre (x), H (0.2) olduğu tespit edilebilir.< h(0.3). Следовательно, H(Y) < H(Z) < H(X).

Not 1.Sistemin entropisi, devletlerinin olasılıkları arasındaki birbirlerinden daha az fark daha yüksektir. Buna dayanarak, h (y)< H(Z). Например, если для систем X и Y с тремя состояниями заданы вероятности: дляX{0.4; 0.3; 0.3}, дляY{0.1; 0.1; 0.8}, то очевидно, что неопределённость системыXбольше, чем неопределённость системыY: у последней, скорее всего, будет реализовано состояние, вероятность которого равна 0.8 .

Entropi H (x), sistem belirsizliğinin derecesini karakterize eder. Bilgi sistemi hakkında alınan bilgi miktarı, sistem hakkında daha fazla bilgi ve durumu daha az belirsiz olanı, bilgilerin alıcısı için olacaktır.

Bilgi aldıktan sonra sistemin entropisi sıfıra eşit olursa, bu belirsizliğin ortadan kalktığı anlamına gelir, tüm entropi "geçti". Bu durumda, X sistemiyle ilgili tam bilgilerin elde edildiği söylenir. Fiziksel sistemin tam netleştirilmesiyle edinilen bilgi sayısı, bu sistemin entropisine eşittir.

Belli bir mesaj aldıktan sonra, sistemin belirsizliği daha az, ancak hiç kaybolmadı, mesajda yer alan bilgi miktarı entropinin artışına eşittir:

I \u003d H1 (x) - H2 (x), (3.6)

buradaki H1 (x) ve H2 (x), sırasıyla mesajdan önce ve sonra sistemin entropisidir. H2 (x) \u003d 0 ise, sistem belirsizliğinin ölçüsü sıfırdır ve sistem hakkında tam bilgi elde edildi.

Misal. Bir oyun küpüne düşen puan sayısını tahmin etmek istiyorsunuz. Nokta sayısının düştüğünü bir mesaj aldınız. Bu mesajın ne kadar bilgi içeriyor?

Karar. "Küp Oynama" Sisteminin H1'in entropisi, Günlük 2 6'ya eşittir, çünkü Küp rastgele altı alabilir mümkündevletler (1, 2, 3, 4, 5, 6). Alınan mesaj, olası durumların sayısını üçe kadar azaltır: (2, 4, 6), yani Sistemin entropisi şimdi H2 \u003d log 2'ye eşittir. 3. Entropinin artışı, elde edilen bilgi sayısına eşittir I \u003d H1 - H2 \u003d log 2 6 - LOG 2 3 \u003d LOG 2 2 \u003d 1BIT.

Demonte bir görev örneğinde, birim birimin ortak tanımlarından biri açıklanabilir - 1 bit: 1 bit, sistem durumunun belirsizliğini iki kez düşüren bilgi miktarıdır.Ayrık sistemin belirsizliği, devletlerinin sayısına bağlıdır. Bilgi almadan önce entropi \u003d log 2 N. Bilgi aldıktan sonra, belirsizlik iki kez azalırsa, bu, durumların sayısının Ton / 2'ye eşit olduğu ve entropyh2 \u003d log 2 n / 2 olduğu anlamına gelir. Alınan bilgi sayısı \u003d H1 -H2 \u003d log 2 n-log 2 n / 2 \u003d log 2 2 \u003d 1 bit.

Shannon ve Hartley formülünün kullanımında çeşitli görevleri göz önünde bulundurun.

Görev 2.4 eyaletten rastgele olan sistemin entropisi şunlardır: a) 3; b) 2.1 c) 1.9 g) 1; d) 0.3? Açıklamak için cevap.

Karar.Sistemin entropisinin 4 eyalette mümkün olan maksimum değeri, tüm devletlerin eşit olduğunda duruma ulaşır. Hartley formülüne göre bu değer eşit tolog 2 4 \u003d 2 bittir. Diğer tüm durumlarda, sistemin 4 eyalette entropi 2'den az olacaktır. Sonuç olarak, yukarıda listelenenlere entropinin olası değerleri 1.9, 1, 0.3. değerleri olabilir.

Görev 3.İşlev ayarlandı (x) \u003d -x * log 2 (x) - (1-x) * Günlük 2 (1-x). Aşağıdaki değerleri artan sıraya yerleştirin: H (0.9), H (0.85), H (0.45), H (0.2), H (0.15).

Karar.İşlevin grafiğini kullanın (3.5). En yüksek değer H (0.45) olacak, en küçük değer - H (0.9), daha sonra yükselen değerler geçerlidir (0.15) ICH (0.85) \u003d H (0.15); H (0.2). Cevap: H (0.9)

Görev 4.Mesajlar bağlantının üzerinden iletilir: a) "start_b_10"; b) "loancha_1_v0". Birinci ve ikinci mesajdaki bilgi miktarını karşılaştırın.

Karar.Birinci ve ikinci mesaj aynı karakterlerden oluşur: İkincisi, bu karakterlerin permütasyonunun bir sonucu olarak birincisinden elde edilir. Schannon'un formülüne uygun olarak, bu mesajlar aynı miktarda bilgiyi içerir. Aynı zamanda, ilk mesaj anlamlı bilgileri getirir ve ikincisi basit bir karakter kümesidir. Bununla birlikte, bu durumda, ikinci mesajın birinci'nin bir "şifreli" bir seçenek olduğunu ve bu nedenle her iki mesajdaki bilgi miktarının aynı olduğunu söyleyebiliriz.

Görev 5.Üç farklı yayın elde edilir, b, c:

A \u003d "O'clock on 'da varış"; B \u003d "on saatte varış sıfır dakikalar"; c \u003d "varış tam olarak saat on." Schannon Entropy yaklaşımını kullanarak, bu mesajlarda yer alan bilgi miktarını karşılaştırın.

Karar.A, B, C arası (a), i (b), i (c) mesajlarındaki bilgi miktarını sırasıyla belirtir. "İçerik" anlamında, bu mesajlar tamamen aynıdır, ancak aynı içerik, farklı sayıda karakter kullanılarak ifade edilir. Bu durumda, A mesajının tüm sembolleri B ve C mesajında \u200b\u200bbulunur, C \u003d A + "tam", B \u003d A + "sıfır dakika" mesajı; Shannon'un yaklaşımına uygun olarak, biz (a)< I(C) < I(B).

Amerikan mühendisi R. Hartley 1928'de belirli bir setin son alternasyonundan bir mesaj seçimi olarak kabul edilme süreci N. eşdeğer mesajlar ve bilgi miktarı BEN.İkili logaritma olarak tanımlanan seçilen mesajda bulunur N. .

Formula Hartley:

I \u003d log2. N.

Diyelim ki, bir dizi sayıdan bir diziden yüze kadar tahmin etmeniz gerekiyor. Hartley formülüne göre, bunun için ne kadar bilgi gerektiğini hesaplayabilirsiniz: i \u003d log2100\u003e 6,644. Böylece, doğru tahmin edilen numara hakkındaki mesaj, yaklaşık 6.644 bilgiye eşit olan bilgi miktarını içerir.

Başkalarına veriyoruz eşdeğer mesajların örnekleri:

1. Paraları atarken: "Rusk düştü", "Kartal düştü";

2. Kitap sayfasında: "Harflerin sayısı açık", "Harflerin harflerinin sayısı".

Şimdi tanımlıyoruz eşdeğer mesajlardır "İlk önce binanın kapısından çıkacak. ve "İlk önce bir adamın kapısından çıkacak". Açıkça bu soruyu cevaplayamıyor. Hepsi ne tür bir binanın bahsediyoruz? Bu, örneğin, metro istasyonu ise, kapılardan çıkma olasılığı, bir erkek ve bir kadın için ilk olanıdır ve bir askeri kışlalar ise, o zaman bir erkek için bu olasılık için önemli ölçüde daha yüksek bir kadın.

Bu tür bir Amerikan bilimcisinin görevleri için Claude shannon 1948'de, setteki mesajların olası eşitsiz olasılığını göz önünde bulunduran bilgi sayısını belirlemek için başka bir formül anlamına gelir.

Shannon Formula:

İ \u003d - (( p.1log2. p.1 + p.2 log2. p.2 +... + p.N log2. pn.),

Nerede pi - olasılığı bEN.-E-mesaj setinde vurgulanır N. mesajlar.

Olasılıklar ise bunu görmek kolaydır p.1, ...,pn. eşit, daha sonra her biri 1'e eşittir / N.Ve Shannon'un formülü Hartley formülüne dönüşüyor.

Claude shannon belirlenen bilgi , gibi belirsizlik kaldırıldı . Daha kesin olarak, bilginin alınması belirsizliği gidermek için gerekli bir durumdur. Belirsizlik bir seçim durumunda ortaya çıkar. Belirsizliğin giderilmesi sırasında çözülen görev, dikkate alınan seçenek sayısını azaltmak (çeşitlilikteki bir düşüş) ve sonunda olası sayısından seçenekin karşılık gelen bir durumunun seçimi. Belirsizlik kararları, bilinçli çözümler ve hareket etmeyi mümkün kılar. Bu, bilgilerin yönetim rolüdür.

Mağazaya gittiğini ve sana bir sakız satmasını istediğini hayal et. Diyelim ki, 16 derecelik çiğneme zamkı, bir belirsizlik durumunda olan pazarlamacı. İsteğinizi daha fazla bilgi olmadan yerine getiremez. Eğer belirttiyseniz, "Orbit" deyin ve pazarlamacı için 16 ilk seçenekten yalnızca 8 kişi göz önünde bulundurursa, belirsizliğini iki kez azalttınız (ileri koşar, diyelim ki belirsizliği iki kez azaltmak, 1 bit bilgi edinme ile uyumludur ). Eğer bir velayete neden olmadan, sadece mağaza penceresinde bir parmak belirtiniz, "Bu bu!", Belirsizlik tamamen kaldırıldı. Yine, ileriye koşmak, bu jestin bu örnekte, pazarlamacı 4 bit bilgisini bilgilendirmediğini söyleyelim.

Durum maksimum belirsizlik Birkaç varlığına basar bakıcı Alternatifler (seçenekler), yani Seçeneklerden hiçbiri daha tercih edilmez. Ve daha eşdeğer seçenek gözlemlenen, belirsizlik ne kadar büyük olursa, kesin bir seçim yapmak daha zor olur ve daha fazla bilgi gereklidir bunu yapmak için. İçin N. Seçenekler Bu durum aşağıdaki olasılık dağılımı ile açıklanmaktadır: (1 / N.,1/ N., …,1/ N.} .

0'a eşit minimum belirsizlik. bu durum tam kesinlik , seçimin yapıldığı anlamına gelir ve tüm gerekli bilgiler elde edilir. Olasılıkların eksiksiz bir kesinlik durumu için dağılımı şuna benziyor: (1, 0, ... 0).

Bilgi teorisindeki belirsizlik miktarını karakterize eden miktar, sembolle belirtilir. H. Ve bir isim var entropi , daha kesin bilgi entropi. .

Entropy ( H.) – belirsizlik ölçüsü , bit olarak ifade edilir. Ayrıca entropi olarak görülebilir dağıtımın homojenliğini ölçmek rastgele değişken.

İncir. 3.4 İki alternatif durum için entropinin davranışı

İncirde. 3.4, olasılıklarının oranını değiştirirken, iki alternatif durumunda entropinin davranışını göstermektedir ( P., (1-P.)).

Her iki olasılık da birbirine eşit olduğunda ve 1/2'ye eşit olduğunda entropinin maksimum değeri bu durumda ulaşır, entropinin sıfır değeri durumlara karşılık gelir ( P.0=0, P.1 \u003d 1) ve ( P.0=1, P.1=0).

Bilgi Sayısı I. ve entropy H. Aynı durumu karakterize eder, ancak oldukça zıt taraflardan. Ben belirsizliği kaldırmak için gereken bilgi miktarıdır. Leon Brilllyuan'ın tanımı gereği bilgi negatif entropidir(negentropium) .

Belirsizlik tamamen kaldırıldığında, alınan bilgi sayısı BEN. Eşit aslında mevcut belirsizlik H..

Belirsizliğin kısmi olarak uzaklaştırılması durumunda, ortaya çıkan bilgi miktarı ve geri kalan gereksiz belirsizlik, ilk belirsizlik miktarında. HT + IT \u003d H(Şek. 3.5).

İncir. 3. Entropi ve bilgi sayısı arasındaki iletişim

Bu nedenle, entropiyi hesaplamak için aşağıda sunulacak formüller H. bilgi sayısını hesaplamak için her iki formül BEN.. gelince belirsizliğin tam olarak uzaklaştırılması, H.değiştirilebilirler BEN..

Genel olarak, Entropi H. ve bilgi belirsizliğinin çıkarılmasının bir sonucu olarak elde edilen tutar BEN. dikkate alınan seçenek sayısına bağlıdır N. ve her birinin uygulanmasının priori olasılığı P:{p.0,p.1, …,pn-1), yani H \u003d F.(N.,P.). Bu durumda entropinin hesaplanması üretilir shannon Formula'ya göre 1948'de "Matematiksel İletişim Teorisi" maddesinde kendisi tarafından önerilen.

ÖzellikleTüm seçenekler ne zaman kolay bir ses, Bağımlılık yalnızca dikkate alınan seçeneklerin sayısı üzerinde kalır. H \u003d F.(N.). Bu durumda, Channon Formula büyük ölçüde basitleştirilir ve ile çakışır. formula Hartley , ilk olarak Amerikan Mühendisi Ralph Hartley tarafından 1928'de önerilen, yani. 20 yıl önce.

Shannon'un formülü aşağıdaki forma sahiptir:

Formül (2.1) eksi işareti, entropinin negatif bir değer olduğu anlamına gelmez. Bu gerçeği ile açıklandı. piTarım ile £ 1 ve daha küçük bir birimin logaritması negatif bir değerdir. Logaritm'un özelliği tarafından, bu formül, ikinci versiyonda, miktarın toplamından önce eksi olmadan kaydedilebilir.

İfade, özel miktarda bilgi olarak yorumlanır. O.uygulama durumunda elde edildi bEN.Seçenek. Shannon formülündeki entropi, ortalama bir karakteristiktir - rastgele değişkenin dağılımının matematiksel beklentisidir ( BEN.0,BEN.1, …,İÇİNDE-1} .

Shannon formülüne göre entropiyi hesaplamanın bir örneğini veriyoruz. Bazı kurumlara izin verin, işçilerin bileşimi aşağıdaki gibi dağıtılır: 3/4 - Kadınlar, 1/4 - Erkekler. Daha sonra belirsizlik, örneğin, kiminle tanışacağınız konusunda, kuruma gitmek, tabloda gösterilen eylemlerin yanında hesaplanacaktır. 3.1.

Tablo 3.1.

Hartley Formula'nın eşdeğer alternatifler için özel bir Shannon'un formülünün özel bir durumu olduğunu zaten belirttik.

Bunun yerine formül (2.1) 'de değiştirilmesi pi bu (eşdeğer bir durumda, bağımsız olarak bEN.) Değer, biz alırız:

Böylece, Formula Hartley çok basit görünüyor:

Daha fazla alternatifin olduğunu açıkça takip eder ( N.), belirsizlik ne kadar büyükse ( H.). 2 dayalı logaritasyon, bilgi birimlerinin ölçüm birimlerine seçenek sayısını sağlar - bitler. Şekil 3.6, entropinin bağımlılığını eşdeğer seçim seçenekleri sayısına sunar.

İncir. 3.6 Denge seçimi seçenekleri sayısına entropi bağımlılığı (eşdeğer alternatifler)

Belirsizlik bilindiğinde ters problemleri çözmek ( H.) veya kaldırılması sonucu elde edilen bilgi miktarı ( BEN.) Ve bu belirsizliğin ortaya çıkmasına eşit derecede alternatif olarak ne kadar eşit şekilde karşılık geldiğini belirlemeniz gerekir, Hartley'in ters formülünü kullanır;

Örneğin, eğer, ikinci katta ilgilenen Kolya Ivanov'un, 3 bit bilginin elde edildiği gerçeğinin bir sonucu olarak biliniyorsa, evdeki kat sayısı formül (2.3) ile belirlenebilir. N \u003d23= 8jetages.

Soru şu şekilde ise: "8 katın evinde, ne kadar bilgi aldık, KOLYA Ivanov'un ikinci kata ilgi duyduğunu öğrendik mi?" Formül (2.2) kullanmanız gerekir: Ben \u003d.log2 (8) \u003d 3 bit.

Şimdiye kadar, entropiyi hesaplamak için formüller verdik (belirsizlik) H.işaret etmek H. Değiştirilebilirler BEN.Çünkü alınan bilgi miktarı belirsizliğin tam yerinden olmasıyla Bazı durum, bu durumun ilk entropisine eşittir.

Fakat belirsizlik sadece kısmen çıkarılabilir, bu nedenle I'in miktarınıBir mesajdan türetilmiş olarak hesaplanır makbuz sonucu meydana gelen entropiyi azaltmakbu mesaj.

Eşdeğer bir durum içinEntropi Formula Hartley'i hesaplamak için kullanıyoruz:

İkinci eşitlik, logaritmun özellikleri temelinde görüntülenir. Böylece, dengesiz bir durumda BEN. bağlı olmak kaç sefer Dikkatedeki seçim seçeneklerinin miktarı değişmiştir (dikkate alınan çeşitlilik).

(3.5) tabanlı (3.5), aşağıdakileri geri çekebilirsiniz:

Eğer, daha sonra - belirsizliğin tam olarak çıkarılması, mesajda alınan bilgi sayısı, mesajı almadan önce var olan belirsizliğe eşittir.

Bu nedenle, belirsizlik değişmediyse, bilgi yoktu.

Eğer öyleyse \u003d\u003e,

eğer, sonra \u003d\u003e.

Şunlar. Alınan bilgi sayısı pozitif bir değer olacaktır, eğer bir mesaj almanın bir sonucu olarak, dikkate alınan alternatiflerin sayısı azalırsa, daha fazlası ise negatif.

Mesajın alınması sonucu dikkate alınan alternatiflerin sayısı yarıya düştüyse, yani BEN.\u003d log2 (2) \u003d 1 bit.Başka bir deyişle, 1 bit bilgi edinmek, eşdeğer seçeneklerin yarısının değerlendirilmesinden hariçtir.

36 kart destesi ile örnek bir deneyim olarak düşünün (Şekil 3.7).

İncir. 36 kart destesi ile deneyim için 3.7 illüstrasyon

Birinin güvertedeki bir kartı çıkarmasına izin verin. 36 karttan biri olan ilginizi çekiyoruz. Formül (3.2) tarafından hesaplanan ilk belirsizlik, H \u003d.log2 (36) @ 5,17 bit. Beklenen harita bize bazı bilgiler anlatıyor. Formül (3.5) kullanarak, bu mesajlardan ne kadar bilgi aldığımızı belirliyoruz:

A. "Bu, kırmızı bir takım elbise haritasıdır."

BEN.\u003d log2 (36/18) \u003d log2 (2) \u003d 1bits (yarım güverte kırmızı kartlar, belirsizlik 2 kez azaldı).

Varyant B. "Bu bir zirve platformudur".

BEN.\u003d log2 (36/9) \u003d log2 (4) \u003d 2 bit (Pik kartlar güvertelerin dörtte birini oluşturur, belirsizlik 4 kez azaldı).

Seçenek C. "Bu kıdemli kartlardan biri: halkalar, bayan, kral ya da as."

BEN.\u003d Log2 (36) -Log2 (16) \u003d 5.17-4 \u003d 1.17 bit (belirsizlik iki katından fazla azaldı, bu nedenle elde edilen bilgi miktarı bir bitten büyüktür).

Variant D. "Bu, güverteden bir karttır."

BEN.\u003d log2 (36/36) \u003d log2 (1) \u003d 0 bit (belirsizlik düşmedi - mesaj bilgilendirici değil).

Düzenleme E. "Bu bir bayan zirvesidir."

BEN.\u003d log2 (36/1) \u003d log2 (36) \u003d 5.17 bit (belirsizlik tamamen kaldırıldı).

Görev 1.50 beyaz, 25 kırmızı, 25 mavi topun bir opak çantada bulunursa, kırık topun rengiyle ilgili görsel bir mesaj içerecek nedir?

Karar.

1) Toplam Toplar 50 + 25 + 25 \u003d 100

2) Top Olasılıkları 50/100 \u003d 1/2, 25/100 \u003d 1/4, 25/100 \u003d 1/4

3)BEN. \u003d - (1/2 log21 / 2 + 1/4 log21 / 4 + 1/4 log21 / 4) \u003d - (1/2 (0-1) +1/4 (0-2) +1/4 (0 -2)) \u003d \u003d 1.5 bit

Görev 2. Sepet, farklı renklerde 16 top yatıyor. Beyaz bir topun mesajı ne kadar bilgi var?

Karar. Çünkü N \u003d 16 top, sonra i \u003d log2 n \u003d log2 16 \u003d 4 bit.

Görev 3.Sepette siyah ve beyaz topları yalan. Bunlar arasında18 siyah toplar. Beyaz topun alındığı mesajı, 2 bit bilgiyi taşır. Sepette kaç top?

1) 18 2) 24 3) 36 4)48

Karar. Shannon'a göre beyaz bir top alma olasılığını buluyoruz: bu nedenle, bir beyaz kase elde etme olasılığı 1/4 (% 25) ve sırasıyla siyah bir top elde etme olasılığı, 3/4 (% 75). Tüm siyah topların% 75'i, 18 numaraları, ardından tüm beyaz topların% 25'leri, sayıları (18 * 25) / 75 \u003d 6.

Sepet 18 + 6 \u003d 24'teki tüm topların sayısını bulmak için kalır.

Cevap: 24 top.

Görev 4.Bazı ülkelerde, 5 karakterden oluşan bir araba sayısı, büyük harflerden (30 harf kullanılmıştır) ve herhangi bir sırayla ondalık basamaklardan oluşur. Her sembol aynı ve minimum olarak mümkün olan bit miktarında kodlanır ve her sayı aynıdır ve baytlar tarafından mümkündür. 50 araç numarasının saklanması için gereken bellek miktarını belirleyin.

1) 100 byte 2) 150 bytes 3) 200 bayt 4) 250 bayt

Karar. Numarayı kodlamak için kullanılan karakter sayısı: 30 harf + 10 hane \u003d 40 karakter. Bir karakter taşıyan bilgi miktarı 6 bittir (2i \u003d 40, ancak bilgi miktarı kesirli sayı olamaz, bu nedenle en yakın sayıda karakter 26 \u003d 64).

Her sembole gömülü bilgi miktarını bulduk, odadaki karakter sayısı 5, bu nedenle 5 * 6 \u003d 30 bit. Her sayı 30 bit olup, ancak görevin durumuna göre, her sayı aynı ve mümkün olan minimum miktarda bayt kodlanmıştır, bu nedenle, 30 bit olarak ne kadar bayt bilmemiz gerekir. 30 ila 8'e bölünmüşse, kesirli bir sayı elde edilecektir ve her numara için bir miktar bayt bulmalıyız, bu yüzden 8-KI'nin en yakın çarpanını buluruz, bu, bit sayısını aşacak, 4 (8 * 4 \u003d 32). Her sayı 4 bayt ile kodlanır.

Depolama 50 araba numarası için, ihtiyacınız olacak: 4 * 50 \u003d 200 bayt.

"Numarayı tahmin et" oyunda optimal stratejinin seçimi. Maksimum bilgi sayısının makbuzunda, oyunda optimal bir stratejinin seçimi, "Numarayı Tahmin Et" oyunda, ilk katılımcının belirli bir aralıktan bir tamsayı (örneğin, 3) yaptığı (örneğin, 1 ila 16) ve ikincisi, amaçlanan sayıyı "tahmin etmesi" gerekir. Bu oyunu bir bilgi açısından düşünürseniz, ikinci katılımcı için bilginin ilk belirsizliği 16 olası olaydır (gizemli sayılar için seçenekler).

Optimum bir strateji ile, sayı aralığı her zaman yarıya kadar paylaşmalı, daha sonra elde edilen aralıkların her birindeki olası olayların sayısı (sayılar) aynı olacaktır ve aralıkların ayarlanması eşittir. Bu durumda, her adımda, ilk oyuncunun yanıtı ("evet" veya "hayır") maksimum bilgi miktarını (1 bit) dayanacaktır.

Masadan görülebileceği gibi. 1.1, 3 numarayı tahmin etmek, her birinde, ikinci katılımcının bilgisinin belirsizliği, 1 bit bilgi içeren ilk katılımcıdan bir mesaj alarak iki kez azalmıştır. Böylece, 16 numaradan birini gözetlemek için gereken bilgi miktarı 4 bit olarak gerçekleşti.

Soruları ve görevleri kontrol edin

1. Bir priori, topun üç URN'ten birinde olduğu bilinmektedir: A, cinsinden veya C. URN V'da olduğu bir mesajın kaç parçasını içerdiğini belirleyin.

Seçenekler:1bit,1,58bit,2bit,2,25bit.

2. Birinci olayın olasılığı 0,5 ve ikinci ve üçüncü 0.25'tir. Dağılımın bilgi entropisine eşittir. Seçenekler:0,5bit,1 bit,1,5bit,2bit,2,5bit,3bit.

3. İşte bazı organizasyonun çalışanlarının bir listesi:

Aşağıdaki istekleri yerine getirmek için eksik olan bilgi miktarını belirleyin:

Lütfen İvanov'u telefona arayın.

Çalışanınızdan biriyle ilgileniyorum, 1970 yılında doğdu.

4. Mesajlardan hangisi daha fazla bilgi taşır:

· Bir bozuk para almanın bir sonucu olarak (Kartal, Rush), acele düştü.

· Trafik ışığında (kırmızı, sarı, yeşil) şimdi yeşil ışıktır.

· Oyun kemiğinin iyileşmesinin bir sonucu olarak (1, 2, 3, 4, 5, 6), 3 puan düştü.

En farklı doğanın kaynaklarından gelen mesajlarda bulunan ortalama bilgi sayısını belirlerken en yaygın olanıdır. Shannon'a. Aşağıdaki durumu düşünün.
Kaynak temel sinyalleri iletir k. Farklı şekiller. Mesajın oldukça uzun bir bölümünü takip edelim. İzin vermek N.İlk tip sinyallerin 1'i, N.2 ikinci tip sinyal, ..., N.k. Sinyaller k.- Tip ve N.1 + N.2 + ... + N.k. = N. - Gözlenen segmentteki toplam sinyal sayısı, f.1, f.2, ..., f.k. - İlgili sinyallerin frekansları. Mesajın segmentinin uzunluğundaki bir artış olarak, frekansların her biri sabit bir sınırlama eğilimindedir, yani.
Lim. f.bEN. = p.bEN., (bEN. = 1, 2, ..., k.),
Nerede rbEN. Sinyal olasılığını düşünebilirsiniz. Bir sinyalin alındığını varsayalım bEN.- Olasılıkla tip rbEN.İçeren - Günlük p.bEN. Bilgi birimleri. Dikkate alınan segmentte bEN.- Bir sinyal yaklaşık olarak buluşacak Np.bEN. zamanlar (varsayalım ki N. yeterince büyük) ve bu türdeki sinyallerin sağladığı genel bilgiler işe eşit olacaktır. Np.bEN. Günlüğü. rbEN.. Aynı şey, diğer türdeki sinyalleri ifade eder, bu nedenle segment tarafından verilen tüm bilgi miktarı N. sinyaller yaklaşık olarak eşit olacaktır

Bir sinyalle ilgili ortalama bilgi miktarını belirlemek için, yani. Özel bilgi kaynağı, bu numarayı üzerine bölmeniz gerekir N.. Sınırsız bir büyüme ile yaklaşık eşitlik tam olarak girecektir. Sonuç olarak, bir asimptotik oranı elde edilecek - Shannon'un formülü

Son zamanlarda, ünlü Einstein formülünden daha az yaygın olmamıştır. E. = mc. 2. Hartley tarafından önerilen formülün, bir Shannon'un daha genel bir formülünün özel bir durumu olduğu ortaya çıktı. Schannam formülünde bunu kabul etmek için
r1 = p.2 = ... = rbEN. = ... =p.N. = 1/N.T.

Shannon formülündeki eksi işareti, mesajdaki bilgi miktarının olumsuz bir değer olduğu anlamına gelmez. Olasılık olasılığı ile açıklanmaktadır. rTanıma göre, birden az ama daha sıfır. Daha küçük bir birimin logaritması olduğundan, yani. Günlüğü. p.bEN. - Değer negatiftir, daha sonra sayının logaritması olasılığının ürünü olumlu olacaktır.
Bu formüle ek olarak, Shannon beş elementten (bilgi, verici, iletişim hatları, alıcı ve muhatap kaynağı) oluşan soyut bir iletişim şeması önerdi ve formüle edilmiş bant genişliği, gürültü bağışıklığı, kodlama vb.
Bilgi teorisi ve uygulamalarının gelişmesinin bir sonucu olarak, Shannon'un fikirleri hızlı bir şekilde etkilerini en farklı bilgi alanları üzerine dağıttı. Shannon formülünün, Boltzmann tarafından türetilen fiziğin içinde kullanılan entropi formülüne çok benzer olduğu görülmüştür. Entropi, istatistiksel molekül biçimlerinin bozukluğunun derecesini belirtir. Entropi, moleküller hareket parametrelerinin eşdeğer dağılmasıyla maksimumdur (yön, hız ve mekansal pozisyon). Moleküllerin hareketi düzenlendiğinde entropi değeri azalır. Sipariş düzenlemesi arttıkça, entropi sıfıra eğilimi (örneğin, sadece bir değer ve hız yönü mümkün olduğunda). Entropi yardımı ile bir mesaj (metin) çizerken, karakterlerin (dönüşümün) fraillentinin (değişiminin) derecesini karakterize etmek mümkündür. Maksimum entropili olan metin, tüm alfabe harflerinin eşit bir dağılımına sahip metindir, yani. Mektupların anlamsız dönüşümü ile, örneğin: YKHZZZZCHCHKCHCHCHCHCHCHCHCHCHCHKHAYADVLVLOAARAPCHCHCHCHKHAYADVLVLOAARAPAIYUYUHB SBSM. Metin çizim yaparken gerçek harf olasılığı dikkate alındığında, daha sonra elde edilen "ifadeler", görünüşlerinin sıklığı ile düzenlenen harflerin hareketinin belirli bir sırası olacaktır: OKR'lerin OTE Aksh Tshi.
Dört harfli kombinasyonların olasılıklarını göz önünde bulundururken, metin, bazı resmi özelliklere göre anlamlı yaklaştığını belirtti: kuru ve Nepo ve Corco değil. Bu durumda böyle bir siparişin nedeni, metinlerin istatistiksel kalıpları hakkında bilgidir. Anlamlı metinlerde, düzenli, doğal olarak, daha da yüksek. Öyleyse, oy geldi ... İlkbahar, harflerin hareketi (dönüşüm) hakkında daha fazla bilgiye sahibiz. Böylece, metnin metni, siparişin ve metin hakkımızdaki bilgileri ve entropi (bozukluk ölçüsü) azalır.
Shannon'un bilgi formüllerinde ve Boltzmann'ın ertropisi (farklı işaretler), L. Brillurian'ın farkını kullanarak. negatif entropi olarak bilgi veya negentropy.. Entropi bir disortax ölçüsü olduğundan, o zaman bilgi olarak tanımlanabilir malzeme sistemlerinin ölçümü .
Formülün görünümünün çakıştığı gerçeğinden dolayı, bilgi kavramının entropi kavramına hiçbir şey eklemediği varsayılabilir. Ancak, değil. Entropi kavramı daha önce sadece sistemler için kullanılmışsa, termodinamik denge arayan, yani. Bileşenlerinin hareketindeki maksimum bozukluğa, entropide bir artışa, bilgi kavramı, entropiyi arttırmayan, ancak aksine, entropi değerleri olan bir durumda olan bu sistemlere dikkat etmiştir. , daha da azaltma eğilimindedir.

Çok çeşitli bilimsel alanların geliştirilmesinde bilgi teorisinin fikirlerinin önemini abartmak zordur.
Bununla birlikte, K. Shannon'a göre, tüm çözülmemiş sorunlar "Bilgi", "Entropi", "Yedeklilik" gibi büyülü kelimelerle çözülemez.
Bilgi teorisi, olasılıkların olasılıksal, istatistiksel kalıplarına dayanmaktadır. Yararlı, ancak çok yönlü bir aparat vermez. Bu nedenle, birçok durum Shannon'un bilgi modeline uymuyor. Tüm devlet durumlarının listesini önceden belirlemek ve olasılıklarını hesaplamak her zaman mümkün değildir. Ek olarak, mesajın sadece resmi tarafı bilgi teorisinde göz önünde bulundurulurken, anlamı bir yana kalır. Örneğin, radar istasyon sistemi, rakip uçak sistemini tespit etmek için hava sahasının gözlemlenmesine yol açar. S.ardından gözlem, iki eyaletten birinde olabilir x.1 - Düşman, x.2 - Düşman yok. İlk mesajın önemi, olasılıksal bir yaklaşım kullanılarak değerlendirilemez. Bu yaklaşım ve bir önceki bilgi ekspresinin, her şeyden önce, transferinin "yapısal-syntactic" tarafı, yani Sinyallerin ilişkisini ifade eder. Bununla birlikte, bilgi kavramının ilişkili olduğu, "olasılık", "belirsizlik" kavramları, seçim sürecini üstlenir. Bu işlem yalnızca birçok olasılık varsa uygulanabilir. Bundan sonra, koşullar varsayılabilir, bilgi iletimi imkansızdır.