Mungkin ada simbol alfabet dalam posisi setiap simbol. SAYA.; Jumlah informasi pada satu simbol pesan sama dengan nilai rata-rata informasi pada semua karakter alfabet. SAYA.:

Jumlah total informasi yang terkandung dalam pesan dari n. Simbol adalah:

Jika semua karakter alfabet SAYA. muncul dengan probabilitas yang sama, maka semuanya p i \u003d p. Sebagai Σr i \u003d 1T. p \u003d 1 / m.

Rumus dalam kasus ketika semua simbol alfabet sama, mengambil formulir

I \u003d. n.*Catatan. 2 (m.).

Keluaran: formula Shannon dalam kasus ketika semua karakter alfabet sama-sama transit, masuk ke formula Hartley.

Dalam kasus umum, jumlah entropi H dari sistem arbitrer X. (variabel acak) yang bisa masuk m. Negara yang berbeda x 1, x 2, ... x m Dengan probabilitas p 1, p 2, ... p m dihitung oleh rumus Shannon sama

Ingat itu p 1 + P 2 + ... + P m \u003d 1. Jika semuanya p. Saya sama, maka semua status sistem X. setara; pada kasus ini p i \u003d 1 / m, dan formula pergi ke formula Hartley: H (x) \u003d log 2 (m).

Komentar.Jumlah entropi sistem (variabel acak) H. tidak tergantung pada apa yang secara khusus menyatakan x 1, x 2, ... x m dapat berupa sistem, tetapi tergantung pada jumlahnya m. negara-negara ini dan probabilitas p 1, p 2, ... p m Dengan mana sistem dapat di negara-negara ini. Ini berarti bahwa dua sistem di mana jumlah negara setara, dan kemungkinan negara-negara ini p 1, p 2, ... p m sama (dengan akurasi urutan transmisi), memiliki entropi yang sama.

Dalil.Entropy maksimum H (x) Ini dicapai dalam kasus ketika semua keadaan sistem sama-sama sama. Itu artinya

Jika sistem X hanya bisa satu keadaan ( m \u003d 1.), kemudian entropinya sama nol.

Pertimbangkan suatu sistem yang hanya dapat mengambil dua negara. x1. dan x2. Dengan probabilitas p1. dan p2.:

Jumlah entropi sistem seperti itu sama

H (x) \u003d - (1/2 * Log 2 (1/2) + 1/2 * Log 2 (1/2)) \u003d -log 2 (1/2) \u003d LOG 2 (2) \u003d 1

Jumlah ini diambil per unit pengukuran entropi (informasi) dan disebut 1 bit (1 bit).

Pertimbangkan suatu fungsi

h (x) \u003d - (x * log 2 (x) + (L-x) * log 2 (l-x))

Area definisi - interval (0 ;1) , Lim h (x) \u003d 0 untuk h.-\u003e 0ili h.-> 1.

Jadwal fitur ini ditunjukkan pada gambar:

Jadwalkan fungsi h (x) \u003d - (x * log 2 (x) + (l - x) * log 2 (l - x))

Jika Anda menunjuk X melalui p 1., tetapi (1-x) melalui p 2.T. p 1 + p 2 \u003d 1; p 1, p 2 î (0; 1), h (x) \u003d h (p 1, p 2) \u003d - (p 1 * log 2 (p 1) + (p 2) * log 2 (p 2)) - Sistem entropi dengan dua negara; maksimum H. tercapai pada. p 1 \u003d p 2 \u003d 0,5.

Grafik H (x) dapat digunakan saat menyelesaikan tugas-tugas berikut:

Tugas 1. Ada tiga variabel acak X, Y, Z, yang masing-masing mengambil dua nilai dengan probabilitas:

1. p (x \u003d x1) \u003d 0,5; P (x \u003d x2) \u003d 0,5;

2. p (y \u003d y1) \u003d 0,2; P (y \u003d y2) \u003d 0,8;

3. p (z \u003d z1) \u003d 0,3; P (z \u003d z2) \u003d 0,7.

Merekam P (x \u003d x1) \u003d 0,5 berarti nilai acak x mengambil nilai x1 dengan probabilitas 0,5. Diperlukan untuk mengatur entropi sistem ini dalam urutan menaik.

Keputusan.

Entropy H (x) sama dengan 1 dan akan menjadi yang terbesar;

Entropy H (y) sama dengan nilai fungsi h (x), () pada x \u003d 0,2, mis. H (y) \u003d h (0.2);

Entropy H (z) \u003d h (0.3). Menurut grafik h (x), dapat ditentukan bahwa H (0.2)< h(0.3). Следовательно, H(Y) < H(Z) < H(X).

Catatan 1. Entropi sistem adalah semakin besar, semakin sedikit perbedaan antara probabilitasnya satu sama lain.

Berdasarkan ini, kita dapat menyimpulkan bahwa H (y)< H(Z).

Misalnya, jika ada probabilitas untuk X dan Y dengan tiga negara: untuk x (0,4; 0,3; 0,3), untuk Y (0,1; 0,1; 0,8), jelas bahwa ketidakpastian sistem X lebih besar dari ketidakpastian Dari sistem Y: yang terakhir kemungkinan besar, kondisinya akan diimplementasikan, probabilitas yaitu 0,8.

Entropy H (X) mencirikan tingkat ketidakpastian sistem. Semakin besar jumlah informasi yang diterima tentang sistem informasi, semakin banyak informasi tentang sistem, dan semakin tidak pasti kondisinya akan untuk penerima informasi.

Jika entropi sistem setelah menerima informasi sama dengan nol, ini berarti bahwa ketidakpastian menghilang, semua entropi "menyeberang" ke dalam informasi. Dalam hal ini, dikatakan bahwa informasi lengkap tentang sistem X diperoleh. Jumlah informasi yang diperoleh dengan klarifikasi penuh dari keadaan sistem fisik sama dengan entropi sistem ini.

Jika setelah menerima pesan tertentu, ketidakpastian sistem X menjadi kurang, tetapi tidak menghilang sama sekali, jumlah informasi yang terkandung dalam pesan sama dengan kenaikan entropi:

I \u003d H1 (x) - H2 (x),

di mana H1 (X) dan H2 (X) adalah entropi sistem sebelum dan sesudah pesan, masing-masing. Jika H2 (x) \u003d 0, maka ukuran ketidakpastian sistem adalah nol dan informasi lengkap tentang sistem diperoleh.

Contoh. Anda ingin menebak jumlah poin yang jatuh pada kubus bermain. Anda menerima pesan bahwa jumlah poin jatuh. Berapa jumlah informasi yang berisi pesan ini?

Keputusan. Sistem entropi "bermain kubus" H1.sama Log 2 6.karena Kubus dapat mengambil enam secara acak sama mungkinnegara (1, 2, 3, 4, 5, 6). Pesan yang diterima mengurangi jumlah yang mungkin menyatakan hingga tiga: (2, 4, 6), yaitu. Sistem entropi sekarang sama H2 \u003d Log 2 3. Peningkatan entropi sama dengan jumlah informasi yang diperoleh i \u003d h1 - h2 \u003d log 2 6 - log 2 3 \u003d log 2 2 \u003d 1 bit.

Pada contoh tugas yang dibongkar, salah satu definisi umum unit unit dapat dijelaskan - 1 bit: 1 bit adalah sejumlah informasi yang mengurangi ketidakpastian status sistem dengan dua kali.

Ketidakpastian sistem diskrit tergantung pada jumlah Negara N.

Entropy sebelum menerima informasi H1 \u003d log 2 n. Jika, setelah menerima informasi, ketidakpastian menurun dua kali, maka ini berarti bahwa jumlah negara menjadi sama dengan N / 2, dan entropi H2 \u003d log 2 n / 2. Jumlah informasi yang diterima i \u003d h1 -h2 \u003d log 2 n - log 2 n / 2 \u003d log 2 2 \u003d 1 bit.

Pertimbangkan beberapa tugas tentang penggunaan rumus Shannon dan Hartley.

Tugas 2.Dapat entropi sistem, yang mengambil secara acak salah satu dari 4 negara, adalah: a) 3; b) 2.1 c) 1,9 g) 1; d) 0.3? Jawab untuk menjelaskan.

Keputusan.Nilai maksimum yang mungkin dari entropi sistem dengan 4 negara mencapai dalam kasus ketika semua negara sama. Nilai ini menurut formula Hartley sama dengan Log 2 4 \u003d 2 bit. Dalam semua kasus lain, entropi sistem dengan 4 negara akan kurang dari 2. Akibatnya, kemungkinan nilai entropi dari yang tercantum di atas mungkin merupakan nilai 1,9, 1, 0,3.

Tugas 3.Fungsi h (x) \u003d -x * log 2 (x) diatur - (1-x) * log 2 (1-x). Tempatkan nilai-nilai berikut dalam urutan menaik: h (0.9), h (0.85), h (0.45), h (0.2), h (0,15).

Keputusan.Gunakan grafik fungsi (3,5). Nilai tertinggi akan menjadi H (0.45), nilai terkecil - h (0,9), maka nilai H (0,15) dan h (0,85) \u003d h (0,15) naik; H (0.2). Jawaban: H (0.9)< H(0.15)=H(0.85)< H(0.2) < H(0.45). É

Tugas 4.Pesan ditransmisikan melalui tautan: a) "start_b_10"; b) Loancha_1_v0. Bandingkan jumlah informasi dalam pesan pertama dan kedua.

Keputusan.Pesan pertama dan kedua terdiri dari karakter yang sama: yang kedua diperoleh dari yang pertama sebagai hasil permutasi karakter-karakter ini. Sesuai dengan rumus Schannon, pesan-pesan ini mengandung jumlah informasi yang sama. Pada saat yang sama, pesan pertama membawa informasi yang bermakna, dan yang kedua adalah set karakter sederhana. Namun, dalam hal ini, kita dapat mengatakan bahwa pesan kedua adalah opsi "terenkripsi" dari yang pertama, dan oleh karena itu jumlah informasi dalam kedua pesan adalah sama.

Tugas 5.Tiga pesan berbeda A, B, C diperoleh:

A \u003d "kedatangan jam sepuluh"; B \u003d "kedatangan pada sepuluh jam nol menit"; C \u003d "kedatangan tepat jam sepuluh." Menggunakan pendekatan entropi Schannon, bandingkan jumlah informasi yang terkandung dalam pesan-pesan ini.

Keputusan.Menunjukkan jumlah informasi dalam pesan a, b, c melalui I (a), i (b), masing-masing. Dalam arti "konten", pesan-pesan ini persis sama, tetapi konten yang sama dinyatakan menggunakan jumlah karakter yang berbeda. Dalam hal ini, semua simbol pesan A terkandung dalam pesan B dan C, pesan C \u003d A + "persis", b \u003d a + "nol menit"; Sesuai dengan pendekatan Shannon, kita dapatkan: i (a)< I(C) < I(B).

Dunia kita didasarkan pada tiga komponen: substansi, energi dan informasi. Berapa banyak di dunia zat, energi dan informasi? Apakah mungkin untuk mengukurnya dan bagaimana tepatnya? Kita tahu bagaimana mengukur jumlah substansi dan energi. Tapi bagaimana dengan informasi? Apakah mungkin untuk mengukurnya?

Sebelumnya dicatat bahwa ada beberapa pendekatan untuk menilai jumlah informasi. Sekarang kita akan tetap detail pada salah satu dari mereka.

Setiap pesan akan informatif jika mengisi pengetahuan manusia, mis. Mengurangi ketidakpastian pengetahuannya.

Peristiwa yang menenangkan

Contoh 1.

Misalnya, ketika melempar koin, kami mencoba menebak sisi mana yang akan jatuh. Salah satu opsi hasil adalah mungkin: Koin akan berada di posisi "Eagle" atau "Rush". Masing-masing dari dua peristiwa ini akan setara, yaitu, tidak ada dari mereka yang memiliki kelebihan kepada orang lain. Sebelum melempar koin, tidak ada yang bisa tahu caranya jatuh, I.E. Ada ketidakpastian pengetahuan. Setelah terjadinya peristiwa, sebaliknya, ada kepastian penuh, karena lemparan menerima pesan visual tentang posisi koin, yang pada gilirannya, mengurangi ketidakpastian pengetahuannya dua kali, karena salah satu dari dua peristiwa keseimbangan terjadi.

Contoh 2.

Contoh lain adalah situasi dengan Hexagon Cube, I.E. Sebelum lemparan, tidak ada yang bisa tahu sisi mana yang akan jatuh. Dalam hal ini, ada kesempatan untuk mendapatkan satu hasil enam setara. Dengan demikian, sebelum melempar ketidakpastian pengetahuan tentang lemparan akan sama dengan 6, setelah lemparan, itu akan menurun tepat 6 kali, karena itu adalah 6 peristiwa setara yang dapat terjadi.

Contoh 3.

Pertimbangkan contoh di mana 40 tiket disiapkan untuk ujian. Probabilitas peristiwa yang akan terjadi ketika menarik tiket akan sama dengan 40. Dan peristiwa ini akan sama. Pada saat yang sama, ketidakpastian pengetahuan siswa sebelum pilihan tiket akan sama dengan 40. Dengan demikian, ketidakpastian pengetahuan setelah siswa mengambil tiket akan berkurang 40 kali. Mari kita bertanya apakah indikator ini tergantung pada jumlah tiket memanjang. Tidak, karena peristiwa sama).

Setelah menganalisis semua contoh yang dibahas di atas, dapat disimpulkan bahwa semakin besar jumlah awal peristiwa setara yang mungkin, semakin banyak waktu ketidakpastian pengetahuan berkurang, dan semakin banyak informasi akan terkandung dalam laporan percobaan.

Acara non-ekuilibrium

Pertimbangkan sebagai contoh bahasa lisan. Kami beralih ke fakta-fakta penelitian yang terbukti, yang menunjukkan bahwa dalam semua bahasa kolaboratif, beberapa surat terjadi jauh lebih sering daripada yang lain. Hasil penelitian mengkonfirmasi bahwa $ 1.000 huruf dalam berbagai bahasa kolaboratif menyumbang sejumlah pengulangan yang berbeda. Sebagai contoh dalam tabel menyajikan beberapa surat dalam bahasa Rusia dan Inggris:

Gambar 1.

Selain itu, probabilitas penampilan huruf individu akan tergantung pada huruf apa yang digunakan di depannya. Jadi, dalam bahasa Rusia setelah vokal, tanda lembut tidak pernah tahan, serta dengan kata-kata, empat vokal tidak digunakan, dll. Bahasa yang diucapkan, sebagai aturan, fitur dan pola mereka sendiri. Itulah sebabnya jumlah informasi yang terkandung dalam pesan-pesan bahasa sehari-hari apa pun tidak dapat diterima untuk mengevaluasi menggunakan formula Hartley, yang digunakan dalam pendekatan abjad terhadap evaluasi informasi dan merupakan karakteristik contoh dengan peristiwa setara (contoh dengan koin dan kubus dengan koin dan kubus ).

Bagaimana menentukan berapa banyak informasi yang berisi, misalnya, teks novel "perang dan perdamaian", atau lukisan dinding dan kanvas dari seniman Italia yang hebat, atau kode genetik manusia? Jawaban atas pertanyaan-pertanyaan ini dan sains serupa belum diketahui dan, dalam semua kemungkinan, tidak akan diketahui segera. Namun, semua orang tertarik, apakah mungkin untuk secara objektif menilai jumlah informasi? Tugas semacam ini termasuk contoh berikut.

Bagaimana cara mengetahui apakah pesan yang setara adalah "yang pertama akan keluar dari gedung" dan "yang pertama akan keluar dari gedung"? Tidak ada jawaban yang tidak ambigu untuk pertanyaan ini. Semuanya akan tergantung pada bangunan seperti apa yang kita bicarakan. Jika ini, misalnya, pembangunan klinik ginekologi, maka probabilitas untuk mendapatkan wanita pertama sangat tinggi, jika itu adalah barak militer, maka kemungkinan untuk keluar terlebih dahulu untuk seorang pria akan lebih tinggi daripada wanita , tetapi jika ini adalah bangunan bioskop, maka probabilitas keluar pertama kali untuk pria dan wanita akan sama.

Penilaian jumlah informasi. Formula Shannon.

Untuk memecahkan masalah semacam ini, penilaian total jumlah informasi yang diusulkan oleh para ilmuwan Amerika digunakan Claude Shannon pada tahun 1948 Dibuat oleh rumus untuk menentukan jumlah informasi dapat memperhitungkan kemungkinan kemungkinan pesan yang tidak sama yang terkandung dalam set. Shannon saat membuat rumus yang digunakan digunakan dalam matematika dan hidrodinamika ukuran probabilistik ketidakpastian (Disebut entropi) Untuk sepenuhnya memperkirakan status sistem yang dipelajari dan mendapatkan informasi setinggi mungkin tentang proses dalam sistem ini. Penilaian jumlah informasi ini pada dasarnya ukuran probabilistik., dan, sebagai penilaian ketidakpastian, ia mencerminkan kemampuan sumber apa pun untuk menunjukkan semua negara bagian baru dan baru dan dengan demikian memberikan informasi.

Definisi 1.

Shannon didefinisikan entropi. Sebagai fungsi logaritmik rata-rata dari banyak probabilitas keadaan yang mungkin dari sistem (kemungkinan hasil pengalaman). Untuk menghitung entropi Shannon mengusulkan persamaan berikut:

$ H \u003d - (p_1log_2p_1 + p_2log_2p_2 + ... + p_nlog_2p_n) $

di mana $ P_I $ adalah probabilitas penampilan $ I $ -th dalam satu set $ N $ ACARA.

Kemudian jumlah informasi yang diperoleh sebagai hasil dari pengalaman tidak akan selain perbedaan antara entropi sistem ke ($ h_0 $) dan setelah ($ h_1 $) pengalaman:

apalagi jika ketidakpastian akibat pengalaman benar-benar dikecualikan, kami memiliki:

$ I \u003d \\ Sigma (p_ilog_2p_i), i \u003d 1, \\ dots, n $.

Pertimbangkan contoh yang mengkonfirmasi penggunaan teori Channon ini dalam praktik.

Contoh 4.

Pescari dan Bertinggeng tinggal di danau. Menghitung jumlah individu di setiap populasi (Pescase - $ 1.500, dan bertengger - $ 500 $). Perlu untuk menentukan berapa banyak informasi yang terkandung dalam laporan bahwa nelayan menangkap pasir, bertengger, pada ikan umum?

Keputusan. Peristiwa tangkapan pescar atau bertengger tidak sama, karena Diples di danau tinggal lebih sedikit daripada Pescare.

Jumlah total Pescase dan Bertengger di Danau:

$1500 + 500 = 2000$.

Kami mendefinisikan kemungkinan tangkapan Pestar:

$ p_1 \u003d \\ frac (1500) (2000) \u003d 0,75 $,

Kami mendefinisikan kemungkinan tangkapan bertengger:

$ P_2 - \\ frac (500) (2000) \u003d 0,25 $.

$ I_1 \u003d log_2 (\\ frac (1) (p_1)), i_1 \u003d log_2 (\\ frac (1) (p_2)) $

di mana $ I_1 $ dan $ I_2 masing-masing adalah probabilitas tangkapan pasir dan bertengger.

Jumlah informasi yang terkandung dalam pesan kelulusan:

$ I_1 \u003d log_2 (\\ frac (1) (0.75)) "0,43 $ bit,

Jumlah informasi yang terkandung dalam bertengger Tangkai Bertengger:

$ I_2 \u003d log_2 (\\ frac (1) (0.25)) »$ 2 bit.

Jumlah informasi yang terkandung dalam pesan tentang tangkapan ikan (Crucian atau Hinggap) dihitung oleh Formula Shannon:

$ I \u003d - p_1log_2p_1 - p_2log_2p_2 $

$ I \u003d -0.75 \\ CDOT LOG_20,75-0.25 \\ CDOT LOG_20,25 \u003d -0.75 \\ CDOT (\\ frac (log0,75) (log2)) - 0.25 \\ cdot (\\ frac (log0)) \u003d 0,604 bit "0,6 $ bit.

Menjawab: Pesan berisi informasi $ 0,6 $.

Pengembangannya lebih lanjut dari teori informasi yang diterima dalam karya Claud Shannon, insinyur Amerika dan Matematika (1916 - 2001). Shannon adalah salah satu pencipta teori matematika informasi. Pekerjaan utamanya dikhususkan untuk teori skema kontak relai, teori komunikasi matematika, cybernetics. K. Shannon mempelajari masalah transfer informasi di telegraf, telepon atau penyiaran dalam bentuk sinyal osilasi elektromagnetik. Salah satu tugas yang dimasukkan K. Shannon di depannya adalah menentukan sistem pengkodean yang memungkinkan Anda untuk mengoptimalkan kecepatan dan keakuratan transfer informasi. Karena selama tahun-tahun perang, ia bertugas di departemen enkripsi, di mana ia terlibat dalam pengembangan sistem kriptografi, nantinya membantunya membuka metode pengkodean dengan koreksi kesalahan. Dalam karyanya, 1948-1949, K. Shannon mendefinisikan jumlah informasi melalui entropi - jumlah yang dikenal dalam termodinamika dan fisika statistik sebagai ukuran gangguan sistem, dan per unit jumlah informasi yang diterima selanjutnya disebut bit (bit).

Untuk presentasi lebih lanjut, perlu untuk menggunakan beberapa konsep teori probabilitas: peristiwa acak, pengalaman, probabilitas suatu peristiwa, nilai acak. Di dunia di sekitar kita, berbagai peristiwa terjadi, dan kita dapat secara intuitif berdasarkan pengalaman, mengevaluasi beberapa dari mereka lebih mungkin daripada yang lain. Acak disebut peristiwa yang dapat terjadi atau tidak bertahap sebagai hasil dari tes, pengalaman atau percobaan tertentu. Kami menunjukkan peristiwa dalam huruf kapital A, B, CTS dll. Ukuran kuantitatif dari kemungkinan terjadinya beberapa peristiwa cenderung probabilitas dan disebut ASP (A), P- dari probabilitas bahasa Inggris. Semakin mungkin terjadinya peristiwa acak, semakin besar probabilitasnya: jika yang paling mungkin mungkin, maka p (a)\u003e p (b). Konsep peristiwa yang dapat diandalkan diperkenalkan - suatu peristiwa yang akan datang. Peristiwa ini menunjukkan bahwa itu percaya bahwa probabilitasnya () \u003d 1. Tidak mungkin untuk memanggil peristiwa yang tidak akan pernah terjadi. Ini menunjukkan bahwa itu percaya bahwa probabilitasnya () \u003d 0. untuk probabilitas semua peristiwa lain, ketidaksetaraan dilakukan ()< p(A)

Untuk acara, konsep jumlah dan pekerjaan diperkenalkan. Jumlah peristiwa A + B adalah peristiwa yang terdiri dari terjadinya peristiwa A atau B. Pekerjaan peristiwa A * B terdiri dari kejadian peristiwa A dan B. AIB secara simultan tidak lengkapJika mereka tidak dapat berkumpul sebagai hasil dari satu tes. Probabilitas jumlah peristiwa yang tidak lengkap sama dengan jumlah probabilitasnya. Jika A dan dalam peristiwa tidak lengkap, maka p (A + b) \u003d p (a) + p (b).

Acara A1, A2, A3, ... Konversi grup penuh.Jika, sebagai hasil dari pengalaman, setidaknya satu dari mereka akan datang. Jika peristiwa A1, A2, A3, ... Marah tidak dapat dipahami dan membentuk grup lengkap, maka jumlah probabilitas mereka P1 + P2 + P3 + ... .pn \u003d 1 Jika mereka juga sama-sama genap, maka kemungkinan masing-masing sama dengan \u003d 1 / n, sedangkan jumlah peristiwa. Kemungkinanacara didefinisikan sebagai rasio jumlah peristiwa pengalaman yang menguntungkan dalam jumlah total hasil. Frekuensiacara adalah perkiraan empiris dari probabilitasnya. Ini dihitung sebagai hasil dari serangkaian percobaan sebagai sikap jumlah eksperimen di mana peristiwa tersebut mencapai jumlah eksperimen total. Dengan sejumlah besar eksperimen (tes), frekuensi acara berkomitmen untuk probabilitasnya.

K. Shannon, menggunakan pendekatan R. Hartley, menarik perhatian pada kenyataan bahwa ketika mentransmisikan pesan verbal, frekuensi (probabilitas) menggunakan berbagai huruf alfabet tidak sama: beberapa huruf yang sering digunakan, yang lain jarang terjadi.

Pertimbangkan alfabet A m yang terdiri dari ISMS. Dilincangkan dengan probabilitas (frekuensi) dari penampilan simbol I-th di setiap posisi pesan yang ditransmisikan yang terdiri dari N karakter. Satu simbol ima alfabet membawa jumlah informasi yang sama dengan -log 2 (p i). Sebelum biaya logaritma "minus" karena jumlah informasi tidak negatif, dan log 2 (x)<0 при 0

Mungkin ada karakter alfabet A di tempat masing-masing simbol; Jumlah informasi pada satu simbol pesan sama dengan nilai rata-rata informasi pada semua karakter alfabet A:

Jumlah total informasi yang terkandung dalam pesan dari N karakter adalah:

(3.2)

Jika semua karakter alfabet A M muncul dengan probabilitas yang sama, maka semua p i \u003d p. Jadi probe i \u003d 1, maka p \u003d 1 / m.

Formula (3.2) dalam kasus ketika semua karakter alfabet sama, dibutuhkan

Kesimpulan: Shannon Formula (3.2) dalam kasus ketika semua simbol alfabet sama-sama sama dengan rumus Hartley (2.2).

Dalam kasus umum, jumlah entropi sistem HPC x (variabel acak), yang mungkin dalam m dari berbagai negara x 1, x 2, ... XM berubah menjadi p 1, p 2, ... PM, dihitung oleh rumus Shannon, setara

(3.3)

Ingat bahwa p 1 + p 2 + ... + p m \u003d 1. Jika semua p saya sama, maka semua keadaan sistem x sama-sama sama; Dalam hal ini, p i \u003d 1 / m, dan rumus (3.3) memasuki formula Hartley (2.5): h (x) \u003d log 2 (m).

Komentar.Jumlah entropi sistem (variabel acak) X tidak tergantung pada yang secara khusus menyatakan x 1, x 2, ... XM dapat berupa sistem, tetapi tergantung pada jumlah negara dan dari probabilitas p 1, p 2. .. pm, dengan mana sistem dapat berada di negara-negara ini. Ini berarti bahwa dua sistem di mana jumlah negara sama, dan probabilitas negara-negara ini p 1, p 2, ... p m sama dengan (dengan akurasi urutan daftar), memiliki entropi yang sama.

Dalil.Entropi maksimum H (x) dicapai ketika semua keadaan sistem sama-sama sama. Itu artinya

(3.4)

Jika sistem X hanya bisa dalam satu negara (m \u003d 1), maka entropi-nya nol. Pertimbangkan sistem yang hanya dapat mengambil dua negara X1 dan X2 dengan probabilitas P1 dan P1:

Jumlah entropi sistem seperti itu sama

H (x) \u003d - (1/2 * Log 2 (1/2) + 1/2 * Log 2 (1/2)) \u003d -log 2 (1/2) \u003d LOG 2 (2) \u003d 1

Jumlah ini diambil sebagai satuan pengukuran entropi (informasi) dan disebut 1 bit (1 bit).

Pertimbangkan suatu fungsi

h (x) \u003d - (x * log 2 (x) + (1-x) * log 2 (1-x)). (3,5)

Area definisinya adalah interval (0; 1), LIMH (x) \u003d 0, pada x0 atau 1. Jadwal fungsi ini ditunjukkan pada gambar:

Ara. 4. Jadwal Fungsi (3,5)

Jika Anda menunjuk X oleh P 1, A (1-X) melalui p 2, Top 1 + p 2 \u003d 1; p 1, p 2  (0; 1), h (x) \u003d h (p 1) ) \u003d - (p 1 * log 2 (p 1) + (p 2) * log 2 (p 2)) - entropi sistem dengan dua negara; Maksimum h dicapai dengan 1 \u003d p 2 \u003d 0,5.

Grafik H (x) dapat digunakan saat menyelesaikan tugas-tugas berikut:

Tugas 1. Tiga variabel acak X, Y, Z diberikan, yang masing-masing mengambil dua nilai dengan probabilitas:

P (x \u003d x1) \u003d 0,5; P (x \u003d x2) \u003d 0,5;

P (y \u003d y1) \u003d 0,2; p (y \u003d y2) \u003d 0,8;

P (z \u003d z1) \u003d 0,3; P (z \u003d z2) \u003d 0,7.

Merekam P (x \u003d x1) \u003d 0,5 berarti nilai acak x mengambil nilai x1 dengan probabilitas 0,5. Diperlukan untuk mengatur entropi sistem ini dalam urutan menaik.

Keputusan. Entropy H (x) sama dengan 1 dan akan menjadi yang terbesar; Entropy H (Y) sama dengan nilai fungsi h (x), lihat (3,5), ATX \u003d 0,2, I.E.H (Y) \u003d H (0.2); entropyh (z) \u003d h (0.3). Menurut grafik h (x), dapat ditentukan bahwa H (0.2)< h(0.3). Следовательно, H(Y) < H(Z) < H(X).

Catatan 1.Entropi sistem adalah semakin besar, semakin sedikit perbedaan antara probabilitasnya satu sama lain. Berdasarkan ini, kita dapat menyimpulkan bahwa H (y)< H(Z). Например, если для систем X и Y с тремя состояниями заданы вероятности: дляX{0.4; 0.3; 0.3}, дляY{0.1; 0.1; 0.8}, то очевидно, что неопределённость системыXбольше, чем неопределённость системыY: у последней, скорее всего, будет реализовано состояние, вероятность которого равна 0.8 .

Entropy H (X) mencirikan tingkat ketidakpastian sistem. Semakin besar jumlah informasi yang diterima tentang sistem informasi, semakin banyak informasi tentang sistem, dan semakin tidak pasti kondisinya akan untuk penerima informasi.

Jika entropi sistem setelah menerima informasi sama dengan nol, ini berarti bahwa ketidakpastian menghilang, semua entropi "menyeberang" ke dalam informasi. Dalam hal ini, dikatakan bahwa informasi penuh diperoleh tentang sistem X. Jumlah informasi yang diperoleh dengan klarifikasi penuh dari keadaan sistem fisik, sama dengan entropi sistem ini.

Jika, setelah menerima pesan tertentu, ketidakpastian sistem kurang, tetapi tidak menghilang sama sekali, jumlah informasi yang terkandung dalam pesan sama dengan kenaikan entropi:

I \u003d H1 (x) - H2 (x), (3.6)

di mana H1 (X) dan H2 (X) adalah entropi sistem sebelum dan sesudah pesan, masing-masing. Jika H2 (x) \u003d 0, maka ukuran ketidakpastian sistem adalah nol dan informasi lengkap tentang sistem diperoleh.

Contoh. Anda ingin menebak jumlah poin yang jatuh pada kubus bermain. Anda menerima pesan bahwa jumlah poin jatuh. Berapa jumlah informasi yang berisi pesan ini?

Keputusan. Entropi sistem "bermain kubus" H1 sama dengan Log 2 6, karena Kubus dapat mengambil enam secara acak sama mungkinnegara (1, 2, 3, 4, 5, 6). Pesan yang diterima mengurangi jumlah yang mungkin menyatakan hingga tiga: (2, 4, 6), yaitu. Entropi sistem sekarang sama dengan H2 \u003d LOG 2 3. Peningkatan entropi sama dengan jumlah informasi yang diperoleh I \u003d H1 - H2 \u003d LOG 2 6 - LOG 2 \u003d 1BIT.

Pada contoh tugas yang dibongkar, salah satu definisi umum unit unit dapat dijelaskan - 1 bit: 1 bit adalah jumlah informasi yang mengurangi ketidakpastian status sistem dua kali.Ketidakpastian sistem diskrit tergantung pada jumlah keadaannya. Entropi Sebelum Menerima InformasiH1 \u003d Log 2 N. Jika, setelah menerima informasi, ketidakpastian menurun dua kali, maka ini berarti jumlah negara telah menjadi sama ton / 2, dan entropyh2 \u003d log 2 n / 2. Jumlah informasi yang diterima \u003d h1 -h2 \u003d log 2 n-log 2 n / 2 \u003d log 2 2 \u003d 1 bit.

Pertimbangkan beberapa tugas tentang penggunaan rumus Shannon dan Hartley.

Tugas 2.Dapat entropi sistem, yang mengambil secara acak salah satu dari 4 negara, adalah: a) 3; b) 2.1 c) 1,9 g) 1; d) 0.3? Jawab untuk menjelaskan.

Keputusan.Nilai maksimum yang mungkin dari entropi sistem dengan 4 negara mencapai dalam kasus ketika semua negara sama. Nilai ini menurut formula Hartley sama dengan tolog 2 4 \u003d 2 bit. Dalam semua kasus lain, entropi sistem dengan 4 negara akan kurang dari 2. Akibatnya, nilai-nilai kemungkinan entropi dari yang tercantum di atas dapat berupa nilai 1,9, 1, 0,3 .

Tugas 3.Fungsi diatur (x) \u003d -x * log 2 (x) - (1-x) * Log 2 (1-x). Tempatkan nilai-nilai berikut dalam urutan menaik: h (0.9), h (0.85), h (0.45), h (0.2), h (0,15).

Keputusan.Gunakan grafik fungsi (3,5). Nilai tertinggi akan menjadi H (0,45), nilai terkecil - h (0,9), maka nilai naik valid (0,15) ich (0,85) \u003d h (0,15); H (0.2). Jawaban: H (0.9)

Tugas 4.Pesan ditransmisikan melalui tautan: a) "start_b_10"; b) "loancha_1_v0". Bandingkan jumlah informasi dalam pesan pertama dan kedua.

Keputusan.Pesan pertama dan kedua terdiri dari karakter yang sama: yang kedua diperoleh dari yang pertama sebagai hasil permutasi karakter-karakter ini. Sesuai dengan rumus Schannon, pesan-pesan ini mengandung jumlah informasi yang sama. Pada saat yang sama, pesan pertama membawa informasi yang bermakna, dan yang kedua adalah set karakter sederhana. Namun, dalam hal ini, kita dapat mengatakan bahwa pesan kedua adalah opsi "terenkripsi" dari yang pertama, dan oleh karena itu jumlah informasi dalam kedua pesan adalah sama.

Tugas 5.Tiga posting yang berbeda diperoleh, B, C:

A \u003d "kedatangan jam sepuluh"; b \u003d "kedatangan pada sepuluh jam nol menit"; c \u003d "kedatangan tepat jam sepuluh." Menggunakan pendekatan entropi Schannon, bandingkan jumlah informasi yang terkandung dalam pesan-pesan ini.

Keputusan.Menunjukkan jumlah informasi dalam pesan a, b, c thidi (a), i (b), masing-masing, saya (c), masing-masing. Dalam arti "konten", pesan-pesan ini persis sama, tetapi konten yang sama dinyatakan menggunakan jumlah karakter yang berbeda. Dalam hal ini, semua simbol pesan A terkandung dalam pesan B dan C, pesan C \u003d A + "persis", b \u003d a + "nol menit"; Sesuai dengan pendekatan Shannon, kita dapatkan: i (a)< I(C) < I(B).

Insinyur Amerika R. Hartley. Pada tahun 1928. proses memperoleh informasi yang dianggap sebagai pilihan satu pesan dari pergantian akhir dari satu set dari N. pesan yang setara, dan jumlah informasi SAYA.terkandung dalam pesan yang dipilih, didefinisikan sebagai logaritma biner N. .

Formula Hartley:

I \u003d log2. N.

Misalkan Anda perlu menebak satu nomor dari satu set angka dari satu hingga seratus. Menurut formula Hartley, Anda dapat menghitung berapa banyak informasi yang diperlukan untuk ini: i \u003d LOG2100\u003e 6.644. Dengan demikian, pesan tentang angka yang ditebak dengan benar berisi jumlah informasi, kira-kira sama dengan 6.644 unit informasi.

Kami memberi orang lain contoh pesan yang setara:

1. Saat melempar koin: "Rusk jatuh", "Elang jatuh";

2. Pada halaman buku: "Jumlah huruf jelas", "Jumlah huruf huruf".

Kami mendefinisikan sekarang adalah pesan yang setara "Yang pertama akan keluar dari pintu gedung. dan "Yang pertama akan keluar dari pintu gedung seorang pria". Menjawab pertanyaan ini tidak ambigu tidak bisa. Itu semua tergantung pada bangunan seperti apa yang kita bicarakan. Jika ini, misalnya, stasiun metro, maka probabilitas keluar dari pintu adalah yang pertama bagi seorang pria dan wanita, dan jika itu adalah barak militer, maka untuk seorang pria probabilitas ini secara signifikan lebih tinggi daripada untuk untuk seorang wanita.

Untuk tugas-tugas seperti ini ilmuwan Amerika Claude Shannon Disarankan pada tahun 1948 formula lain untuk menentukan jumlah informasi yang memperhitungkan kemungkinan kemungkinan pesan yang tidak sama dalam set.

Formula Shannon:

I \u003d - ( p.1Log2. p.1 + p.2 Log2. p.2 +... + p.N log2. pn),

Dimana pi - kemungkinan itu sAYA.-E-pesan disorot di set N. pesan.

Mudah untuk melihat bahwa jika probabilitas p.1, ...,pn sama, maka masing-masing sama dengan 1 / N.Dan rumus Shannon berubah menjadi formula Hartley.

Claude Shannon bertekad informasi , sebagai ketidakpastian yang dihapus. . Lebih tepatnya, penerimaan informasi adalah kondisi yang diperlukan untuk menghilangkan ketidakpastian. Ketidakpastian muncul dalam situasi seleksi. Tugas yang terpecahkan selama pemindahan ketidakpastian adalah untuk mengurangi jumlah opsi yang dipertimbangkan (penurunan keanekaragaman), dan pada akhirnya pilihan satu situasi yang sesuai dari jumlah yang mungkin. Keputusan ketidakpastian memungkinkan untuk membuat solusi dan tindakan yang terinformasi. Ini adalah peran manajemen informasi.

Bayangkan Anda pergi ke toko dan meminta untuk menjual permen karet Anda. Penjual wanita yang, yang, katakanlah, 16 nilai karet mengunyah berada dalam kondisi ketidakpastian. Dia tidak dapat memenuhi permintaan Anda tanpa informasi lebih lanjut. Jika Anda menetapkan, katakanlah, "orbit", dan dari 16 opsi awal untuk wirani perempuan sekarang dianggap hanya 8, Anda telah mengurangi ketidakpastiannya dua kali (berjalan ke depan, katakanlah itu mengurangi ketidakpastian dua kali mematuhi mendapatkan 1 bit informasi ). Jika Anda, tanpa menyebabkan tahanan, cukup menunjukkan jari di jendela toko, "Ini ini!", Ketidakpastian itu sepenuhnya dihapus. Sekali lagi, berlari ke depan, katakanlah bahwa gerakan ini dalam contoh ini Anda telah memberi tahu wewewwoman 4 bit informasi.

Situasi ketidakpastian maksimum Menekankan kehadiran beberapa sEMUA Alternatif (Pilihan), I.E. Tidak ada opsi yang lebih disukai. Dan opsi yang lebih setara diamati, semakin besar ketidakpastian, semakin sulit itu untuk membuat pilihan yang tidak ambigu dan informasi lebih lanjut diperlukan untuk melakukan ini. Untuk N. Opsi Situasi ini dijelaskan oleh distribusi probabilitas berikut: (1 / N.,1/ N., …,1/ N.} .

Ketidakpastian minimum sama dengan 0. situasi ini kepastian penuh , artinya pilihan dibuat, dan semua informasi yang diperlukan diperoleh. Distribusi probabilitas untuk situasi kepastian total terlihat seperti ini: (1, 0, ... 0).

Kuantitas yang mengkarakterisasi jumlah ketidakpastian dalam teori informasi ditunjukkan oleh simbol. H. dan memiliki nama entropy. , lebih tepatnya entropi Informasi. .

Entropi ( H.) – ukuran ketidakpastian , diekspresikan dalam bit. Juga entropi dapat dilihat sebagai ukur keseragaman distribusi variabel acak.

Ara. 3.4 Perilaku entropi untuk kasus dua alternatif

Pada Gambar. 3.4 menunjukkan perilaku entropi untuk kasus dua alternatif, ketika mengubah rasio probabilitas mereka ( P., (1-P.)).

Nilai maksimum entropi mencapai dalam kasus ini ketika kedua probabilitas sama satu sama lain dan sama dengan 1/2, nilai nol entropi sesuai dengan kasus ( P.0=0, P.1 \u003d 1) dan ( P.0=1, P.1=0).

Jumlah informasi I. dan entropy H. Karakterisasi situasi yang sama, tetapi dari sisi yang sangat berlawanan. Saya adalah jumlah informasi yang diperlukan untuk menghapus ketidakpastian H. Menurut definisi Leon Brilllyuan informasi adalah entropi negatif(negentropium) .

Ketika ketidakpastian sepenuhnya dihapus, jumlah informasi yang diterima SAYA. sama-sama awalnya ketidakpastian H..

Dalam hal pengangkasan sebagian ketidakpastian, jumlah informasi yang dihasilkan dan sisa ketidakpastian yang tidak perlu adalah dalam jumlah ketidakpastian awal. Ht + it \u003d h(Gbr. 3.5).

Ara. 3.5 Komunikasi antara entropi dan jumlah informasi

Untuk alasan ini, formula yang akan disajikan di bawah ini untuk menghitung entropi H. keduanya formula untuk menghitung jumlah informasi SAYA.. Ketika datang ke penghapusan penuh ketidakpastian, H.mereka dapat diganti oleh SAYA..

Secara umum, Entropy. H. dan jumlah yang diperoleh sebagai akibat dari penghapusan ketidakpastian informasi SAYA. tergantung pada jumlah awal opsi yang sedang dipertimbangkan N. dan probabilitas priori dari implementasi masing-masing P:{p.0,p.1, …,pn-1), mis. H \u003d f.(N.,P.). Perhitungan entropi dalam hal ini diproduksi menurut Formula Shannon Diusulkan olehnya pada tahun 1948 dalam artikel "Teori Komunikasi Matematika".

KhususnyaKetika semua opsi secara garingnya sehat, Ketergantungan tetap hanya pada jumlah opsi yang dipertimbangkan, I.E. H \u003d f.(N.). Dalam hal ini, formula Channon sangat disederhanakan dan bertepatan dengan formula Hartley. , yang pertama kali disarankan oleh insinyur Amerika Ralph Hartley pada tahun 1928, mis. 20 tahun sebelumnya.

Formula Shannon memiliki bentuk sebagai berikut:

Masuk rumus minus (2.1) tidak berarti bahwa entropi adalah nilai negatif. Itu dijelaskan oleh fakta bahwa pi£ 1 menurut definisi, dan logaritma dari unit yang lebih kecil adalah nilai negatif. Oleh properti logaritma, jadi formula ini dapat direkam dalam versi kedua, tanpa minus sebelum jumlah jumlah.

Ekspresi ditafsirkan sebagai jumlah informasi pribadi. SAYA T.diperoleh dalam hal implementasi sAYA.Pilihan. Entropi dalam formula Shannon adalah karakteristik rata-rata - ekspektasi matematika dari distribusi variabel acak ( SAYA.0,SAYA.1, …,DI-1} .

Kami memberikan contoh penghitungan entropi sesuai dengan Formula Shannon. Biarkan di beberapa institusi, komposisi pekerja didistribusikan sebagai berikut: 3/4 - wanita, 1/4 - laki-laki. Kemudian ketidakpastian, misalnya, tentang siapa Anda akan bertemu yang pertama, pergi ke institusi, akan dihitung di sebelah tindakan yang ditunjukkan pada tabel. 3.1.

Tabel 3.1.

Kami telah menyebutkan bahwa formula Hartley adalah kasus khusus formula Shannon untuk alternatif yang setara.

Menggantikan formula (2.1) sebagai gantinya pi itu (dalam kasus yang setara, terlepas dari sAYA.) Nilai, kami dapatkan:

Dengan demikian, formula Hartley terlihat sangat sederhana:

Itu jelas mengikuti bahwa semakin banyak alternatif ( N.), semakin besar ketidakpastian ( H.). Logaritma berdasarkan 2 menyediakan jumlah opsi untuk unit pengukuran informasi - bit. Gambar 3.6 menyajikan ketergantungan entropi pada jumlah opsi pemilihan yang setara.

Ara. 3.6 Ketergantungan entropi pada jumlah opsi pemilihan kesetimbangan (alternatif yang setara)

Untuk memecahkan masalah terbalik ketika ketidakpastian diketahui ( H.) atau jumlah informasi yang diperoleh sebagai hasil dari penghapusannya ( SAYA.) Dan Anda perlu menentukan berapa banyak yang sama-sama berhubungan dengan munculnya ketidakpastian ini, gunakan rumus balik Hartley, yang bahkan terlihat lebih mudah:

Misalnya, jika diketahui bahwa sebagai akibat dari penentuan fakta bahwa Kolya Ivanov tertarik pada lantai dua, 3 bit informasi diperoleh, jumlah lantai di rumah dapat ditentukan oleh formula (2.3) sebagai N \u003d23= 8JETESS.

Jika pertanyaannya adalah sebagai berikut: "Di rumah 8 lantai, berapa banyak informasi yang kami terima, setelah mengetahui bahwa kolya ivanov tertarik pada lantai dua?" Perlu untuk menggunakan rumus (2.2): I \u003d.log2 (8) \u003d 3 bit.

Sejauh ini, kami telah memberikan formula untuk menghitung entropi (ketidakpastian) H.menunjuk itu H. Mereka dapat diganti oleh SAYA.Karena jumlah informasi yang diterima dengan perpindahan penuh ketidakpastian Beberapa situasi, secara kuantitatif sama dengan entropi awal dari situasi ini.

Tapi ketidakpastian hanya dapat dihilangkan sebagian, oleh karena itu jumlah informasi iberasal dari beberapa pesan dihitung sebagai mengurangi entropi yang terjadi sebagai hasil dari penerimaanini pesan.

Untuk kasus yang setaraMenggunakan untuk menghitung rumus entropi Hartley, kami dapatkan:

Kesetaraan kedua ditampilkan berdasarkan sifat-sifat logaritma. Dengan demikian, dalam kasus kesetiaan SAYA. tergantung pada berapa kali Jumlah opsi pemilihan yang dipertimbangkan telah berubah (keanekaragaman dalam pertimbangan).

Berdasarkan (3,5), Anda dapat menarik yang berikut:

Jika, kemudian - penghapusan penuh ketidakpastian, jumlah informasi yang diterima dalam pesan sama dengan ketidakpastian yang ada sebelum menerima pesan.

Jika, maka ketidakpastian belum berubah, oleh karena itu, tidak ada informasi.

Jika, lalu \u003d\u003e,

jika, lalu \u003d\u003e.

Itu. Jumlah informasi yang diterima akan menjadi nilai positif jika, sebagai hasil dari menerima pesan, jumlah alternatif yang dipertimbangkan menurun, dan negatif, jika lebih.

Jika jumlah alternatif yang dipertimbangkan sebagai hasil dari menerima pesan itu dibelah dua, yaitu. SAYA.\u003d LOG2 (2) \u003d 1 sedikit.Dengan kata lain, mendapatkan 1 bit informasi tidak termasuk dalam pertimbangan setengah dari opsi yang setara.

Pertimbangkan sebagai pengalaman contoh dengan setumpuk 36 kartu (Gbr.3.7).

Ara. 3.7 Ilustrasi untuk Pengalaman dengan setumpuk 36 kartu

Biarkan seseorang mengeluarkan satu kartu dari dek. Kami tertarik pada salah satu dari 36 kartu yang ia ambil. Ketidakpastian awal, dihitung dengan rumus (3.2), adalah H \u003d.log2 (36) @ 5,17 sedikit. Peta yang diharapkan memberi tahu kami beberapa informasi. Menggunakan Formula (3,5), kami menentukan berapa banyak informasi yang kami terima dari pesan-pesan ini:

Opsi A. "Ini adalah peta jas merah."

SAYA.\u003d LOG2 (36/18) \u003d LOG2 (2) \u003d 1bit (kartu merah di dek setengah, ketidakpastian menurun 2 kali).

Varian B. "Ini adalah platform puncak".

SAYA.\u003d LOG2 (36/9) \u003d LOG2 (4) \u003d 2 bit (kartu puncak make up seperempat dari geladak, ketidakpastian menurun 4 kali).

Opsi C. "Ini adalah salah satu kartu senior: cincin, wanita, raja atau ace."

SAYA.\u003d LOG2 (36) -Log2 (16) \u003d 5.17-4 \u003d 1,17 bit (ketidakpastian menurun lebih dari dua kali, oleh karena itu jumlah informasi yang diperoleh lebih besar dari satu bit).

Varian D. "Ini adalah satu kartu dari dek."

SAYA.\u003d LOG2 (36/36) \u003d log2 (1) \u003d 0 bit (ketidakpastian tidak berkurang - pesannya tidak informatif).

Perwujudan E. "Ini adalah puncak wanita."

SAYA.\u003d LOG2 (36/1) \u003d LOG2 (36) \u003d 5,17 bit (ketidakpastian sepenuhnya dihapus).

Tugas 1.Berapa jumlah informasi yang akan berisi pesan visual tentang warna bola yang rusak, jika 50 putih, 25 merah, 25 bola biru terletak di tas buram?

Keputusan.

1) Bola Total 50 + 25 + 25 \u003d 100

2) probabilitas bola 50/100 \u003d 1/2, 25/100 \u003d 1/4, 25/100 \u003d 1/4

3)SAYA. \u003d - (1/2 LOG21 / 2 + 1/4 LOG21 / 4 + 1/4 LOG21 / 4) \u003d - (1/2 (0-1) +1/4 (0) -2) \u003d \u003d 1,5 bit

Tugas 2. Keranjang terletak 16 bola warna yang berbeda. Berapa banyak informasi yang Anda punya bola putih?

Keputusan. Karena N \u003d 16 bola, lalu i \u003d log2 n \u003d log2 16 \u003d 4 bit.

Tugas 3.Di keranjang berbaring bola hitam dan putih. Di antara mereka18 bola hitam. Pesan bahwa bola putih diambil, membawa 2 bit informasi. Berapa banyak bola di keranjang?

1) 18 2) 24 3) 36 4)48

Keputusan. Kami menemukan probabilitas untuk mendapatkan bola putih menurut Shannon: LOG2N \u003d 2, N \u003d 4, oleh karena itu, kemungkinan memperoleh mangkuk putih adalah 1/4 (25%), dan kemungkinan memperoleh bola hitam, masing-masing, 3/4 (75%). Jika 75% dari semua bola hitam, nomor 18 mereka, maka 25% dari semua bola putih, jumlah mereka (18 * 25) / 75 \u003d 6.

Masih menemukan jumlah semua bola di keranjang 18 + 6 \u003d 24.

Jawaban: 24 bola.

Tugas 4.Di beberapa negara, jumlah mobil 5 karakter terdiri dari huruf kapital (30 huruf digunakan) dan digit desimal dalam urutan apa pun. Setiap simbol dikodekan dalam jumlah bit yang sama dan minimal, dan setiap angka sama dan minimal mungkin dengan byte. Tentukan jumlah memori yang diperlukan untuk menyimpan 50 nomor mobil.

1) 100 byte 2) 150 byte 3) 200 byte 4) 250 byte

Keputusan. Jumlah karakter yang digunakan untuk menyandikan nomornya adalah: 30 huruf + 10 digit \u003d 40 karakter. Jumlah informasi yang membawa satu karakter adalah 6 bit (2i \u003d 40, tetapi jumlah informasi tidak dapat berupa angka fraksional, oleh karena itu kami mengambil tingkat dua yang terdekat dari sejumlah besar karakter 26 \u003d 64).

Kami menemukan jumlah informasi yang tertanam dalam setiap simbol, jumlah karakter di dalam ruangan adalah 5, oleh karena itu, 5 * 6 \u003d 30 bit. Setiap angka adalah 30 bit informasi, tetapi dengan kondisi tugas, setiap angka dikodekan sama dan jumlah minimum byte yang mungkin, oleh karena itu, kita perlu mengetahui berapa banyak byte dalam 30 bit. Jika dibagi 30 hingga 8, angka fraksional akan diperoleh, dan kita perlu menemukan jumlah byte keseluruhan untuk setiap angka, jadi kami menemukan pengganda 8-ki terdekat, yang akan melebihi jumlah bit, yaitu 4 (8 * 4 \u003d 32). Setiap angka dikodekan dengan 4 byte.

Untuk penyimpanan 50 bilangan mobil, Anda perlu: 4 * 50 \u003d 200 byte.

Pilihan strategi optimal dalam permainan "Tebak nomor". Pada saat diterimanya jumlah maksimum informasi, pilihan strategi optimal dalam permainan "Tebak nomor" dibangun, di mana peserta pertama membuat bilangan bulat (misalnya, 3) dari interval yang ditentukan (misalnya, dari 1 hingga 16), dan yang kedua harus "menebak" angka yang dimaksud. Jika Anda mempertimbangkan permainan ini dari sudut pandang informasi, ketidakpastian awal pengetahuan untuk peserta kedua adalah 16 acara yang mungkin (opsi untuk angka misterius).

Dengan strategi yang optimal, interval jumlah harus selalu berbagi setengah, maka jumlah kemungkinan peristiwa (angka) dalam setiap interval yang diperoleh akan sama dan menyesuaikan interval sama. Dalam hal ini, pada setiap langkah, respons pemain pertama ("ya" atau "tidak") akan menanggung jumlah maksimum informasi (1 bit).

Seperti yang bisa dilihat dari tabel. 1.1, menebak angka 3 terjadi dalam empat langkah, pada masing-masing ketidakpastian pengetahuan partisipan kedua menurun dua kali dengan menerima pesan dari peserta pertama yang berisi 1 bit informasi. Dengan demikian, jumlah informasi yang diperlukan untuk membalas salah satu dari 16 angka, berjumlah 4 bit.

Periksa pertanyaan dan tugas

1. A Priori diketahui bahwa bola berada di salah satu dari tiga URN: A, IN atau C. Tentukan berapa banyak informasi yang berisi pesan yang ada di URN V.

Pilihan:1sedikit,1,58sedikit,2sedikit,2,25sedikit.

2. Probabilitas acara pertama adalah 0,5, dan kedua dan ketiga 0,25. Apa distribusi sama dengan entropi informasi. Pilihan:0,5sedikit,1 sedikit,1,5sedikit,2sedikit,2,5sedikit,3sedikit.

3. Berikut adalah daftar karyawan dari beberapa organisasi:

Tentukan jumlah informasi yang hilang untuk memenuhi permintaan berikut:

Silakan hubungi Ivanov ke telepon.

Saya tertarik pada salah satu karyawan Anda, lahir pada tahun 1970.

4. Manakah dari pesan beruang lebih banyak informasi:

· Sebagai hasil dari mengambil koin (elang, buru-buru), terburu-buru jatuh.

· Pada lampu lalu lintas (merah, kuning, hijau) sekarang lampu hijau.

· Sebagai hasil dari pemulihan tulang bermain (1, 2, 3, 4, 5, 6), 3 poin jatuh.

Yang paling meluas ketika menentukan jumlah rata-rata informasi, yang terkandung dalam pesan dari sumber-sumber yang paling berbeda, mendapat pendekatan. Ke Shannon. Pertimbangkan situasi berikut.
Sumber mentransmisikan sinyal dasar k. Tipe yang berbeda. Mari kita ikuti segmen pesan yang cukup panjang. Biarkan itu N.1 dari sinyal tipe pertama, N.2 Sinyal tipe kedua, ..., N.k. Sinyal k.- ketik, dan N.1 + N.2 + ... + N.k. = N. - Jumlah total sinyal di segmen yang diamati, f.1, f.2, ..., f.k. - Frekuensi dari sinyal yang sesuai. Sebagai peningkatan panjang segmen pesan, masing-masing frekuensi cenderung pada batas tetap, I.E.
Lim. f.sAYA. = p.sAYA., (sAYA. = 1, 2, ..., k.),
Dimana r.sAYA. Anda dapat mempertimbangkan probabilitas sinyal. Misalkan sinyal yang diterima sAYA.-Jenis dengan probabilitas r.sAYA.Berisi - Log. p.sAYA. Unit informasi. Di segmen yang sedang dipertimbangkan sAYA.- Sinyal akan bertemu kurang lebih Np.sAYA. kali (kami berasumsi itu N. cukup besar), dan informasi umum yang disampaikan oleh sinyal jenis ini akan sama dengan pekerjaan Np.sAYA. Catatan. r.sAYA.. Hal yang sama mengacu pada sinyal jenis lain, sehingga jumlah informasi penuh yang disampaikan oleh segmen dari N. Sinyal akan kira-kira sama

Untuk menentukan jumlah rata-rata informasi pada satu sinyal, I.E. Sumber informasi spesifik, Anda perlu membagi nomor ini pada N.. Dengan pertumbuhan yang tidak terbatas, perkiraan kesetaraan akan tepat. Akibatnya, rasio asimptotik akan diperoleh - rumus Shannon

Baru-baru ini, itu menjadi tidak jarang daripada formula Einstein yang terkenal E. = mC. 2. Ternyata rumus yang diusulkan oleh Hartley adalah kasus khusus dari formula Shannon yang lebih umum. Jika dalam formula Schannam untuk menerimanya
r.1 = p.2 = ... = r.sAYA. = ... =p.N. = 1/N.T.

Tanda minus dalam formula Shannon tidak berarti bahwa jumlah informasi dalam pesan adalah nilai negatif. Itu dijelaskan oleh fakta bahwa probabilitas r.Menurut definisi, kurang dari satu, tetapi lebih nol. Sejak logaritma unit yang lebih kecil, mis. Catatan. p.sAYA. - Nilainya negatif, maka produk dari probabilitas pada logaritma angka akan positif.
Selain formula ini, Shannon mengusulkan skema komunikasi abstrak yang terdiri dari lima elemen (sumber informasi, pemancar, jalur komunikasi, penerima dan penerima), dan bandwidth yang diformulasikan, imunitas kebisingan, pengkodean, dll.
Sebagai hasil dari pengembangan teori informasi dan aplikasinya, ide-ide Shannon dengan cepat mendistribusikan pengaruhnya pada bidang pengetahuan yang paling berbeda. Terlihat bahwa rumus Shannon sangat mirip dengan rumus entropi yang digunakan dalam fisika, yang diperoleh oleh Boltzmann. Entropi menunjukkan tingkat gangguan bentuk statistik molekul. Entropy maksimal dengan distribusi parameter gerakan molekul yang setara (arah, kecepatan dan posisi spasial). Nilai entropi berkurang jika pergerakan molekul diatur. Karena pengaturan pemesanan meningkat, entropi cenderung nol (misalnya, ketika hanya satu nilai dan arah kecepatan dimungkinkan). Saat menyusun pesan (teks) dengan bantuan entropi, adalah mungkin untuk mengkarakterisasi tingkat kerupih gerakan (pergantian) karakter. Teks dengan entropi maksimum adalah teks dengan distribusi kesetiaan dari semua huruf alfabet, I.E. Dengan ganti surat yang tidak berarti, misalnya: YKHZZZZCHCHCHCHCHCHCHCHCHAYADVLVLOARAPAYAYUYUHB SBSM. Jika probabilitas huruf yang sebenarnya diperhitungkan saat menyusun teks, maka dalam "frasa" yang diperoleh dengan demikian akan ada urutan tertentu dari gerakan huruf, diatur oleh frekuensi penampilan mereka: OTE dari OKRS AKSH TSHI.
Ketika memperhitungkan probabilitas kombinasi empat huruf, teks menjadi sangat diperintahkan, menurut beberapa fitur formal, didekati bermakna: itu tidak kering dan Nepo dan Corco. Alasan pemesanan semacam itu dalam hal ini adalah informasi tentang pola-pola teks statistik. Dalam teks yang bermakna, tertib, tentu saja, bahkan lebih tinggi. Jadi, dalam frasa datang ... Spring Kami memiliki informasi lebih lanjut tentang gerakan (pergantian) surat. Dengan demikian, teks ke teks meningkatkan pemesanan dan informasi yang kami miliki tentang teks, dan entropi (ukuran gangguan) berkurang.
Menggunakan perbedaan dalam rumus jumlah informasi Shannon dan ertropy Boltzmann (tanda-tanda berbeda), L. Brillurian ditandai informasi sebagai entropi negatif, atau negentropy.. Karena entropi adalah ukuran Disordex, lalu informasi dapat didefinisikan sebagai pengukuran sistem material .
Karena kenyataan bahwa penampilan formula bertepatan, dapat diasumsikan bahwa konsep informasi tidak menambah apa pun dengan konsep entropi. Namun, tidak. Jika konsep entropi sebelumnya hanya digunakan untuk sistem, mencari keseimbangan termodinamika, I.E. Untuk gangguan maksimum dalam pergerakan komponennya, untuk peningkatan entropi, konsep informasi juga telah memperhatikan sistem yang tidak meningkatkan entropi, tetapi sebaliknya, berada dalam keadaan kecil dengan nilai-nilai kecil entropi , cenderung mengurangi itu.

Sulit untuk melebih-lebihkan pentingnya ide-ide teori informasi dalam pengembangan berbagai macam bidang ilmiah.
Namun, menurut K. Shannon, semua masalah yang belum terselesaikan tidak dapat diselesaikan dengan kata-kata ajaib seperti "informasi", "entropi", "redundansi".
Teori informasi didasarkan pada probabilistik, pola statistik fenomena. Ini memberikan alat yang bermanfaat, tetapi bukan serbaguna. Oleh karena itu, banyak situasi tidak cocok dengan model informasi Shannon. Tidak selalu mungkin untuk mendatangi daftar semua negara negara dan menghitung probabilitas mereka. Selain itu, hanya sisi formal dari pesan yang dipertimbangkan dalam teori informasi, sedangkan maknanya tetap di samping. Misalnya, sistem stasiun radar mengarah pada observasi wilayah udara untuk mendeteksi sistem pesawat lawan S.diikuti oleh pengamatan, dapat berada di salah satu dari dua negara x.1 - musuhnya adalah, x.2 - tidak ada musuh. Pentingnya pesan pertama tidak dapat dinilai menggunakan pendekatan probabilistik. Pendekatan ini dan ukuran berdasarkan jumlah informasi yang diungkapkan, pertama-tama, sisi "struktur-sintaksis" dari transfernya, I.E. Mengekspresikan hubungan sinyal. Namun, konsep "probabilitas", "ketidakpastian", yang dengannya konsep informasi dikaitkan, asumsikan proses pilihan. Proses ini hanya dapat diimplementasikan jika ada banyak kemungkinan. Tanpa ini, kondisinya dapat diasumsikan, transmisi informasi tidak mungkin.