Pode haver qualquer símbolo do alfabeto na posição de cada símbolo. SOU.; A quantidade de informações sobre um símbolo de mensagem é igual ao valor médio das informações em todos os caracteres do alfabeto. SOU.:

A quantidade total de informações contidas na mensagem de n. Símbolos são:

Se todos os caracteres do alfabeto SOU. aparecem com igual probabilidade, então todos p i \u003d p. Como ΣR i \u003d 1T. p \u003d 1 / m.

A fórmula no caso quando todos os símbolos do alfabeto são iguais, assume o formulário

I \u003d. n.*Registro. 2 (m.).

Resultado: a fórmula de Shannon no caso quando todos os personagens do alfabeto são igualmente trânsito, entra na fórmula Hartley.

No caso geral, o número de entropia h de um sistema arbitrário X. (variável aleatória) que pode ser em m. Estados diferentes. x 1, x 2, ... x m Com probabilidades p 1, p 2, ... p m calculado pela fórmula de Shannon é igual

Recall de que p 1 + P 2 + ... + p m \u003d 1. Se todos p. Eu mesmo, então todo o status do sistema X. equivalente; nesse caso p i \u003d 1 / m, e a fórmula vai para a fórmula Hartley: H (x) \u003d log 2 (m).

Comente.O número de entropia do sistema (variável aleatória) H. não depende do que os estados especificamente x 1, x 2, ... x m pode ser um sistema, mas depende do número m. Esses estados e probabilidade p 1, p 2, ... p m Com o qual o sistema pode ser nesses estados. Isso significa que dois sistemas em que o número de estados é igualmente, e a probabilidade desses estados p 1, p 2, ... p m igual (com uma precisão da ordem de transmissão), ter entropia igual.

Teorema.Entropia máxima H (x) É conseguido no caso em que todos os estados do sistema são igualmente iguais. Significa que

Se o sistema X puder ser apenas um estado ( m \u003d 1.), então sua entropia é igual zero.

Considere um sistema que só pode levar dois estados. x1. e x2. Com probabilidades p1. e p2.:

O número de entropia de tal sistema é igual

H (x) \u003d - (1/2 * log 2 (1/2) + 1/2 * log 2 (1/2)) \u003d -log 2 (1/2) \u003d log 2 (2) \u003d 1

Este montante é feito por unidade de medição de entropia (informação) e é chamado 1 bit (1 bit).

Considere uma função

h (x) \u003d - (x * log 2 (x) + (L-x) * log 2 (L-X))

Área de sua definição - intervalo (0 ;1) , Lim h (x) \u003d 0 para h.-\u003e 0ili. h.-> 1.

O cronograma desse recurso é mostrado na figura:

Programar função H (x) \u003d - (x * log 2 (x) + (l - x) * log 2 (L - x))

Se você designar x através p 1., mas (1-x) Através dos p 2.T. p 1 + P 2 \u003d 1; p 1, p 2 a (0; 1), h (x) \u003d h (p 1, p 2) \u003d - (p 1 * log 2 (p 1) + (p 2) * log 2 (p 2)) - Sistema de entropia com dois estados; máximo H. alcançado em p 1 \u003d p 2 \u003d 0,5.

O gráfico H (X) pode ser usado ao resolver as seguintes tarefas:

Tarefa 1. Existem três variáveis \u200b\u200baleatórias X, Y, Z, cada uma das quais leva dois valores com probabilidades:

1. p (x \u003d x1) \u003d 0,5; P (x \u003d x2) \u003d 0,5;

2. p (y \u003d y1) \u003d 0,2; P (y \u003d y2) \u003d 0,8;

3. p (z \u003d z1) \u003d 0,3; P (z \u003d z2) \u003d 0,7.

Gravação P (x \u003d x1) \u003d 0,5 significa que o valor aleatório X leva o valor X1 com uma probabilidade de 0,5. É necessário providenciar a entropia desses sistemas em ordem crescente.

Decisão.

A entropia h (x) é igual a 1 e será a maior;

A entropia h (y) é igual ao valor da função H (x), () em x \u003d 0,2, isto é. H (y) \u003d h (0,2);

Entropia h (z) \u003d h (0,3). De acordo com o gráfico H (X), pode ser determinado que h (0,2)< h(0.3). Следовательно, H(Y) < H(Z) < H(X).

Nota 1. A entropia do sistema é a maior, a menor diferença entre as probabilidades de seus estados uns dos outros.

Com base nisso, podemos concluir que h (y)< H(Z).

Por exemplo, se houver probabilidades para x e y com três estados: para x (0,4; 0,3; 0,3), para y (0,1; 0,1; 0,8), é óbvio que a incerteza do sistema x é maior que a incerteza. do sistema Y: o último provavelmente, a condição será implementada, cuja probabilidade é de 0,8.

A entropia h (x) caracteriza o grau de incerteza do sistema. Quanto maior a quantidade de informações recebidas sobre o sistema de informação, mais informações sobre o sistema, e menos incerta seu estado será para o destinatário da informação.

Se a entropia do sistema após receber informações se tornarem iguais a zero, isso significa que a incerteza desapareceu, toda a entropia "cruzada" em informações. Nesse caso, é dito que informações completas sobre o sistema X foi obtida. A quantidade de informações adquiridas com a maior clarificação do estado do sistema físico é igual à entropia desse sistema.

Se depois de receber uma determinada mensagem, a incerteza do sistema X se tornou menos, mas não desapareceu, a quantidade de informações contidas na mensagem é igual ao incremento da entropia:

I \u003d H1 (x) - H2 (x),

onde H1 (x) e H2 (x) é a entropia do sistema antes e depois da mensagem, respectivamente. Se h2 (x) \u003d 0, a medida da incerteza do sistema é zero e informações completas sobre o sistema foi obtida.

Exemplo. Você quer adivinhar o número de pontos que caem em um cubo de jogo. Você recebeu uma mensagem que o número de pontos caiu. Qual quantidade de informação contém esta mensagem?

Decisão. Sistema de entropia "jogando cubo" H1.igual Log 2 6.Porque O cubo pode levar aleatoriamente seis igual possívelestados (1, 2, 3, 4, 5, 6). A mensagem recebida reduz o número de estados possíveis até três: (2, 4, 6), isto é. O sistema de entropia é agora igual H2 \u003d log 2 3. O incremento da entropia é igual ao número de informações obtidas I \u003d H1 - H2 \u003d LOG 2 6 - LOG 2 3 \u003d LOG 2 2 \u003d 1 bit.

No exemplo de uma tarefa desmontada, uma das definições comuns da unidade unitária pode ser explicada - 1 bits: 1 bit é uma série de informações que reduz a incerteza do status do sistema por duas vezes.

A incerteza do sistema discreta depende do número de seus estados N.

Entropia antes de receber informações H1 \u003d log 2 n. Se, após receber informações, a incerteza diminuiu duas vezes, isso significa que o número de estados se tornou igual a N / 2, e a entropia H2 \u003d LOG 2 N / 2. O número de informações recebidas I \u003d H1 -H2 \u003d LOG 2 N - LOG 2 N / 2 \u003d LOG 2 2 \u003d 1 bit.

Considere várias tarefas sobre o uso da fórmula Shannon e Hartley.

Tarefa 2.A entropia do sistema, que leva aleatoriamente um dos 4 estados, é: a) 3; b) 2,1 c) 1,9 g) 1; e) 0.3? Responda para explicar.

Decisão.O valor máximo possível da entropia do sistema com 4 estados atinge no caso quando todos os estados são iguais. Este valor de acordo com a fórmula Hartley é igual a log 2 4 \u003d 2 bits. Em todos os outros casos, a entropia do sistema com 4 estados será menor que 2. Consequentemente, os valores possíveis da entropia daqueles listados acima podem ser valores de 1,9, 1, 0,3.

Tarefa 3.A função h (x) \u003d -x * log 2 (x) é definida - (1-x) * log 2 (1-x). Coloque os seguintes valores em ordem crescente: H (0,9), H (0,85), H (0,45), H (0,2), H (0,15).

Decisão.Use o gráfico da função (3.5). O maior valor será H (0,45), o menor valor - H (0,9), depois os valores de H (0,15) e H (0,85) \u003d H (0,15) são ascendentes; H (0,2). Resposta: H (0,9)< H(0.15)=H(0.85)< H(0.2) < H(0.45). É

Tarefa 4.As mensagens são transmitidas pelo link: a) "start_b_10"; b) Loancha_1_v0. Compare a quantidade de informação na primeira e segunda mensagem.

Decisão.A primeira e segunda mensagem consistem nos mesmos caracteres: o segundo é obtido a partir do primeiro como resultado da permutação desses caracteres. De acordo com a fórmula de Schannon, essas mensagens contêm a mesma quantidade de informação. Ao mesmo tempo, a primeira mensagem traz as informações significativas, e o segundo é um simples conjunto de personagens. No entanto, neste caso, podemos dizer que a segunda mensagem é uma opção "criptografada" do primeiro e, portanto, a quantidade de informações em ambas as mensagens é a mesma.

Tarefa 5.Três mensagens diferentes A, B, C são obtidas:

A \u003d "Chegada às dez horas"; B \u003d "Chegada às dez horas zero minutos"; C \u003d "Chegada exatamente dez horas". Usando a abordagem de entropia de Schannon, compare a quantidade de informações contidas nessas mensagens.

Decisão.Denote a quantidade de informações em mensagens A, B, C através de I (a), I (b), I (c), respectivamente. No sentido de "conteúdo", essas mensagens são exatamente as mesmas, mas o mesmo conteúdo é expresso usando um número diferente de caracteres. Nesse caso, todos os símbolos da mensagem A estão contidos na mensagem B e C, a mensagem C \u003d A + "Exatamente", B \u003d A + "Minutos Zero"; De acordo com a abordagem de Shannon, recebemos: i (a)< I(C) < I(B).

Nosso mundo é baseado em três componentes: substância, energia e informações. Quantos no mundo das substâncias, energia e informação? É possível medi-los e como exatamente? Sabemos como medir a quantidade de substância e energia. Mas e quanto a informação? É possível medi-lo?

Mais cedo, observou-se que existem várias abordagens para avaliar o número de informações. Agora vamos ficar em detalhes em um deles.

Qualquer mensagem será informativa se repletar o conhecimento humano, isto é. Reduz a incerteza de seu conhecimento.

Eventos de igualdade

Exemplo 1.

Por exemplo, ao jogar uma moeda, estamos tentando adivinhar qual lado ele cairá. Uma das opções de resultado é possível: a moeda será na posição "águia" ou "rush". Cada um desses dois eventos será equivalente, ou seja, nenhum deles tem as vantagens para os outros. Antes de jogar uma moeda, ninguém pode saber como cai, isto é. Há uma incerteza do conhecimento. Após a ocorrência do evento, pelo contrário, há uma certeza completa, uma vez que o lançamento recebe uma mensagem visual sobre a posição de uma moeda, que, por sua vez, reduz a incerteza de seu conhecimento duas vezes, desde um dos dois eventos de equilíbrio ocorreu.

Exemplo 2.

Outro exemplo é a situação com um cubo de hexagon, ou seja. Antes do lançamento, ninguém pode saber qual lado ele vai cair. Nesse caso, há uma oportunidade para obter um resultado de seis equivalentes. Assim, antes de jogar a incerteza do conhecimento do arremesso será igual a 6, após o lançamento, diminuirá exatamente 6 vezes, uma vez que são 6 eventos equivalentes que podem ocorrer.

Exemplo 3.

Considere um exemplo em que 40 ingressos preparados para o exame. A probabilidade de eventos que ocorrerão ao puxar o bilhete serão iguais a 40. E esses eventos serão iguais. Ao mesmo tempo, a incerteza do conhecimento do aluno antes da escolha do ingresso será igual a 40. Por conseguinte, a incerteza do conhecimento após o aluno levou o ingresso diminuirá 40 vezes. Deixe-nos perguntar se este indicador depende do número do bilhete alongado. Não, uma vez que os eventos são igualmente).

Depois de analisar todos os exemplos discutidos acima, pode-se concluir que quanto maior o número inicial de eventos equivalentes possíveis, mais tempo a incerteza do conhecimento diminui, e quanto mais informações serão contidas no relatório do experimento.

Eventos de não equilíbrio

Considere como um exemplo falado linguagem. Voltamos para os fatos da pesquisa comprovada, que mostram que em todas as línguas colaborativas, algumas letras ocorrem muito mais frequentemente do que outras. Os resultados da pesquisa confirmam que US $ 1.000 letras em diferentes linguagens colaborativas representam um número diferente de repetições. Como exemplos na tabela apresenta algumas letras em russo e inglês:

Imagem 1.

Além disso, a probabilidade da aparência de letras individuais dependerá de quais letras são usadas na frente deles. Então, em russo depois de uma vogal, um sinal suave nunca pode ficar, bem como em palavras, quatro vogais não são usadas, etc. As línguas faladas têm, como regra, suas próprias características e padrões. É por isso que a quantidade de informações contidas em mensagens de qualquer idioma coloquial é inaceitável para avaliar o uso da fórmula Hartley, que é usada em uma abordagem alfabética para a avaliação da informação e é característica de exemplos com eventos equivalentes (exemplos com uma moeda e um cubo ).

Como determinar quanta informação contém, por exemplo, o texto do romance "guerra e paz", ou os afrescos e lona dos grandes artistas italianos, ou o código genético humano? Respostas a estas questões e ciência semelhante ainda não são conhecidas e, com toda a probabilidade, não serão conhecidas em breve. No entanto, todo mundo está interessado, é possível avaliar objetivamente a quantidade de informação? A tarefa desse tipo inclui o exemplo a seguir.

Como descobrir se as mensagens equivalentes são "O primeiro vai sair do edifício" e "o primeiro vai sair do prédio"? Não há resposta inequívoca para esta pergunta. Tudo vai depender de que tipo de construção estamos falando. Se isto é, por exemplo, a construção da clínica ginecológica, então a probabilidade de obter a primeira mulher é muito alta, se é um quartel militar, então a probabilidade de sair primeiro para um homem será maior do que para uma mulher , Mas se este é um prédio de cinema, as probabilidades saem primeiro para um homem e as mulheres serão as mesmas.

Avaliação do número de informações. Fórmula Shannon.

Para resolver problemas desse tipo, uma avaliação total do número de informações propostas pelos cientistas americanos é usada Claude Shannon em 1948 Criado pela fórmula para determinar o número de informações é capaz de levar em conta a possível probabilidade desigual de mensagens contidas no conjunto. Shannon ao criar a fórmula usada em matemática e hidrodinâmica medida probabilística de incerteza (Chamado de entropia) para estimar completamente o status do sistema sendo estudado e obter as informações mais altas possíveis sobre os processos neste sistema. Esta avaliação do número de informações é essencialmente medida probabilísticae, como uma avaliação da incerteza, reflete a capacidade de qualquer fonte para mostrar todos os novos e novos estados e, assim, dar informações.

Definição 1.

Shannon definido entropia. Como uma função logarítmica média de muitas probabilidades de possíveis estados do sistema (possíveis resultados da experiência). Para calcular a entropia Shannon propôs a seguinte equação:

$ H \u003d - (p_1log_2p_1 + p_2log_2p_2 + ... + p_nlog_2p_n) $

onde $ P_I $ é a probabilidade da aparência de $ i $ -th evento em um conjunto de $ n $ eventos.

Em seguida, a quantidade de informação obtida como resultado da experiência não será diferente da diferença entre a entropia do sistema para ($ h_0 $) e após ($ h_1 $) experiência:

além disso, se a incerteza como resultado da experiência é completamente excluída, temos:

$ I \u003d \\ sigma (p_ilog_2p_i), i \u003d 1, \\ pontos, n $.

Considere um exemplo confirmando o uso desta teoria de Channon na prática.

Exemplo 4.

Pescari e perch moram no lago. Calculou o número de indivíduos em cada população (Pescase - $ 1.500 $ e o poleiro - $ 500 $). É necessário determinar quantas informações estão contidas nos relatórios que o pescador pegou a areia, poleiro, em general de peixe?

Decisão. Eventos da captura de Pescar ou Perch não são iguais, já que as Diangas no Lago habita muito menos do que Pescare.

O número total de Pescase e a Perch Habitação no Lago:

$1500 + 500 = 2000$.

Definimos a probabilidade de Pescar Catch:

$ p_1 \u003d \\ frac (1500) (2000) \u003d 0,75 $,

Definimos a probabilidade da captura do poleiro:

$ P_2 - \\ FRAC (500) (2000) \u003d 0,25 $.

$ I_1 \u003d log_2 (\\ FRAC (1) (p_1)), I_1 \u003d log_2 (\\ FRAC (1) (P_2)) $

onde $ I_1 $ e $ I_2 é a probabilidade de captura de areia e poleiro, respectivamente.

A quantidade de informações contidas na mensagem de formatura:

$ I_1 \u003d log_2 (\\ frac (1) (0,75)) "0,43 $ bits,

A quantidade de informação contida no poleiro de captura de poleiro:

$ I_2 \u003d log_2 (\\ frac (1) (0,25)) »$ 2 bits.

A quantidade de informações contidas na mensagem sobre a captura de peixe (cruciano ou poleiro) é calculada pela fórmula de Shannon:

$ I \u003d - p_1log_2p_1 - p_2log_2p_2 $

$ I \u003d -0.75 \\ Cdot Log_20,75-0.25 \\ CDOT LOG_20,25 \u003d -0.75 \\ Cdot (\\ FRAC (log0,75) (log2)) - 0.25 \\ Cdot (\\ FRAC (log0.25) (LOG0)) \u003d 0,604 bits "0,6 $ bits.

Responder: A mensagem contém informações de US $ 0,6 $.

Seu desenvolvimento adicional da Teoria das Informações recebidas nas obras de Claud Shannon, Engenheiro Americano e Matemática (1916 - 2001). Shannon é um dos criadores da teoria matemática da informação. Suas principais obras são dedicadas à teoria dos esquemas de contato de relé, teoria da comunicação matemática, cibernética. K. Shannon estudou questões de transferência de informações em telégrafo, telefonia ou transmissão sob a forma de sinais de oscilações eletromagnéticas. Uma das tarefas que K. Shannon colocam na frente dele era determinar o sistema de codificação que permite otimizar a velocidade e a precisão da transferência de informações. Como durante os anos de guerra, ele serviu no departamento de criptografia, onde ele estava envolvido no desenvolvimento de sistemas criptográficos, mais tarde o ajudou a abrir métodos de codificação com correção de erros. Em suas obras, 1948-1949, K. Shannon definiu a quantidade de informação através da entropia - a quantidade conhecida em termodinâmica e física estatística como medida do distúrbio do sistema, e por unidade do número de informações aceitas o que foi posteriormente chamado o bit (bit).

Para mais apresentação, é necessário usar alguns conceitos de teoria da probabilidade: um evento aleatório, experiência, probabilidade de um evento, um valor aleatório. No mundo ao nosso redor, vários eventos ocorrem, e podemos intuitivamente com base na experiência, avaliar alguns deles a mais possível do que outros. A aleatório é chamado de evento que pode ocorrer ou não passo como resultado de um certo teste, experiência ou experimento. Nós denotamos os eventos em letras maiúsculas A, B, CTS etc. A medida quantitativa da possibilidade de ocorrência de algum evento é susceptível de ser probabilidade e é referida a ASP (A), da probabilidade de inglês. Quanto mais possivelmente a ocorrência de um evento aleatório, maior sua probabilidade: se o mais possivelmente, então p (a)\u003e p (b). O conceito de um evento confiável é introduzido - um evento que virá. Este evento indica que acredita que sua probabilidade () \u003d 1. É impossível chamar um evento que nunca acontecerá. É denota acredita que sua probabilidade () \u003d 0. Para probabilidades de todos os outros eventos, a desigualdade é realizada ()< p(A)

Para eventos, o conceito do montante e do trabalho é introduzido. A soma dos eventos A + B é um evento que consiste na ocorrência de evento A ou B. O trabalho de eventos A * B consiste na ocorrência simultânea de eventos A e B. AIB incompletoSe eles não podem se unir como resultado de um teste. A probabilidade da quantidade de eventos incompletos é igual à soma de sua probabilidade. Se A e em eventos incompletos, p (a + b) \u003d p (a) + p (b).

Eventos A1, A2, A3, ... Converter grupo completoSe, como resultado da experiência, pelo menos um deles virá. Se os eventos for A1, A2, A3, ... zangados são incompreensíveis e formam um grupo completo, então a soma de suas probabilidades p1 + p2 + p3 + ... .pn \u003d 1. Se eles também são igualmente mesmo, a probabilidade de cada uma é igual a \u003d 1 / N, onde o número de eventos. Probabilidadeos eventos são definidos como a proporção do número de eventos favoráveis \u200b\u200bde experiência no número total de resultados. Frequênciaeventos são uma aproximação empírica de sua probabilidade. É calculado como resultado de uma série de experimentos como uma atitude do número de experimentos em que o evento chegou ao número total de experimentos. Com um grande número de experimentos (testes), a frequência do evento está comprometida com sua probabilidade.

K. Shannon, usando a abordagem de R. Hartley, chamou a atenção para o fato de que, ao transmitir mensagens verbais, a frequência (probabilidade) de usar várias letras do alfabeto não é a mesma: algumas letras são usadas com muita frequência, outras são raras.

Considere o alfabeto a m consistia de ismos. Denotar pela probabilidade (frequência) da aparência do símbolo I-Th em qualquer posição da mensagem transmitida que consiste em N caracteres. Um símbolo IMA do alfabeto carrega a quantidade de informação igual a -log 2 (p i). Antes do logaritmo "menos", porque a quantidade de informação é não negativa e o log 2 (x)<0 при 0

Pode haver qualquer caráter do alfabeto a m no lugar de cada símbolo; A quantidade de informações sobre um símbolo de mensagem é igual ao valor médio das informações em todos os caracteres do alfabeto a M:

O número total de informações contidas na mensagem de N caracteres é:

(3.2)

Se todos os caracteres do alfabeto A aparecem com uma probabilidade igual, todos p i \u003d p. Então, sondas i \u003d 1, então p \u003d 1 / m.

Fórmula (3.2) no caso em que todos os caracteres do alfabeto são iguais,

Conclusão: fórmula de Shannon (3.2) no caso em que todos os símbolos do alfabeto são igualmente iguais à fórmula Hartley (2.2).

No caso geral, o número de entropia do sistema HPC X (variável aleatória), que pode ser em m de vários estados x 1, x 2, ... xm se transforma em P 1, P 2, ... PM, calculado pela fórmula de Shannon, igual

(3.3)

Lembre-se de que P 1 + P 2 + ... + p m \u003d 1. Se todos os P eu sou o mesmo, todos os estados do sistema X são igualmente iguais; Neste caso, p i \u003d 1 / m e fórmula (3.3) entra na fórmula Hartley (2.5): H (x) \u003d log 2 (m).

Comente.O número de entropia do sistema (variável aleatória) X não depende do qual especificamente estados x 1, x 2, ... XM pode ser sistema, mas depende do número de estados e das probabilidades P 1, p 2,. .. PM, com o qual o sistema pode estar nesses estados. Isso significa que dois sistemas em que o número de estados é igualmente, e as probabilidades desses estados P 1, p 2, ... p m são iguais a (com uma precisão da ordem da listagem), ter entropia igual.

Teorema.A entropia máxima H (x) é obtida quando todos os estados do sistema são igualmente iguais. Significa que

(3.4)

Se o sistema X puder ser apenas em um estado (m \u003d 1), sua entropia é zero. Considere o sistema que só pode tomar dois estados X1 e X2 com probabilidades P1 e P1:

O número de entropia de tal sistema é igual

H (x) \u003d - (1/2 * log 2 (1/2) + 1/2 * log 2 (1/2)) \u003d -log 2 (1/2) \u003d log 2 (2) \u003d 1

Este montante é tomado como uma unidade de medição de entropia (informação) e é chamada de 1 bit (1 bit).

Considere uma função

h (x) \u003d - (x * log 2 (x) + (1-x) * log 2 (1-x)). (3.5)

A área de sua definição é o intervalo (0; 1), limh (x) \u003d 0, em x0 ou 1. O cronograma desta função é mostrado na figura:

FIG. 4. Cronograma de funções (3.5)

Se você designar X por P 1, A (1-X) via P 2, Top 1 + P 2 \u003d 1; P 1, P 2  (0; 1), H (X) \u003d H (P 1, P 2 ) \u003d - (P 1 * LOG 2 (P 1) + (P 2) * LOG 2 (P 2)) - Entropia de um sistema com dois estados; O máximo H é alcançado por 1 \u003d p 2 \u003d 0,5.

O gráfico H (X) pode ser usado ao resolver as seguintes tarefas:

Tarefa 1. Três variáveis \u200b\u200baleatórias X, Y, Z são dadas, cada uma das quais leva dois valores com probabilidades:

P (x \u003d x1) \u003d 0,5; P (x \u003d x2) \u003d 0,5;

P (y \u003d y1) \u003d 0,2; p (y \u003d y2) \u003d 0,8;

P (z \u003d z1) \u003d 0,3; P (z \u003d z2) \u003d 0,7.

Gravação P (x \u003d x1) \u003d 0,5 significa que o valor aleatório X leva o valor X1 com uma probabilidade de 0,5. É necessário providenciar a entropia desses sistemas em ordem crescente.

Decisão. A entropia h (x) é igual a 1 e será a maior; A entropia h (y) é igual ao valor da função H (x), veja (3.5), ATX \u003d 0,2, i.e.h (y) \u003d h (0,2); entropyh (z) \u003d h (0,3). De acordo com o gráfico H (X), pode ser determinado que h (0,2)< h(0.3). Следовательно, H(Y) < H(Z) < H(X).

Nota 1.A entropia do sistema é a maior, a menor diferença entre as probabilidades de seus estados uns dos outros. Com base nisso, podemos concluir que h (y)< H(Z). Например, если для систем X и Y с тремя состояниями заданы вероятности: дляX{0.4; 0.3; 0.3}, дляY{0.1; 0.1; 0.8}, то очевидно, что неопределённость системыXбольше, чем неопределённость системыY: у последней, скорее всего, будет реализовано состояние, вероятность которого равна 0.8 .

A entropia h (x) caracteriza o grau de incerteza do sistema. Quanto maior a quantidade de informações recebidas sobre o sistema de informação, mais informações sobre o sistema, e menos incerta seu estado será para o destinatário da informação.

Se a entropia do sistema após receber informações se tornarem iguais a zero, isso significa que a incerteza desapareceu, toda a entropia "cruzada" em informações. Neste caso, é dito que informações completas foram obtidas sobre o sistema X. Número de informações adquiridas com clarificação total do estado do sistema físico, igual à entropia deste sistema.

Se, depois de receber uma determinada mensagem, a incerteza do sistema é menor, mas não desapareceu, a quantidade de informações contidas na mensagem é igual ao incremento da entropia:

I \u003d H1 (X) - H2 (X), (3.6)

onde H1 (x) e H2 (x) é a entropia do sistema antes e depois da mensagem, respectivamente. Se h2 (x) \u003d 0, a medida da incerteza do sistema é zero e informações completas sobre o sistema foi obtida.

Exemplo. Você quer adivinhar o número de pontos que caem em um cubo de jogo. Você recebeu uma mensagem que o número de pontos caiu. Qual quantidade de informação contém esta mensagem?

Decisão. A entropia do sistema "Jogando Cube" H1 é igual ao log 2 6, porque O cubo pode levar aleatoriamente seis igual possívelestados (1, 2, 3, 4, 5, 6). A mensagem recebida reduz o número de estados possíveis até três: (2, 4, 6), isto é. A entropia do sistema é agora igual a H2 \u003d LOG 2 3. O incremento da entropia é igual ao número de informações obtidas I \u003d H1 - H2 \u003d LOG 2 6 - LOG 2 3 \u003d LOG 2 2 \u003d 1Bit.

No exemplo de uma tarefa desmontada, uma das definições comuns da unidade unitária pode ser explicada - 1 bits: 1 bit é a quantidade de informação que reduz a incerteza do status do sistema duas vezes.A incerteza do sistema discreta depende do número de seus estados. Entropia antes de receber informaçõesH1 \u003d log 2 N. Se, após receber informações, a incerteza diminuiu duas vezes, então isso significa que o número de estados tornou-se igual / 2, e EntropyH2 \u003d Log 2 N / 2. O número de informações recebidas \u003d h1 -h2 \u003d log 2 n-log 2 n / 2 \u003d log 2 2 \u003d 1 bits.

Considere várias tarefas sobre o uso da fórmula Shannon e Hartley.

Tarefa 2.A entropia do sistema, que leva aleatoriamente um dos 4 estados, é: a) 3; b) 2,1 c) 1,9 g) 1; e) 0.3? Responda para explicar.

Decisão.O valor máximo possível da entropia do sistema com 4 estados atinge no caso quando todos os estados são iguais. Este valor de acordo com a fórmula Hartley é igual Tolog 2 4 \u003d 2 bits. Em todos os outros casos, a entropia do sistema com 4 estados será menor que 2. Consequentemente, os valores possíveis de entropia daqueles listados acima podem ser valores de 1,9, 1, 0,3.

Tarefa 3.A função é definida (x) \u003d -x * log 2 (x) - (1-x) * log 2 (1-x). Coloque os seguintes valores em ordem crescente: H (0,9), H (0,85), H (0,45), H (0,2), H (0,15).

Decisão.Use o gráfico da função (3.5). O maior valor será H (0,45), o menor valor - H (0,9), os valores ascendentes são válidos (0,15) ich (0,85) \u003d h (0,15); H (0,2). Resposta: H (0,9)

Tarefa 4.As mensagens são transmitidas pelo link: a) "start_b_10"; b) "loancha_1_v0". Compare a quantidade de informação na primeira e segunda mensagem.

Decisão.A primeira e segunda mensagem consistem nos mesmos caracteres: o segundo é obtido a partir do primeiro como resultado da permutação desses caracteres. De acordo com a fórmula de Schannon, essas mensagens contêm a mesma quantidade de informação. Ao mesmo tempo, a primeira mensagem traz as informações significativas, e o segundo é um simples conjunto de personagens. No entanto, neste caso, podemos dizer que a segunda mensagem é uma opção "criptografada" do primeiro e, portanto, a quantidade de informações em ambas as mensagens é a mesma.

Tarefa 5.Três postagens diferentes são obtidas, B, C:

A \u003d "Chegada às dez horas"; B \u003d "Chegada às dez horas zero minutos"; C \u003d "Chegada é exatamente dez horas". Usando a abordagem de entropia de Schannon, compare a quantidade de informações contidas nessas mensagens.

Decisão.Denote a quantidade de informações em mensagens A, B, C TIs (A), I (b), I (c), respectivamente. No sentido de "conteúdo", essas mensagens são exatamente as mesmas, mas o mesmo conteúdo é expresso usando um número diferente de caracteres. Nesse caso, todos os símbolos da mensagem A estão contidos na mensagem B e C, a mensagem C \u003d A + "Exatamente", B \u003d A + "Minutos Zero"; De acordo com a abordagem de Shannon, recebemos: i (a)< I(C) < I(B).

Engenheiro americano R. Hartley. Em 1928. o processo de obtenção de informações consideradas como uma escolha de uma mensagem da alternância final de um determinado conjunto de N. mensagens equivalentes e a quantidade de informação EU.contido na mensagem selecionada, definida como logaritmo binário N. .

Fórmula Hartley:

I \u003d log2. N.

Suponha que você precise adivinhar um número de um conjunto de números de um a cem. De acordo com a Fórmula Hartley, você pode calcular quantas informações são necessárias para isso: i \u003d log2100\u003e 6.644. Assim, a mensagem sobre o número corretamente adivinhado contém a quantidade de informação, aproximadamente igual a 6.644 unidades de informação.

Nós damos os outros exemplos de mensagens equivalentes:

1. Ao jogar moedas: "Rusk caiu", "Águia caiu";

2. Na página do livro: "O número de letras é claro", "O número de letras de letras".

Nós definimos agora são mensagens equivalentes "O primeiro vai sair da porta do prédio. e "O primeiro vai sair da porta do prédio de um homem". Não ambiguamente responder esta pergunta não pode. Tudo depende de que tipo de construção estamos falando. Se isto é, por exemplo, a estação de metrô, então a probabilidade de sair das portas é a primeira para um homem e uma mulher, e se é um quartel militar, então para um homem essa probabilidade é significativamente maior do que uma mulher.

Para as tarefas desse tipo de cientista americano Claude Shannon. Sugerido em 1948 Outra fórmula para determinar o número de informações que levam em conta a possível probabilidade desigual de mensagens no conjunto.

Fórmula de Shannon:

I \u003d - ( p.1log2. p.1 + p.2 log2. p.2 +... + p.N log2. pn.),

Onde pI. - a probabilidade de eU.-E-mensagem é destacada no conjunto de N. mensagens.

É fácil ver que se probabilidades p.1, ...,pn. igual, então cada um deles é igual a 1 / N.E a fórmula de Shannon se transforma na fórmula Hartley.

Claude Shannon. determinado em formação , como removeu a incerteza . Mais precisamente, o recebimento da informação é uma condição necessária para remover a incerteza. A incerteza surge em uma situação de seleção. A tarefa que é resolvida durante a remoção da incerteza é reduzir o número de opções em consideração (uma diminuição na diversidade) e, eventualmente, a escolha de uma situação correspondente da opção do número possível. As decisões de incerteza possibilitam fazer soluções e agir informados. Este é o papel de gerenciamento da informação.

Imagine que você foi para a loja e pediu para vender uma goma de mascar. A vendedora que, que, digamos, 16 notas de goma de mascar estão em um estado de incerteza. Ela não pode cumprir seu pedido sem mais informações. Se você especificou, digamos, "Orbit", e de 16 opções iniciais para a vendedora agora considera apenas 8, você reduziu sua incerteza duas vezes (dirigindo para frente, digamos que reduzindo a incerteza duas vezes em conformidade com a obtenção de 1 bit de informação ). Se você, sem causar uma custódia, simplesmente indicou um dedo na vitrine, "isso é isso!", A incerteza foi completamente removida. Mais uma vez, correndo para frente, digamos que este gesto neste exemplo tenha informado a vendedora 4 bits de informação.

Situação incerteza máxima. Pressiona a presença de vários igualar Alternativas (opções), isto é. Nenhuma das opções é mais preferível. E as opções mais equivalentes observado, maior a incerteza, mais difícil é fazer uma escolha inequívoca e quanto mais informações são necessárias para fazer isso. Para N. Opções Esta situação é descrita pela seguinte distribuição de probabilidade: (1 / N.,1/ N., …,1/ N.} .

Incerteza mínima igual a 0. essa situação cOR total de certeza , o que significa que a escolha é feita, e todas as informações necessárias são obtidas. A distribuição de probabilidades para uma situação de certeza completa é assim: (1, 0, ... 0).

A quantidade que caracteriza a quantidade de incerteza na teoria da informação é indicada pelo símbolo. H. E tem um nome entropia , mais precisamente entropia de informações. .

Entropia ( H.) – medida de incerteza , expresso em bits. Também a entropia pode ser vista como medir a uniformidade da distribuição variável aleatória.

FIG. 3.4 O comportamento da entropia para o caso de duas alternativas

Na Fig. 3.4 mostra o comportamento da entropia para o caso de duas alternativas, ao alterar a proporção de suas probabilidades ( P., (1-P.)).

O valor máximo da entropia atinge neste caso quando ambas as probabilidades são iguais entre si e são iguais a 1/2, o valor zero da entropia corresponde a casos ( P.0=0, P.1 \u003d 1) e ( P.0=1, P.1=0).

Número de informações I. e entropia H. Caracterizar a mesma situação, mas de lados altamente opostos. Eu é a quantidade de informação que é necessária para remover a incerteza H. Por definição de Leon Brilllyuan a informação é entropia negativa(negentropium.) .

Quando a incerteza é completamente removida, o número de informações recebidas EU. Incerteza igualmente existente H..

Em caso de remoção parcial da incerteza, a quantidade resultante de informação e a incerteza desnecessária restante é na quantidade de incerteza inicial. Ht + it \u003d h(Fig. 3.5).

FIG. 3.5 Comunicação entre a entropia e o número de informações

Por esse motivo, as fórmulas que serão apresentadas abaixo para calcular a entropia H. são ambas as fórmulas para calcular o número de informações EU.. Quando se trata de remoção completa da incerteza, H.eles podem ser substituídos por EU..

Em geralEntropy H. e o montante obtido como resultado da remoção da incerteza das informações EU. dependem do número inicial de opções em consideração N. e uma probabilidade priori da implementação de cada um deles P:{p.0,p.1, …,pn-1), isto é. H \u003d F.(N.,P.). O cálculo da entropia neste caso é produzido de acordo com a fórmula de Shannon Proposto por ele em 1948 no artigo "Teoria da Comunicação Matemática".

Em particularQuando todas as opções e facilmente sozinho, A dependência permanece apenas no número de opções em consideração, isto é. H \u003d F.(N.). Neste caso, a fórmula de Channon é muito simplificada e coincide com fórmula Hartley. , que foi sugerido pela primeira vez pelo engenheiro americano Ralph Hartley em 1928, ou seja. 20 anos antes.

A fórmula de Shannon tem a seguinte forma:

O sinal de menos na fórmula (2.1) não significa que a entropia é um valor negativo. É explicado pelo fato de que pI.£ 1 por definição, e o logaritmo de uma unidade menor é um valor negativo. Pela propriedade do logaritmo, portanto, esta fórmula pode ser gravada na segunda versão, sem menos antes da soma do valor.

A expressão é interpretada como uma quantidade privada de informações. ISTO.obtido em caso de implementação eU.Opção. A entropia na fórmula de Shannon é uma característica média - expectativa matemática da distribuição de variável aleatória ( EU.0,EU.1, …,DENTRO-1} .

Damos um exemplo de entropia de cálculo de acordo com a fórmula de Shannon. Deixe em alguma instituição, a composição dos trabalhadores é distribuída da seguinte forma: 3/4 - mulheres, 1/4 - homens. Em seguida, a incerteza, por exemplo, quanto a quem você encontrará o primeiro, indo para a instituição, será calculado ao lado das ações mostradas na tabela. 3.1.

Tabela 3.1.

Já mencionamos que a fórmula Hartley é um caso especial da fórmula de Shannon para alternativas equivalentes.

Substituindo em fórmula (2.1) pI. (em um caso equivalente, independente de eU.) Valor, recebemos:

Assim, a fórmula Hartley parece muito simples:

Segue claramente que quanto mais alternativas ( N.), maior a incerteza ( H.). A logaritária baseada em 2 fornece o número de opções para unidades de medição de bits de informação. A Figura 3.6 apresenta a dependência da entropia no número de opções de seleção equivalentes.

FIG. 3.6 Dependência de entropia no número de opções de seleção de equilíbrio (alternativas equivalentes)

Para resolver os problemas inversos quando a incerteza é conhecida ( H.) ou a quantidade de informação obtida como resultado de sua remoção ( EU.) E você precisa determinar o quanto igualmente, alternativamente, corresponde ao surgimento dessa incerteza, use a fórmula reversa de Hartley, que parece ainda mais fácil:

Por exemplo, se é conhecido que, como resultado da determinação do fato de que o Kolya Ivanov interessado no segundo andar, foram obtidos 3 bits de informação, o número de pisos na casa pode ser determinado por fórmula (2.3) como N \u003d.23= 8jetagens.

Se a questão é a seguinte: "Na casa de 8 andares, quantas informações recebemos, tendo aprendido que o Kolya Ivanov interessado no segundo andar?" É necessário usar a fórmula (2.2): I \u003d.log2 (8) \u003d 3 bits.

Até agora, dei fórmulas para calcular a entropia (incerteza) H.apontando isso H. Eles podem ser substituídos por EU.Porque a quantidade de informação recebida com deslocamento total de incerteza Alguma situação, quantitativamente igual à entropia inicial dessa situação.

Mas a incerteza só pode ser removida parcialmente, portanto a quantidade de informação que euderivado de alguma mensagem é calculada como reduzindo a entropia que ocorreu como resultado do recebimentoesta mensagens.

Para um caso equivalenteUsando para calcular a fórmula de entropia Hartley, obtemos:

A segunda igualdade é exibida com base nas propriedades do logaritmo. Assim, em um caso equilibrado EU. depende de quantas vezes A quantidade de opções de seleção em consideração mudou (diversidade sob consideração).

Baseado em (3.5), você pode retirar o seguinte:

Se, então - a remoção completa da incerteza, o número de informações recebidas na mensagem é igual à incerteza que existia antes de receber a mensagem.

Se, então a incerteza não mudou, portanto, não havia informações.

Se, então \u003d\u003e,

se, então \u003d\u003e.

Aqueles. O número de informações recebidas será um valor positivo se, como resultado do recebimento de uma mensagem, o número de alternativas em consideração diminuiu e negativo, se mais.

Se o número de alternativas em consideração como resultado do recebimento da mensagem foi reduzida pela metade, isto é, EU.\u003d log2 (2) \u003d 1 pedaço.Em outras palavras, obter 1 bits de informação exclui da consideração de metade das opções equivalentes.

Considere como uma experiência de exemplo com um baralho de 36 cartas (fig.3.7).

FIG. 3.7 Ilustração para experiência com um baralho de 36 cards

Deixe alguém tira um cartão do convés. Estamos interessados \u200b\u200bem qual dos 36 cartões ele tirou. A incerteza inicial, calculada pela fórmula (3.2), é H \u003d.log2 (36) @ 5,17 pedaço. O mapa esperado nos diz algumas das informações. Usando fórmula (3.5), determinamos quantas informações recebemos dessas mensagens:

Opção A. "Este é um mapa de terno vermelho".

EU.\u003d log2 (36/18) \u003d log2 (2) \u003d 1bits (cartões vermelhos no convés da metade, a incerteza diminuiu em 2 vezes).

Variante B. "Esta é uma plataforma de um pico".

EU.\u003d log2 (36/9) \u003d log2 (4) \u003d 2 bits (cartões de pico compõem um quarto dos decks, a incerteza diminuiu em 4 vezes).

Opção C. "Esta é uma das cartas sênior: anéis, senhora, rei ou ace."

EU.\u003d Log2 (36) -log2 (16) \u003d 5,17-4 \u003d 1,17 bits (a incerteza diminuiu mais de duas vezes, portanto, a quantidade de informação obtida é maior que um bit).

Variante D. "Este é um cartão do convés".

EU.\u003d log2 (36/36) \u003d log2 (1) \u003d 0 bits (incerteza não diminuiu - a mensagem não é informativa).

Formação E. "Este é um pico de lady".

EU.\u003d log2 (36/1) \u003d log2 (36) \u003d 5,17 bits (incerteza completamente removido).

Tarefa 1.Qual quantidade de informação conterá uma mensagem visual sobre a cor da bola quebrada, se 50 bolas brancas, 25 vermelhas e 25 azuis estão localizadas em uma bolsa opaca?

Decisão.

1) Bolas totais 50 + 25 + 25 \u003d 100

2) probabilidades de bola 50/100 \u003d 1/2, 25/100 \u003d 1/4, 25/100 \u003d 1/4

3)EU. \u003d - (1/2 log21 / 2 + 1/4 log21 / 4 + 1/4 log21 / 4) \u003d - (1/2 (0-1) +1/4 (0-2) +1/4 (0 -2)) \u003d \u003d 1,5 bits

Tarefa 2. A cesta fica 16 bolas de cores diferentes. Quanta informação é a mensagem que você tem uma bola branca?

Decisão. Porque N \u003d 16 bolas, depois i \u003d log2 n \u003d log2 16 \u003d 4 bits.

Tarefa 3.Na cesta mentira bolas preto e branco. Entre eles18 bolas pretas. A mensagem que a bola branca foi tirada, carrega 2 bits de informação. Quantas bolas na cesta?

1) 18 2) 24 3) 36 4)48

Decisão. Encontramos a probabilidade de obter uma bola branca de acordo com Shannon: log2n \u003d 2, n \u003d 4, portanto, a probabilidade de obter uma tigela branca é de 1/4 (25%), e a probabilidade de obter uma bola preta, respectivamente, 3/4 (75%). Se 75% de todas as bolas pretas, seu número 18, então 25% de todas as bolas brancas, seu número (18 * 25) / 75 \u003d 6.

Resta encontrar o número de todas as bolas no cesto 18 + 6 \u003d 24.

Resposta: 24 bolas.

Tarefa 4.Em algum país, um número de carro de 5 caracteres é composto de letras maiúsculas (30 letras são usadas) e dígitos decimais em qualquer ordem. Cada símbolo é codificado na mesma quantidade mínima e minimamente possível de bits, e cada número é o mesmo e minimamente possível por bytes. Determine a quantidade de memória necessária para armazenar 50 números de carro.

1) 100 byte 2) 150 bytes 3) 200 bytes 4) 250 bytes

Decisão. O número de caracteres usados \u200b\u200bpara codificar o número é: 30 letras + 10 dígitos \u003d 40 caracteres. A quantidade de informações que transportam um caractere é de 6 bits (2i \u003d 40, mas a quantidade de informação não pode ser um número fracionário, portanto, levamos o grau mais próximo de dois de um grande número de caracteres 26 \u003d 64).

Encontramos a quantidade de informações incorporadas em cada símbolo, o número de caracteres na sala é 5, portanto, 5 * 6 \u003d 30 bits. Cada número é 30 bits de informação, mas pela condição da tarefa, cada número é codificado a mesma e a quantidade mínima possível de bytes, portanto, precisamos saber quanto byte em 30 bits. Se for dividido 30 a 8, um número fracionário será obtido, e precisamos encontrar um byte inteiro para cada número, portanto, encontramos o multiplicador mais próximo de 8-ki, que excederá o número de bits, é 4 (8 * 4 \u003d 32). Cada número é codificado com 4 bytes.

Para armazenamento de 50 números de carro, você precisará: 4 * 50 \u003d 200 bytes.

A escolha da estratégia ideal no jogo "Adivinha o número". No recebimento do número máximo de informações, a escolha de uma estratégia ideal no jogo "adivinhar o número" é construída, na qual o primeiro participante faz um inteiro (por exemplo, 3) de um intervalo especificado (por exemplo, 1 a 16), e o segundo deve "adivinhar" o número pretendido. Se você considerar este jogo de um ponto de vista da informação, a incerteza inicial do conhecimento para o segundo participante é 16 eventos possíveis (opções para números misteriosos).

Com uma estratégia ótima, o intervalo de números deve sempre compartilhar pela metade, então o número de eventos possíveis (números) em cada um dos intervalos obtidos será o mesmo e o ajuste dos intervalos é igualmente. Neste caso, em cada etapa, a resposta do primeiro jogador ("sim" ou "não") suportará a quantidade máxima de informações (1 bits).

Como pode ser visto na mesa. 1.1, adivinhar o número 3 ocorreu em quatro etapas, em cada um dos quais a incerteza do conhecimento do segundo participante diminuiu duas vezes ao receber uma mensagem do primeiro participante contendo 1 bit de informação. Assim, a quantidade de informação necessária para Intigar um dos 16 números, totalizou 4 bits.

Verifique as perguntas e tarefas

1. A priori sabe que a bola está em uma das três urnas: a, em ou C. determinar quantos bits de informação contém uma mensagem que está na URN V.

Opções:1pedaço,1,58pedaço,2pedaço,2,25pedaço.

2. A probabilidade do primeiro evento é de 0,5 e a segunda e terceira 0,25. Qual a distribuição é igual a entropia de informações. Opções:0,5pedaço,1 pedaço,1,5pedaço,2pedaço,2,5pedaço,3pedaço.

3. Aqui está uma lista de funcionários de alguma organização:

Determine a quantidade de informação que está faltando para cumprir as seguintes solicitações:

Por favor, ligue para Ivanov para o telefone.

Estou interessado em um de seu funcionário, nasce em 1970.

4. Qual das mensagens tem mais informações:

· Como resultado de tomar uma moeda (águia, pressa), a corrida caiu.

· No semáforo (vermelho, amarelo, verde) é agora luz verde.

· Como resultado da recuperação do osso de jogo (1, 2, 3, 4, 5, 6), 3 pontos caíram.

O mais difundido ao determinar o número médio de informações, que está contido em mensagens das fontes da natureza mais diferente, recebeu uma abordagem. Para Shannon. Considere a seguinte situação.
Fonte transmite sinais elementares k. Tipos diferentes. Vamos seguir um segmento bastante longo da mensagem. Deixe ter N.1 dos primeiros sinais do tipo, N.2 sinais de segundo tipo, ..., N.k. Sinais. k.- tipo, e N.1 + N.2 + ... + N.k. = N. - o número total de sinais no segmento observado, f.1, f.2, ..., f.k. - Frequências dos sinais correspondentes. Como um aumento no comprimento do segmento da mensagem, cada uma das freqüências tende a um limite fixo, ou seja,
Lim. f.eU. = p.eU., (eU. = 1, 2, ..., k.),
Onde r.eU. Você pode considerar a probabilidade do sinal. Suponha que um sinal recebido eU.-Ho tipo com probabilidade r.eU.contendo - log p.eU. Unidades de informação. No segmento em consideração eU.- Um sinal se reunirá aproximadamente Np.eU. vezes (assumimos que N. grande o suficiente), e informações gerais entregues por sinais desse tipo serão iguais ao trabalho Np.eU. Registro. r.eU.. O mesmo refere-se a sinais de qualquer outro tipo, então a quantidade total de informações fornecidas pelo segmento de N. sinais serão aproximadamente iguais

Para determinar a quantidade média de informações em um sinal, isto é. Fonte de informação específica, você precisa dividir esse número em N.. Com um crescimento ilimitado, a igualdade aproximada será exata. Como resultado, uma relação assintótica será obtida - a fórmula de Shannon

Recentemente, tornou-se menos comum que a famosa fórmula Einstein E. = mc. 2. Acontece que a fórmula proposta por Hartley é um caso especial de uma fórmula mais geral de Shannon. Se na fórmula de Schannam aceitar que
r.1 = p.2 = ... = r.eU. = ... =p.N. = 1/N.T.

O sinal de menos na fórmula Shannon não significa que a quantidade de informações na mensagem é um valor negativo. É explicado pelo fato de que a probabilidade r.De acordo com a definição, menos de um, mas mais zero. Desde o logaritmo de uma unidade menor, isto é. Registro. p.eU. - O valor é negativo, então o produto da probabilidade no logaritmo do número será positivo.
Além desta fórmula, Shannon propôs um esquema de comunicação abstrata que consiste em cinco elementos (fonte de informação, transmissor, linhas de comunicação, receptor e destinatário), e formulada largura de banda, imunidade de ruído, codificação, etc.
Como resultado do desenvolvimento da teoria da informação e suas aplicações, as idéias de Shannon distribuíram rapidamente sua influência nas áreas mais diferentes do conhecimento. Foi visto que a fórmula de Shannon é muito semelhante à fórmula de entropia usada em física, derivada pelo Boltzmann. A entropia denota o grau de desordem de formas estatísticas de moléculas. A entropia é máxima com uma distribuição equivalente de parâmetros de movimento de moléculas (direção, velocidade e posição espacial). O valor de entropia diminui se o movimento de moléculas for organizado. Como o arranjo de ordenamento aumenta, a entropia tende a zero (por exemplo, quando apenas um valor e a direção da velocidade é possível). Ao elaborar uma mensagem (texto) com a ajuda da entropia, é possível caracterizar o grau de fragilidade de movimento (alternância) de caracteres. O texto com entropia máxima é o texto com uma distribuição equilibrosa de todas as letras do alfabeto, isto é. Com alternância sem sentido de letras, por exemplo:hchsbsm. Se a probabilidade real das letras forem levadas em conta ao elaborar texto, então, nas "frases" assim, haverá uma certa orda do movimento das letras, regulamentadas pela frequência de sua aparência: o OTE do OKRS de o Aksh Tshi.
Ao levar em conta as probabilidades de combinações de quatro letras, o texto torna-se tão ordenado que, de acordo com algumas características formais, está se aproximando significativamente: não é seco e NEPO e Corco. A razão para tal pedido neste caso é informação sobre padrões estatísticos de textos. Em textos significativos, ordenadamente, naturalmente, ainda mais alto. Então, na frase veio ... Primavera, temos ainda mais informações sobre o movimento (alternância) de letras. Assim, o texto para o texto aumenta o pedido e as informações que temos sobre o texto, e a entropia (medida de desordem) diminui.
Usando a diferença nas fórmulas do número de informações de Shannon e da ertropia do Boltzmann (diferentes sinais), a L. Brillurian caracterizou informações como entropia negativa, ou negentropia.. Desde a entropia é uma medida de desordexar, então informações podem ser definidas como medição de sistemas de material .
Devido ao fato de que a aparência da fórmula coincide, pode-se supor que o conceito de informação não adiciona nada ao conceito de entropia. No entanto, não é. Se o conceito de entropia foi usado anteriormente apenas para sistemas, buscando equilíbrio termodinâmico, isto é. Para o distúrbio máximo no movimento de seus componentes, para um aumento na entropia, o conceito de informação também prestou atenção a esses sistemas que não aumentam a entropia, mas, pelo contrário, em um estado com pequenos valores de entropia tendem a reduzir ainda mais.

É difícil superestimar a importância das idéias da teoria da informação no desenvolvimento de uma ampla variedade de áreas científicas.
No entanto, de acordo com K. Shannon, todos os problemas não resolvidos não podem ser resolvidos com tais palavras mágicas, como "informações", "entropia", "redundância".
A teoria da informação é baseada em padrões estatísticos probabilísticos de fenômenos. Dá um aparato útil, mas não um versátil. Portanto, muitas situações não se encaixam no modelo de informação do Shannon. Nem sempre é possível predeterminar a lista de todos os estados do estado e calcular suas probabilidades. Além disso, apenas o lado formal da mensagem é considerado na teoria da informação, enquanto seu significado permanece de lado. Por exemplo, o sistema de estações de radar leva à observação do espaço aéreo para detectar o sistema de aeronaves do adversário S.seguido por observação, pode ser em um dos dois estados x.1 - O inimigo é, x.2 - Nenhum inimigo. A importância da primeira mensagem não pode ser avaliada usando uma abordagem probabilística. Esta abordagem e uma medida baseada nela da quantidade de informações expressas, em primeiro lugar, o lado "sintático estrutural" de sua transferência, isto é. Expressar a relação de sinais. No entanto, os conceitos de "probabilidade", "incerteza", com que o conceito de informação está associado, assumem o processo de escolha. Esse processo só pode ser implementado se houver muitas possibilidades. Sem isso, as condições podem ser assumidas, a transmissão da informação é impossível.