Информационный Завет. Основы. Футурологическое исследование

при условии, что вероятность встретить a составит 0,5.

Действительно, располагая равным количеством разных знаков и комбинируя их в любом порядке, мы можем получить наибольший набор последовательностей. Неупорядоченность текста максимальна (представьте обезьян-машинисток на пике творческого аврала).

Пойдём дальше. Начнём использовать знак a чаще, чем b. Вероятность возрастает, число a увеличивается, но энтропия уменьшается. Почему? Потому что, располагая, например, семью a и тремя b, мы можем составить меньше комбинаций – следовательно, меньше смысла, зато он становится более определенным.

Наконец, когда текст состоит из одних a (вероятность встретить её в сообщении равна 1,0), смысл может только один – никаких кривотолков и отклонений. «aaaaaaaaaa» и всё тут. Информационная энтропия снова равна нулю. Но количество информации для сообщения со знаком a максимально (10 из 10 в последовательности).

Клод Шеннон предложил считать информационную энтропию и собственно информацию в битах.

Может показаться, что использование бинарного кода – ненужная сложность. Напротив, это очень удобно.

Когда, например, говорят, что общий информационный объём (абсолютная энтропия) сообщения равен 10 битам, это означает, что существует 1024 возможных комбинаций символов, из которых может быть составлено сообщение. Допустим, чтобы составить какое-либо сообщение, имеющее смысл, нам достаточно информации в количестве 4 бита (фактическая энтропия).

) комбинаций, необходимых для того, чтобы собеседники понимали друг друга. Все остальные комбинации символов – бесполезная белиберда.

Как вычислить эту белиберду? Шеннон нашёл простое решение: из абсолютной энтропии надо вычесть фактическую. Это и будет избыточностью (redundancy) данного сообщения. Таким образом, математик предложил объяснение буквенно-фонетической избыточности, которую мы обсудим в следующей главе.

Исследования Гарри Найквиста, обосновывающие порционную (дискретную) обработку информации, получили продолжение в работах Клода Шеннона и были обобщены им в теорему дискретизации (sampling theorem). Идее о том, что любую информацию из непрерывного потока можно превратить в дискретные (например, цифровые) сигналы, а потом – восстановить обратно, Шеннон придал строгую математическую форму

.