В чем состоит суть алфавитного подхода к измерению информации? Что такое бит с точки зрения алфавитного подхода?
Ответ
Информация (по Колмогорову) — это последовательность символов (букв, цифр, кодов цвета точек изображения и т. д.) некоторого алфавита. Информационным объемом сообщения называется количество двоичных символов, которое используется для кодирования этого сообщения. В двоичном коде один двоичный разряд несет 1 бит информации. Такой подход к измерению информации называют алфавитным.
При алфавитном подходе информационный объем сообщения I, состоящего из К символов, вычисляется по формуле:
I = К · i
где i — информационный вес символа в битах, связанный с мощностью используемого алфавита N соотношением 2i = N.