В чем состоит суть содержательного подхода к определению количества информации? Что такое бит с точки зрения содержательного подхода?
Ответ
Сообщение, уменьшающее неопределенность знания в 2 раза, несет 1 бит информации. Такой подход к измерению информации называют содержательным.
Вы подбрасываете монету, загадывая, что выпадет: «орел» или «решка». Перед подбрасыванием монеты неопределенность знания о результате равна двум.
После того как конкретный исход стал известен (например, подброшенная монета упала «орлом» вверх), неопределенность уменьшилась в 2 раза. Таким образом, сообщение о том, что подброшенная монета упала «орлом» вверх, несет в себе 1 бит информации.