Формула Хартли

Формула Хартли определяет количество информации, содержащееся в сообщении длины n.

Имеется алфавит А, из букв которого составляется сообщение:

<math>|A| = m </math>

Количество возможных вариантов разных сообщений:

<math>N = m^n</math>

где N — возможное количество различных сообщений, шт; m — количество букв в алфавите, шт; n — количество букв в сообщении, шт.

Пример: Алфавит состоит из двух букв «B» и «X», длина сообщения 3 буквы — таким образом, m=2, n=3. При выбранных нами алфавите и длине сообщения можно составить <math>N=m^n=2^3=8</math> разных сообщений «BBB», «BBX», «BXB», «BXX», «XBB», «XBX», «XXB», «XXX» — других вариантов нет.

Формула Хартли определяется:

<math>I = \log_2 N = n \log_2 m,</math>

где I — количество информации, бит.

При равновероятности символов <math>p=\frac1m, m=\frac1p</math> формула Хартли переходит в собственную информацию.

Формула Хартли была предложена Ральфом Хартли в 1928 году как один из научных подходов к оценке сообщений.

Иллюстрация

Допустим, нам требуется что-либо найти или определить в той или иной системе. Есть такой способ поиска, как «деление пополам». Например, кто-то загадывает число от 1 до 100, а другой должен отгадать его, получая лишь ответы «да» или «нет». Задаётся вопрос: «число меньше N?». Любой из ответов «да» и «нет» сократит область поиска вдвое. Далее по той же схеме диапазон снова делится пополам. В конечном счёте загаданное число будет найдено.

Сколько вопросов надо задать, чтобы найти задуманное число от 1 до 100. Допустим загаданное число 27. Вариант диалога:

Больше 50? Нет.
Больше 25? Да.
Больше 38? Нет.
Меньше 32? Да.
Меньше 29? Да.
Меньше 27? Нет.
Это число 28? Нет.

Если число не 28 и не меньше 27, то это явно 27. Чтобы угадать методом «деления пополам» число от 1 до 100, нам потребовалось 7 вопросов.

Можно просто спрашивать: это число 1? Это число 2? И т. д. Но тогда вам потребуется намного больше вопросов. «Деление пополам» — самый оптимальный способ нахождения числа. Объём информации, заложенный в ответ «да»/«нет», равен одному биту (действительно, ведь бит имеет два состояния: 1 или 0). Итак, для угадывания числа от 1 до 100 нам потребовалось семь бит (семь ответов «да»/«нет»).

<math>N = 2^k</math>

Такой формулой можно представить, сколько вопросов (бит информации) потребуется, чтобы определить одно из возможных значений. N — это количество значений, а k — количество бит. Например, в нашем примере 27 меньше, чем 28, однако больше, чем 26. Да, нам могло бы потребоваться и всего 6 вопросов, если бы загаданное число было 28.

Формула Хартли:

<math>k = log_2 N</math>.

Количество информации (k), необходимой для определения конкретного элемента, есть логарифм по основанию 2 общего количества элементов (N).

Формула Шеннона

Когда события не равновероятны, может использоваться формула Шеннона.

<math> I = -\sum_{i} p_i log_2 p_i </math>, где p_i вероятность i-го события.

См. также

• Собственная информация

Отрывок, характеризующий Формула Хартли

– Вы совершенно вправе оказывать или не оказывать мне уважение, – сказал Балашев. – Но позвольте вам заметить, что я имею честь носить звание генерал адъютанта его величества…
Даву взглянул на него молча, и некоторое волнение и смущение, выразившиеся на лице Балашева, видимо, доставили ему удовольствие.
– Вам будет оказано должное, – сказал он и, положив конверт в карман, вышел из сарая.
Через минуту вошел адъютант маршала господин де Кастре и провел Балашева в приготовленное для него помещение.
Балашев обедал в этот день с маршалом в том же сарае, на той же доске на бочках.
На другой день Даву выехал рано утром и, пригласив к себе Балашева, внушительно сказал ему, что он просит его оставаться здесь, подвигаться вместе с багажами, ежели они будут иметь на то приказания, и не разговаривать ни с кем, кроме как с господином де Кастро.
После четырехдневного уединения, скуки, сознания подвластности и ничтожества, особенно ощутительного после той среды могущества, в которой он так недавно находился, после нескольких переходов вместе с багажами маршала, с французскими войсками, занимавшими всю местность, Балашев привезен был в Вильну, занятую теперь французами, в ту же заставу, на которой он выехал четыре дня тому назад.
На другой день императорский камергер, monsieur de Turenne, приехал к Балашеву и передал ему желание императора Наполеона удостоить его аудиенции.
Четыре дня тому назад у того дома, к которому подвезли Балашева, стояли Преображенского полка часовые, теперь же стояли два французских гренадера в раскрытых на груди синих мундирах и в мохнатых шапках, конвой гусаров и улан и блестящая свита адъютантов, пажей и генералов, ожидавших выхода Наполеона вокруг стоявшей у крыльца верховой лошади и его мамелюка Рустава. Наполеон принимал Балашева в том самом доме в Вильве, из которого отправлял его Александр.


Несмотря на привычку Балашева к придворной торжественности, роскошь и пышность двора императора Наполеона поразили его.
Граф Тюрен ввел его в большую приемную, где дожидалось много генералов, камергеров и польских магнатов, из которых многих Балашев видал при дворе русского императора. Дюрок сказал, что император Наполеон примет русского генерала перед своей прогулкой.
После нескольких минут ожидания дежурный камергер вышел в большую приемную и, учтиво поклонившись Балашеву, пригласил его идти за собой.
Балашев вошел в маленькую приемную, из которой была одна дверь в кабинет, в тот самый кабинет, из которого отправлял его русский император. Балашев простоял один минуты две, ожидая. За дверью послышались поспешные шаги. Быстро отворились обе половинки двери, камергер, отворивший, почтительно остановился, ожидая, все затихло, и из кабинета зазвучали другие, твердые, решительные шаги: это был Наполеон. Он только что окончил свой туалет для верховой езды. Он был в синем мундире, раскрытом над белым жилетом, спускавшимся на круглый живот, в белых лосинах, обтягивающих жирные ляжки коротких ног, и в ботфортах. Короткие волоса его, очевидно, только что были причесаны, но одна прядь волос спускалась книзу над серединой широкого лба. Белая пухлая шея его резко выступала из за черного воротника мундира; от него пахло одеколоном. На моложавом полном лице его с выступающим подбородком было выражение милостивого и величественного императорского приветствия.