Собственная информация

Собственная информация — статистическая функция дискретной случайной величины.

Собственная информация сама является случайной величиной, которую следует отличать от её среднего значения — информационной энтропии.

Для случайной величины <math>X</math>, имеющей конечное число значений:

<math>P_X \left( x_i \right) = p_i, p_i \geq 0, i = 1, 2, ..., n</math>

<math>\sum_{i=1}^n p_i = 1</math>

собственная информация определяется как

<math>I \left( X \right) = - \log P_X \left( X \right) </math>

Единицы измерения информации зависят от основания логарифма. В случае логарифма с основанием 2 единицей измерения является бит, если используется натуральный логарифм — то нат, если десятичный — то хартли.

Основание логарифма	Единица измерения	Количество информации о падении монеты «орлом» вверх
2	бит	<math>- log_2 ( 1 / 2 ) = log_2 2 = 1</math> бит
e	нат	<math>- ln ( 1 / 2 ) = ln 2 \approx 0,69</math> ната
10	хартли	<math>- log_{10} ( 1 / 2 ) = log_{10} 2 \approx 0,30</math> хартли

Собственную информацию можно понимать как «меру неожиданности» события — чем меньше вероятность события, тем больше информации оно содержит.

Свойства собственной информации

1) Неотрицательность: <math>I(x) \geq 0</math>. <math>I(x) = 0</math> при <math>p(x) = 1</math>, т.е. предопределенный факт никакой информации не несет.

2) Монотонность: <math>I(x_1) > I(x_2)</math>, если <math>p(x_1) < p(x_2)</math>.

3) Аддитивность: для независимых <math>x_1,...,x_n</math> справедливо

<math>I(x_1...x_n)=\sum_{i=1}^n I(x_i)</math>.

См. также

• Информационная энтропия
• Взаимная информация

Отрывок, характеризующий Собственная информация

– Али не любишь? – сказал смеющийся голос; и, умеряя звуки голосов, солдаты пошли дальше. Выбравшись за деревню, они опять заговорили так же громко, пересыпая разговор теми же бесцельными ругательствами.
В избе, мимо которой проходили солдаты, собралось высшее начальство, и за чаем шел оживленный разговор о прошедшем дне и предполагаемых маневрах будущего. Предполагалось сделать фланговый марш влево, отрезать вице короля и захватить его.
Когда солдаты притащили плетень, уже с разных сторон разгорались костры кухонь. Трещали дрова, таял снег, и черные тени солдат туда и сюда сновали по всему занятому, притоптанному в снегу, пространству.
Топоры, тесаки работали со всех сторон. Все делалось без всякого приказания. Тащились дрова про запас ночи, пригораживались шалашики начальству, варились котелки, справлялись ружья и амуниция.
Притащенный плетень осьмою ротой поставлен полукругом со стороны севера, подперт сошками, и перед ним разложен костер. Пробили зарю, сделали расчет, поужинали и разместились на ночь у костров – кто чиня обувь, кто куря трубку, кто, донага раздетый, выпаривая вшей.


Казалось бы, что в тех, почти невообразимо тяжелых условиях существования, в которых находились в то время русские солдаты, – без теплых сапог, без полушубков, без крыши над головой, в снегу при 18° мороза, без полного даже количества провианта, не всегда поспевавшего за армией, – казалось, солдаты должны бы были представлять самое печальное и унылое зрелище.
Напротив, никогда, в самых лучших материальных условиях, войско не представляло более веселого, оживленного зрелища. Это происходило оттого, что каждый день выбрасывалось из войска все то, что начинало унывать или слабеть. Все, что было физически и нравственно слабого, давно уже осталось назади: оставался один цвет войска – по силе духа и тела.
К осьмой роте, пригородившей плетень, собралось больше всего народа. Два фельдфебеля присели к ним, и костер их пылал ярче других. Они требовали за право сиденья под плетнем приношения дров.
– Эй, Макеев, что ж ты …. запропал или тебя волки съели? Неси дров то, – кричал один краснорожий рыжий солдат, щурившийся и мигавший от дыма, но не отодвигавшийся от огня. – Поди хоть ты, ворона, неси дров, – обратился этот солдат к другому. Рыжий был не унтер офицер и не ефрейтор, но был здоровый солдат, и потому повелевал теми, которые были слабее его. Худенький, маленький, с вострым носиком солдат, которого назвали вороной, покорно встал и пошел было исполнять приказание, но в это время в свет костра вступила уже тонкая красивая фигура молодого солдата, несшего беремя дров.