Количество информации

Поделись знанием:
Перейти к: навигация, поиск

Количество информации в теории информации – это количество информации в одном случайном объекте относительно другого.

Пусть <math>x</math> и <math>y</math> – случайные величины, заданные на соответствующих множествах <math>X</math> и <math> Y </math>. Тогда количество информации <math>x</math> относительно <math>y</math> есть разность априорной и апостериорной энтропий:

<math>I(x,y)=H(x)-H(x|y) </math>,

где

<math>H(x)=-\sum_{x \in X} p(x) \log_2 p(x)</math>

энтропия, а

<math>H(x|y)=-\sum_{y \in Y} p(y) \sum_{x \in X} p(x|y) \log_2 p(x|y)</math>

— условная энтропия, в теории передачи информации она характеризует шум в канале.



Свойства энтропии

Для энтропии справедливы свойства:

<math> 0 \leqslant H(x) \leqslant \ln (m) </math>,

где <math>m</math> количество элементов множества <math>X</math>.

При этом, <math>H(x)=0</math>, если один из элементов множества реализуется с вероятностью 1, а остальные, соответственно, 0, в силу того, что <math> 1 \ln 1 =0</math> и <math> 0 \ln 0 =0</math>.

Максимум значения энтропии <math> H(x) = \ln (m) </math> достигается, когда все <math> p(x) = 1/m </math>, т.е. все исходы равновероятны.

Для условной энтропии справедливы свойства:

<math> 0 \leqslant H(x|y) \leqslant H(x) </math>,

При этом, <math>H(x|y)=0</math>, если отображение <math>Y</math> в <math>X</math> однозначное, т.е. <math> \forall y \exists x \colon p(x|y)=1 </math>.

Максимум значения условной энтропии <math> H(x|y) = H(x) </math> достигается, когда <math>x</math> и <math>y</math> - независимые случайные величины.

Свойства количества информации

Для количества информации справедливы свойства:

<math>I(x,y)=I(y,x),</math> как следствие теоремы Байеса.
<math>I(x,y) \geqslant 0,</math>
<math>I(x,y)=0,</math> если <math>x</math> и <math>y</math> – независимые случайные величины.
<math>I(x,x)=H(x).</math>

Последнее свойство показывает, что количество информации совпадает с информационной энтропией, если компонента потери информации (шум) равна нулю.

Напишите отзыв о статье "Количество информации"

Литература


К:Википедия:Статьи без источников (тип: не указан)

Отрывок, характеризующий Количество информации

– Нет, папенька, вы простите меня, ежели я сделал вам неприятное; я меньше вашего умею.
«Чорт с ними, с этими мужиками и деньгами, и транспортами по странице, думал он. Еще от угла на шесть кушей я понимал когда то, но по странице транспорт – ничего не понимаю», сказал он сам себе и с тех пор более не вступался в дела. Только однажды графиня позвала к себе сына, сообщила ему о том, что у нее есть вексель Анны Михайловны на две тысячи и спросила у Николая, как он думает поступить с ним.
– А вот как, – отвечал Николай. – Вы мне сказали, что это от меня зависит; я не люблю Анну Михайловну и не люблю Бориса, но они были дружны с нами и бедны. Так вот как! – и он разорвал вексель, и этим поступком слезами радости заставил рыдать старую графиню. После этого молодой Ростов, уже не вступаясь более ни в какие дела, с страстным увлечением занялся еще новыми для него делами псовой охоты, которая в больших размерах была заведена у старого графа.


Уже были зазимки, утренние морозы заковывали смоченную осенними дождями землю, уже зелень уклочилась и ярко зелено отделялась от полос буреющего, выбитого скотом, озимого и светло желтого ярового жнивья с красными полосами гречихи. Вершины и леса, в конце августа еще бывшие зелеными островами между черными полями озимей и жнивами, стали золотистыми и ярко красными островами посреди ярко зеленых озимей. Русак уже до половины затерся (перелинял), лисьи выводки начинали разбредаться, и молодые волки были больше собаки. Было лучшее охотничье время. Собаки горячего, молодого охотника Ростова уже не только вошли в охотничье тело, но и подбились так, что в общем совете охотников решено было три дня дать отдохнуть собакам и 16 сентября итти в отъезд, начиная с дубравы, где был нетронутый волчий выводок.
В таком положении были дела 14 го сентября.