Взаимная информация
Взаимная информация — статистическая функция двух случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой.
Взаимная информация определяется через энтропию и условную энтропию двух случайных величин как
- <math>I\left( {X;Y} \right) = H\left( X \right) - H\left( {X|Y} \right) = H\left( X \right) + H\left( Y \right) - H\left( {X,Y} \right)</math>
Содержание
Свойства взаимной информации
- Взаимная информация является симметричной функцией случайных величин:
- <math>I\left( {X;Y} \right) = I\left( {Y;X} \right)</math>
- Взаимная информация неотрицательна и не превосходит информационную энтропию аргументов:
- <math>0 \le I\left( {X;Y} \right) \le \min \left[ H\left( X \right), H\left( Y \right) \right]</math>
В частности, для независимых случайных величин взаимная информация равна нулю:
- <math> I\left( {X;Y} \right) = H \left( X \right) - H \left( X | Y \right) = H \left( X \right) - H \left( X \right) = 0</math>
В случае, когда одна случайная величина (например, <math>X</math>) является детерминированной функцией другой случайной величины (<math>Y</math>), взаимная информация равна энтропии:
- <math> I\left( {X;Y} \right) = H \left( X \right) - H \left( X | Y \right) = H \left( X \right) - 0 = H \left( X \right)</math>
Условная и безусловная взаимная информация
Условная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданного значения третьей:
- <math>I\left( {X;Y|Z = z} \right) = H\left( {X|Z = z} \right) - H\left( {X|Y,Z = z} \right) </math>
Безусловная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданной третьей случайной величины:
- <math>I\left( {X;Y|Z} \right) = H\left( {X|Z} \right) - H\left( {X|Y,Z} \right) </math>
Свойства
- Являются симметричными функциями:
- <math>I\left( {X;Y | Z } \right) = I\left( {Y;X | Z } \right)</math>
- <math>I\left( {X;Y | Z = z} \right) = I\left( {Y;X | Z = z} \right)</math>
- Удовлетворяют неравенствам:
- <math>0 \le I\left( {X;Y | Z } \right) \le \min \left[ H \left( {X | Z } \right), H \left( {Y | Z } \right) \right]</math>
- <math>0 \le I\left( {X;Y | Z = z} \right) \le \min \left[ H \left( {X | Z = z} \right), H \left( {Y | Z = z} \right) \right]</math>
Литература
- Ошибка Lua : attempt to index local 'entity' (a nil value).
|