Ковариация

Поделись знанием:
Перейти к: навигация, поиск

Ковариа́ция (корреляционный момент, ковариационный момент) — в теории вероятностей и математической статистике мера линейной зависимости двух случайных величин.





Определение

Пусть <math>X, Y</math> — две случайные величины, определённые на одном и том же вероятностном пространстве. Тогда их ковариация определяется следующим образом:

<math>\mathrm{cov}(X,Y) = \mathbb{M} \left[(X - \mathbb{M}X) (Y - \mathbb{M}Y)\right]</math>,

где <math>\mathbb{M}</math> — математическое ожидание (в англоязычной литературе принято обозначение <math>\mathbb{E}</math>).

Предполагается, что все математические ожидания <math>\mathbb{M}</math> в правой части данного выражения определены.

Замечания
  • Если <math>X,Y\in L^2</math>, то есть имеют конечный второй момент, то ковариация определена и конечна.
  • В гильбертовом пространстве несмещённых случайных величин с конечным вторым моментом <math>L^2_0 \equiv \{X \in L^2 \mid \mathbb{M}X = 0 \}</math> ковариация имеет вид <math>\mathrm{cov}(X,Y) = \mathbb{M}[XY]</math> и играет роль скалярного произведения.

Ковариация выборок

Пусть <math> X_1, X_2, ... ,X_n, Y_1, Y_2, ... ,Y_n</math> — выборки <math>X_{(n)}</math>, <math>Y_{(n)}</math> случайных величин, определённых на одном и том же вероятностном пространстве. Тогда ковариацией между выборками <math>X_{(n)}</math> и <math>Y_{(n)}</math> является:

<math>\mathrm{cov}(X_{(n)},Y_{(n)}) = \frac1n\sum_{t=1}^n \left(X_t-\overline{X}\right)\left(Y_t-\overline{Y}\right)</math>, где

<math>\overline{X} = \frac1n\sum_{t=1}^n X_t</math>, <math>\overline{Y} = \frac1n\sum_{t=1}^n Y_t</math> — среднее значение выборок.

Очевидно, что

<math>\mathrm{cov}(X_{(n)},Y_{(n)}) = \frac1n\sum_{t=1}^n X_tY_t-\left(\frac1n\sum_{t=1}^nX_t\right)\left(\frac1n\sum_{t=1}^nY_t\right)</math>

Свойства

  • Если <math>X,Y</math> — независимые случайные величины, то
    <math>\mathrm{cov}(X,Y) = 0</math>.
  • Но обратное утверждение, вообще говоря, неверно: из отсутствия ковариации не следует независимость. Пример:
    Пусть случайная величина <math>Z</math> принимает значения <math> 0, \frac{\pi}{2}, \pi</math>, каждое с вероятностью <math>\frac13</math>. Тогда <math>\cos{Z}</math> будет принимать значения −1, 0 и 1, каждое с вероятностью <math>\frac13</math>, а <math>P(\sin{Z} = 1) = \frac13, P(\sin{Z} = 0) = \frac23, P(\sin{Z} = -1) = 0</math>. Тогда <math>\mathrm{cov}(\sin{Z},\cos{Z}) = 0</math>, но <math>0 = P(\sin{Z} = 1, \cos{Z} = 1) \ne P(\cos{Z} = 1) P(\sin{Z} = 1) = \frac19</math>
  • Ковариация случайной величины с собой равна дисперсии: <math>\mathrm{cov}(X,X) = \mathrm{D}[X]</math>.
  • Ковариация симметрична:
    <math>\mathrm{cov}(X,Y) = \mathrm{cov}(Y,X)</math>.
  • В силу линейности математического ожидания ковариация может быть записана как
    <math>\mathrm{cov}(X,Y) = \mathbb{M} \left[XY - X\mathbb{M}Y - Y\mathbb{M}X + \mathbb{M}X\mathbb{M}Y \right] = </math>
    <math>\; = \mathbb{M} \left[ XY \right] - \mathbb{M}X \mathbb{M}Y - \mathbb{M}X \mathbb{M}Y + \mathbb{M}X \mathbb{M}Y = \mathbb{M} \left[ XY \right] - \mathbb{M}X \mathbb{M}Y</math>.
  • Пусть <math>X_1,\ldots, X_n</math> случайные величины, а <math>Y_1 = \sum\limits_{i=1}^n a_i X_i,\; Y_2 = \sum\limits_{j=1}^m b_j X_j</math> — их две произвольные линейные комбинации. Тогда
    <math>\mathrm{cov}(Y_1,Y_2) = \sum\limits_{i=1}^n\sum\limits_{j=1}^m a_i b_j \mathrm{cov}(X_i,X_j)</math>.
В частности, ковариация (в отличие от коэффициента корреляции) не инвариантна относительно смены масштаба, что не всегда удобно в приложениях.

Интерпретация

Если ковариация положительна, то с ростом значений одной случайной величины, значения второй имеют тенденцию возрастать, а если знак отрицательный — то убывать.

Однако только по абсолютному значению ковариации нельзя судить о том, насколько сильно величины взаимосвязаны, так как её масштаб зависит от их дисперсий. Масштаб можно отнормировать, поделив значение ковариации на произведение среднеквадратических отклонений (квадратных корней из дисперсий). При этом получается так называемый коэффициент корреляции Пирсона <math>\mathbf{r}(X,Y)</math>, который всегда находится в интервале от −1 до 1:

<math>\mathbf{r}(X,Y) = \frac{\mathrm{cov}(X,Y)}{\sigma X\sigma Y}</math>, где <math>\sigma</math> — среднеквадратическое отклонение.

Соответственно,

<math>\mathrm{cov}(X,Y) = \mathbf r(X,Y)\cdot\sigma X\sigma Y</math>[1].

Случайные величины, имеющие нулевую ковариацию, называются некоррелированными. Независимые случайные величины всегда некоррелированы, но не наоборот.

См. также

Напишите отзыв о статье "Ковариация"

Примечания

  1. [www.nsu.ru/mmf/tvims/chernova/tv/lec/node49.html Коэффициент корреляции]

Ссылки

  • Weisstein, Eric W. [mathworld.wolfram.com/Covariance.html Covariance] (англ.) на сайте Wolfram MathWorld.


Отрывок, характеризующий Ковариация

Оставив этого солдата, который, очевидно, был пьян, Ростов остановил лошадь денщика или берейтора важного лица и стал расспрашивать его. Денщик объявил Ростову, что государя с час тому назад провезли во весь дух в карете по этой самой дороге, и что государь опасно ранен.
– Не может быть, – сказал Ростов, – верно, другой кто.
– Сам я видел, – сказал денщик с самоуверенной усмешкой. – Уж мне то пора знать государя: кажется, сколько раз в Петербурге вот так то видал. Бледный, пребледный в карете сидит. Четверню вороных как припустит, батюшки мои, мимо нас прогремел: пора, кажется, и царских лошадей и Илью Иваныча знать; кажется, с другим как с царем Илья кучер не ездит.
Ростов пустил его лошадь и хотел ехать дальше. Шедший мимо раненый офицер обратился к нему.
– Да вам кого нужно? – спросил офицер. – Главнокомандующего? Так убит ядром, в грудь убит при нашем полку.
– Не убит, ранен, – поправил другой офицер.
– Да кто? Кутузов? – спросил Ростов.
– Не Кутузов, а как бишь его, – ну, да всё одно, живых не много осталось. Вон туда ступайте, вон к той деревне, там всё начальство собралось, – сказал этот офицер, указывая на деревню Гостиерадек, и прошел мимо.
Ростов ехал шагом, не зная, зачем и к кому он теперь поедет. Государь ранен, сражение проиграно. Нельзя было не верить этому теперь. Ростов ехал по тому направлению, которое ему указали и по которому виднелись вдалеке башня и церковь. Куда ему было торопиться? Что ему было теперь говорить государю или Кутузову, ежели бы даже они и были живы и не ранены?
– Этой дорогой, ваше благородие, поезжайте, а тут прямо убьют, – закричал ему солдат. – Тут убьют!
– О! что говоришь! сказал другой. – Куда он поедет? Тут ближе.
Ростов задумался и поехал именно по тому направлению, где ему говорили, что убьют.
«Теперь всё равно: уж ежели государь ранен, неужели мне беречь себя?» думал он. Он въехал в то пространство, на котором более всего погибло людей, бегущих с Працена. Французы еще не занимали этого места, а русские, те, которые были живы или ранены, давно оставили его. На поле, как копны на хорошей пашне, лежало человек десять, пятнадцать убитых, раненых на каждой десятине места. Раненые сползались по два, по три вместе, и слышались неприятные, иногда притворные, как казалось Ростову, их крики и стоны. Ростов пустил лошадь рысью, чтобы не видать всех этих страдающих людей, и ему стало страшно. Он боялся не за свою жизнь, а за то мужество, которое ему нужно было и которое, он знал, не выдержит вида этих несчастных.
Французы, переставшие стрелять по этому, усеянному мертвыми и ранеными, полю, потому что уже никого на нем живого не было, увидав едущего по нем адъютанта, навели на него орудие и бросили несколько ядер. Чувство этих свистящих, страшных звуков и окружающие мертвецы слились для Ростова в одно впечатление ужаса и сожаления к себе. Ему вспомнилось последнее письмо матери. «Что бы она почувствовала, – подумал он, – коль бы она видела меня теперь здесь, на этом поле и с направленными на меня орудиями».
В деревне Гостиерадеке были хотя и спутанные, но в большем порядке русские войска, шедшие прочь с поля сражения. Сюда уже не доставали французские ядра, и звуки стрельбы казались далекими. Здесь все уже ясно видели и говорили, что сражение проиграно. К кому ни обращался Ростов, никто не мог сказать ему, ни где был государь, ни где был Кутузов. Одни говорили, что слух о ране государя справедлив, другие говорили, что нет, и объясняли этот ложный распространившийся слух тем, что, действительно, в карете государя проскакал назад с поля сражения бледный и испуганный обер гофмаршал граф Толстой, выехавший с другими в свите императора на поле сражения. Один офицер сказал Ростову, что за деревней, налево, он видел кого то из высшего начальства, и Ростов поехал туда, уже не надеясь найти кого нибудь, но для того только, чтобы перед самим собою очистить свою совесть. Проехав версты три и миновав последние русские войска, около огорода, окопанного канавой, Ростов увидал двух стоявших против канавы всадников. Один, с белым султаном на шляпе, показался почему то знакомым Ростову; другой, незнакомый всадник, на прекрасной рыжей лошади (лошадь эта показалась знакомою Ростову) подъехал к канаве, толкнул лошадь шпорами и, выпустив поводья, легко перепрыгнул через канаву огорода. Только земля осыпалась с насыпи от задних копыт лошади. Круто повернув лошадь, он опять назад перепрыгнул канаву и почтительно обратился к всаднику с белым султаном, очевидно, предлагая ему сделать то же. Всадник, которого фигура показалась знакома Ростову и почему то невольно приковала к себе его внимание, сделал отрицательный жест головой и рукой, и по этому жесту Ростов мгновенно узнал своего оплакиваемого, обожаемого государя.