Ковариационная матрица

Поделись знанием:
Перейти к: навигация, поиск

Ковариацио́нная ма́трица (или ма́трица ковариа́ций) в теории вероятностей — это матрица, составленная из попарных ковариаций элементов одного или двух случайных векторов.

Ковариационная матрица случайного вектора — квадратная симметрическая неотрицательно определенная матрица, на диагонали которой располагаются дисперсии компонент вектора, а внедиагональные элементы — ковариации между компонентами.

Ковариационная матрица случайного вектора является многомерным аналогом дисперсии случайной величины для случайных векторов. Матрица ковариаций двух случайных векторов- многомерный аналог ковариации между двумя случайными величинами.

В случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение (по аналогии с тем, что математическое ожидание и дисперсия нормально распределенной случайной величины полностью определяют её распределение)





Определения

  • Пусть <math>\mathbf{X}:\Omega \to \mathbb{R}^n</math>, <math>\mathbf{Y}:\Omega \to \mathbb{R}^m</math> — два случайных вектора размерности <math>n</math> и <math>m</math> соответственно. Пусть также случайные величины <math>X_i,Y_j,\; i=1,\ldots, n,\; j = 1,\ldots, m</math> имеют конечный второй момент, то есть <math>X_i,Y_j \in L^2</math>. Тогда матрицей ковариации векторов <math>\mathbf{X},\mathbf{Y}</math> называется
<math>\Sigma = \mathrm{cov}(\mathbf{X},\mathbf{Y}) = \mathbb{E}\left[(\mathbf{X} - \mathbb{E}\mathbf{X})(\mathbf{Y} - \mathbb{E}\mathbf{Y})^{\top}\right],</math>

то есть

<math>\Sigma = (\sigma_{ij})</math>,

где

<math>\sigma_{ij} = \mathrm{cov}(X_i,Y_j) \equiv \mathbb{E}\left[(X_i - \mathbb{E}X_i) (Y_j - \mathbb{E}Y_j)\right],\; i=1,\ldots, n,\; j = 1,\ldots, m</math>,
<math>\mathbb{E}</math> — математическое ожидание.
  • Если <math>\mathbf{X} \equiv \mathbf{Y}</math>, то <math>\Sigma</math> называется матрицей ковариации вектора <math>\mathbf{X}</math> и обозначается <math>\mathrm{cov}(\mathbf{X})</math>.[1] Такая матрица ковариации является обобщением дисперсии для многомерной случайной величины, а её след — скалярным выражением дисперсии многомерной случайной величины. В связи с этим используется также обозначение <math>V(X)</math> - вариация (дисперсия) случайного вектора. Собственные векторы и собственные числа этой матрицы позволяют оценить размеры и форму облака распределения такой случайной величины, аппроксимировав его эллипсоидом (или эллипсом в двумерном случае).

Свойства матриц ковариации

  • Сокращённая формула для вычисления матрицы ковариации:
<math>\mathrm{cov}(\mathbf{X}) = \mathbb{E}\left[\mathbf{X} \mathbf{X}^{\top}\right] - \mathbb{E}[\mathbf{X}] \cdot \mathbb{E}\left[\mathbf{X}^{\top}\right]</math>.
<math>\mathrm{cov}(\mathbf{X}) \ge 0</math>.
  • Смена масштаба:
<math>\mathrm{cov}\left(\mathbf{a}^{\top} \mathbf{X}\right) = \mathbf{a}^{\top} \mathrm{cov}(\mathbf{X}) \mathbf{a},\; \forall \mathbf{a} \in \mathbb{R}^n</math>.
  • Если случайные векторы <math>\mathbf{X}</math> и <math>\mathbf{Y}</math> нескоррелированы (<math>\mathrm{cov}(\mathbf{X},\mathbf{Y}) = \mathbf{0}</math>), то
<math>\mathrm{cov}(\mathbf{X} + \mathbf{Y}) = \mathrm{cov}(\mathbf{X}) + \mathrm{cov}(\mathbf{Y})</math>.
<math>\mathrm{cov}\left(\mathbf{A} \mathbf{X} + \mathbf{b}\right) = \mathbf{A} \mathrm{cov}(\mathbf{X}) \mathbf{A}^{\top}</math>,

где <math>\mathbf{A}</math> — произвольная матрица размера <math>n \times n</math>, а <math>\mathbf{b}\in \mathbb{R}^n</math>.

  • Перестановка аргументов:
<math>\mathrm{cov}(\mathbf{X},\mathbf{Y}) = \mathrm{cov}(\mathbf{Y},\mathbf{X})^{\top}</math>
  • Матрица ковариации аддитивна по каждому аргументу:
<math>\mathrm{cov}(\mathbf{X}_1 + \mathbf{X}_2,\mathbf{Y}) = \mathrm{cov}(\mathbf{X}_1,\mathbf{Y}) + \mathrm{cov}(\mathbf{X}_2,\mathbf{Y})</math>,
<math>\mathrm{cov}(\mathbf{X},\mathbf{Y}_1 + \mathbf{Y}_2) = \mathrm{cov}(\mathbf{X},\mathbf{Y}_1) + \mathrm{cov}(\mathbf{X},\mathbf{Y}_2)</math>.
  • Если <math>\mathbf{X}</math> и <math>\mathbf{Y}</math> независимы, то
<math>\mathrm{cov}(\mathbf{X},\mathbf{Y}) = \mathbf{0}</math>.

Условная ковариационная матрица

Ковариационная матрица случайного вектора является характеристикой его распределения. В случае (многомерного) нормального распределения математическое ожидание вектора и его ковариационная матрица полностью определяют его распределение. Характеристиками условного распределения одного случайного вектора при условии заданного значения другого случайного вектора являются соответственно условное математическое ожидание (функция регрессии) и условная ковариационная матрица.

Пусть случайные векторы <math>X</math> и <math>Y</math> имеют совместное нормальное распределение с математическими ожиданиями <math>\mu_X, \mu_Y</math>, ковариационными матрицами <math>V_X, V_Y</math> и матрицей ковариаций <math>C_{XY}</math>. Это означает, что объединенный случайный вектор <math> \boldsymbol Z = \begin{bmatrix} 

\boldsymbol X \\
\boldsymbol Y

\end{bmatrix} </math> подчиняется многомерному нормальному распределению с вектором математического ожидания <math> \boldsymbol \mu_{Z} = \begin{bmatrix} 

\boldsymbol \mu_X \\
\boldsymbol \mu_Y

\end{bmatrix}, </math> и ковариационной матрицей которую можно представить в виде следующей блочной матрицы

<math> \boldsymbol V_Z = \begin{bmatrix} 

\boldsymbol V_X & \boldsymbol C_{XY} \\
\boldsymbol C_{YX} & \boldsymbol V_{Y}

\end{bmatrix} </math> где <math>C_{YX}=C^T_{XY}</math>

Тогда случайный вектор <math>Y</math> при заданном значении случайного вектора <math>X</math> имеет нормальное распределение (условное) со следующим условным математическим ожиданием и условной ковариационной матрицей

<math> E(Y|X=x)=\mu_Y+C_{YX}V^{-1}_X(x-\mu_X), \qquad V(Y|X=x)=V_Y-C_{YX}V^{-1}_XC_{XY}</math>

Первое равенство определяет функцию линейной регрессии (зависимости условного математического ожидания вектора <math>Y</math> от заданного значения x случайного вектора <math>X</math>), причем матрица <math>C_{XY}V^{-1}</math> - матрица коэффициентов регрессии.

Условная ковариационная матрица представляет собой матрицу ковариаций случайных ошибок линейных регрессий компонентов вектора <math>Y</math> на вектор <math>X</math>.

В случае если <math>Y</math> - обычная случайная величина (однокомпоненнтный вектор), условная ковариационная матрица - это условная дисперсия (по существу - случайной ошибки регрессии <math>Y</math> на вектор <math>X</math>)

Напишите отзыв о статье "Ковариационная матрица"

Примечания

  1. ↑ 1 2 А. Н. Ширяев. Глава 2, §6. Случайные величины II // Вероятность. — 3-е изд. — Cambridge, New York,...: МЦНМО, 2004. — Т. 1. — С. 301. — 520 с.

Отрывок, характеризующий Ковариационная матрица

– Передай, видно… – Он не договорил и улыбнулся болезненно фальшивой улыбкой.


Вернувшись в полк и передав командиру, в каком положении находилось дело Денисова, Ростов с письмом к государю поехал в Тильзит.
13 го июня, французский и русский императоры съехались в Тильзите. Борис Друбецкой просил важное лицо, при котором он состоял, о том, чтобы быть причислену к свите, назначенной состоять в Тильзите.
– Je voudrais voir le grand homme, [Я желал бы видеть великого человека,] – сказал он, говоря про Наполеона, которого он до сих пор всегда, как и все, называл Буонапарте.
– Vous parlez de Buonaparte? [Вы говорите про Буонапарта?] – сказал ему улыбаясь генерал.
Борис вопросительно посмотрел на своего генерала и тотчас же понял, что это было шуточное испытание.
– Mon prince, je parle de l'empereur Napoleon, [Князь, я говорю об императоре Наполеоне,] – отвечал он. Генерал с улыбкой потрепал его по плечу.
– Ты далеко пойдешь, – сказал он ему и взял с собою.
Борис в числе немногих был на Немане в день свидания императоров; он видел плоты с вензелями, проезд Наполеона по тому берегу мимо французской гвардии, видел задумчивое лицо императора Александра, в то время как он молча сидел в корчме на берегу Немана, ожидая прибытия Наполеона; видел, как оба императора сели в лодки и как Наполеон, приставши прежде к плоту, быстрыми шагами пошел вперед и, встречая Александра, подал ему руку, и как оба скрылись в павильоне. Со времени своего вступления в высшие миры, Борис сделал себе привычку внимательно наблюдать то, что происходило вокруг него и записывать. Во время свидания в Тильзите он расспрашивал об именах тех лиц, которые приехали с Наполеоном, о мундирах, которые были на них надеты, и внимательно прислушивался к словам, которые были сказаны важными лицами. В то самое время, как императоры вошли в павильон, он посмотрел на часы и не забыл посмотреть опять в то время, когда Александр вышел из павильона. Свидание продолжалось час и пятьдесят три минуты: он так и записал это в тот вечер в числе других фактов, которые, он полагал, имели историческое значение. Так как свита императора была очень небольшая, то для человека, дорожащего успехом по службе, находиться в Тильзите во время свидания императоров было делом очень важным, и Борис, попав в Тильзит, чувствовал, что с этого времени положение его совершенно утвердилось. Его не только знали, но к нему пригляделись и привыкли. Два раза он исполнял поручения к самому государю, так что государь знал его в лицо, и все приближенные не только не дичились его, как прежде, считая за новое лицо, но удивились бы, ежели бы его не было.
Борис жил с другим адъютантом, польским графом Жилинским. Жилинский, воспитанный в Париже поляк, был богат, страстно любил французов, и почти каждый день во время пребывания в Тильзите, к Жилинскому и Борису собирались на обеды и завтраки французские офицеры из гвардии и главного французского штаба.
24 го июня вечером, граф Жилинский, сожитель Бориса, устроил для своих знакомых французов ужин. На ужине этом был почетный гость, один адъютант Наполеона, несколько офицеров французской гвардии и молодой мальчик старой аристократической французской фамилии, паж Наполеона. В этот самый день Ростов, пользуясь темнотой, чтобы не быть узнанным, в статском платье, приехал в Тильзит и вошел в квартиру Жилинского и Бориса.
В Ростове, также как и во всей армии, из которой он приехал, еще далеко не совершился в отношении Наполеона и французов, из врагов сделавшихся друзьями, тот переворот, который произошел в главной квартире и в Борисе. Все еще продолжали в армии испытывать прежнее смешанное чувство злобы, презрения и страха к Бонапарте и французам. Еще недавно Ростов, разговаривая с Платовским казачьим офицером, спорил о том, что ежели бы Наполеон был взят в плен, с ним обратились бы не как с государем, а как с преступником. Еще недавно на дороге, встретившись с французским раненым полковником, Ростов разгорячился, доказывая ему, что не может быть мира между законным государем и преступником Бонапарте. Поэтому Ростова странно поразил в квартире Бориса вид французских офицеров в тех самых мундирах, на которые он привык совсем иначе смотреть из фланкерской цепи. Как только он увидал высунувшегося из двери французского офицера, это чувство войны, враждебности, которое он всегда испытывал при виде неприятеля, вдруг обхватило его. Он остановился на пороге и по русски спросил, тут ли живет Друбецкой. Борис, заслышав чужой голос в передней, вышел к нему навстречу. Лицо его в первую минуту, когда он узнал Ростова, выразило досаду.
– Ах это ты, очень рад, очень рад тебя видеть, – сказал он однако, улыбаясь и подвигаясь к нему. Но Ростов заметил первое его движение.
– Я не во время кажется, – сказал он, – я бы не приехал, но мне дело есть, – сказал он холодно…
– Нет, я только удивляюсь, как ты из полка приехал. – «Dans un moment je suis a vous», [Сию минуту я к твоим услугам,] – обратился он на голос звавшего его.
– Я вижу, что я не во время, – повторил Ростов.
Выражение досады уже исчезло на лице Бориса; видимо обдумав и решив, что ему делать, он с особенным спокойствием взял его за обе руки и повел в соседнюю комнату. Глаза Бориса, спокойно и твердо глядевшие на Ростова, были как будто застланы чем то, как будто какая то заслонка – синие очки общежития – были надеты на них. Так казалось Ростову.
– Ах полно, пожалуйста, можешь ли ты быть не во время, – сказал Борис. – Борис ввел его в комнату, где был накрыт ужин, познакомил с гостями, назвав его и объяснив, что он был не статский, но гусарский офицер, его старый приятель. – Граф Жилинский, le comte N.N., le capitaine S.S., [граф Н.Н., капитан С.С.] – называл он гостей. Ростов нахмуренно глядел на французов, неохотно раскланивался и молчал.


Источник — «http://wiki-org.ru/wiki/index.php?title=Ковариационная_матрица&oldid=78021474»