Условное математическое ожидание

К:Википедия:Статьи без источников (тип: не указан)

См. также: Математическое ожидание

Условное математическое ожидание в теории вероятностей — это среднее значение случайной величины относительно условного распределения.

Определения

Будем считать, что дано вероятностное пространство <math>(\Omega,\mathcal{F},\mathbb{P})</math>. Пусть <math>X:\Omega \to \mathbb{R}</math> — интегрируемая случайная величина, то есть <math>\mathbb{E}\vert X \vert < \infty</math>. Пусть также <math>\mathcal{G} \subset \mathcal{F}</math> — σ-подалгебра σ-алгебры <math>\mathcal{F}</math>.

УМО относительно σ-алгебры

Случайная величина <math>\hat{X}</math> называется условным математическим ожиданием <math>X</math> относительно σ-алгебры <math>\mathcal{G}</math>, если

• <math>\hat{X}</math> измерима относительно <math>\mathcal{G}</math>.
• <math>\forall A \in \mathcal{G},\quad \mathbb{E}\left[\hat{X} \mathbf{1}_A\right] = \mathbb{E}[X \mathbf{1}_A]</math>,

где <math>\mathbf{1}_A</math> — индикатор события <math>A</math>. Условное математическое ожидание обозначается <math>\mathbb{E}[X \mid \mathcal{G}]</math>.

Пример. Пусть <math>\Omega = \{1,2,3,4\},\, \mathcal{F} = 2^{\Omega},\,\mathbb{P}(\omega) = 1/4,\, \omega = 1,\ldots, 4.</math> Положим <math>\mathcal{G} = \{\varnothing, \{1,2\}, \{3,4\}, \Omega \}</math>. Тогда <math>\mathcal{G}</math> — σ-алгебра, и <math>\mathcal{G} \subset \mathcal{F}</math>. Пусть случайная величина <math>X</math> имеет вид

<math>X(\omega) = \omega^2,\; \omega = 1,\ldots, 4</math>.

Тогда

<math>\mathbb{E}[X \mid \mathcal{G}](\omega) = \left\{

\begin{matrix} \frac{5}{2}, & \omega = 1,2 \\[5pt] \frac{25}{2}, & \omega = 3,4. \end{matrix} \right.</math>

УМО относительно семейства событий

Пусть <math>\mathcal{C} = \{C_{\alpha}\} \subset \mathcal{F}</math> — произвольное семейство событий. Тогда условным математическим ожиданием <math>X</math> относительно <math>\mathcal{C}</math> называется

<math>\mathbb{E}[X \mid \mathcal{C}] \equiv \mathbb{E}[X \mid \sigma(\mathcal{C})]</math>,

где <math>\sigma(\mathcal{C})</math> — минимальная сигма-алгебра, содержащая <math>\mathcal{C}</math>.

Пример. Пусть <math>\Omega = \{1,2,3,4\},\, \mathcal{F} = 2^{\Omega},\,\mathbb{P}(\omega) = 1/4,\, \omega = 1,\ldots, 4.</math> Пусть также <math>C = \{1,2,3\}</math>. Тогда <math>\sigma(C) = \{\varnothing, \{1,2,3\},\{4\},\Omega\} \subset \mathcal{F}</math>. Пусть случайная величина <math>X</math> имеет вид

<math>X(\omega) = \omega^2,\; \omega = 1,\ldots, 4</math>.

Тогда

<math>\mathbb{E}[X \mid \mathcal{C}](\omega) = \left\{

\begin{matrix} \frac{14}{3}, & \omega = 1,2,3 \\[5pt] 16, & \omega = 4. \end{matrix} \right.</math>

УМО относительно случайной величины

Пусть <math>Y:\Omega \to \mathbb{R}</math> другая случайная величина. Тогда условным математическим ожиданием <math>X</math> относительно <math>Y</math> называется

<math>\mathbb{E}[X \mid Y] \equiv \mathbb{E}[X \mid \sigma(Y)]</math>,

где <math>\sigma(Y)</math> — σ-алгебра, порождённая случайной величиной <math>Y</math>.

Другое определение УМО <math>X</math> относительно <math>Y</math>:

<math>\mathbb{E}(X \mid Y) = \mathbb{E}(X \mid Y = y) \mid_{y = Y}</math>

Такое определение конструктивно описывает алгоритм нахождения УМО:

• найти математическое ожидание случайной величины <math>X</math>, принимая <math>Y</math> за константу <math>y</math>;
• Затем в полученном выражении <math>y</math> обратно заменить на случайную величину <math>Y</math>.

Пример: <math>X \equiv N(a, \sigma^2)</math>

<math>\mathbb{E}\left[ \frac XY \mid Y \right] = \mathbb{E}\left[ \frac Xy \right] \mid_{y = Y} = \frac{1}{y}\mathbb{E}[ X ] \mid_{y = Y} = \frac{a}{y} \mid_{y = Y} = \frac{a}{Y}</math>

Условная вероятность

Пусть <math>B \in \mathcal{F}</math> — произвольное событие, и <math>\mathbf{1}_B</math> — его индикатор. Тогда условной вероятностью <math>B</math> относительно <math>\mathcal{G}</math> называется

<math>\mathbb{P}(B \mid \mathcal{G}) \equiv \mathbb{E}[\mathbf{1}_B \mid \mathcal{G}]</math>.

Замечания

• Условное математическое ожидание — это случайная величина, а не число.
• Условное математическое ожидание определено с точностью до событий вероятности нуль. Таким образом, если <math>\hat{X}_1 = \mathbb{E}[X \mid \mathcal{G}]</math> и <math>\hat{X}_1 = \hat{X}_2</math> <math>\mathbb{P}</math>-почти всюду, то <math>\hat{X}_2 = \mathbb{E}[X \mid \mathcal{G}]</math>. Отождествив случайные величины, различающиеся лишь на событиях вероятности нуль, получаем единственность условного математического ожидания.
• Взяв <math>A = \Omega</math>, получаем по определению:

<math>\mathbb{E}[X] = \mathbb{E}[\mathbb{E}[X \mid \mathcal{G}]]</math>,

и в частности справедлива формула полной вероятности:

<math>\mathbb{P}(B) = \mathbb{E}[\mathbb{P}(B\mid \mathcal{G})]</math>.

• Пусть σ-алгебра <math>\mathcal{G} = \sigma(C_1,\ldots, C_n)</math> порождена разбиением <math>\{C_i\}_{i=1}^{\infty}</math>. Тогда

<math>\mathbb{E}[X \mid \mathcal{G}] = \sum_{i=1}^{\infty} \mathbb{E}[X \mid C_i] \mathbf{1}_{C_i}</math>.

В частности формула полной вероятности принимает классический вид:

<math>\mathbb{P}(A \mid \mathcal{G}) = \sum\limits_{i=1}^{\infty} \mathbb{P}(A \mid C_i) \mathbf{1}_{C_i}</math>,

а следовательно

<math>\mathbb{P}(A) = \sum\limits_{i=1}^{\infty} \mathbb{P}(A \mid C_i)\, \mathbb{P}(C_i)</math>.

Основные свойства

• Если <math>\hat{X} = \mathbb{E}[X \mid Y]</math>, то существует борелевская функция <math>h:\mathbb{R} \to \mathbb{R}</math>, такая что

<math> \hat{X} = h(Y)</math>.

Условное математическое ожидание <math>X</math> относительно события <math>\{Y = y\}</math> по определению равно

<math>\mathbb{E}[X \mid Y = y] \equiv h(y)</math>.

• Если <math>X \ge 0</math> п.н., то <math>\mathbb{E}[X \mid \mathcal{G}] \ge 0</math> п.н.
• Если <math>X</math> независима от <math>\mathcal{G}</math>, то

<math>\mathbb{E}[X \mid \mathcal{G}] = \mathbb{E}[X]</math> п.н.

В частности, если <math>X,Y</math> независимые случайные величины, то

<math>\mathbb{E}[X \mid Y] = \mathbb{E}[X]</math> п.н.

• Если <math>\mathcal{G}_1,\mathcal{G}_2</math> — две σ-алгебры, такие что <math>\mathcal{G}_1 \subset \mathcal{G}_2 \subset \mathcal{F}</math>, то

<math>\mathbb{E}[\mathbb{E}[X \mid \mathcal{G}_2]\mid \mathcal{G}_1] = \mathbb{E}[X \mid \mathcal{G}_1]</math>.

• Если <math>X</math> — <math>\mathcal{G}</math>-измерима, и <math>Y</math> — случайная величина, такая что <math>Y,XY \in L^1</math>, то

<math>\mathbb{E}[XY \mid \mathcal{G}] = X \, \mathbb{E}[Y \mid \mathcal{G}]</math>.

• «Математическое ожидание убирает условие». Это правило верно для УМО относительно случайной величины (УМО в таком случае будет случайной величиной) и для условной вероятности относительно случайной величины

<math>\mathbb{E}[ \mathbb{E}(X \mid Y) ] = \mathbb{E}( X )</math>.

Дополнительные свойства

• Теорема Леви о монотонной сходимости;
• Теорема Лебега о мажорируемой сходимости;
• Лемма Фату;
• Неравенство Йенсена;
• Теорема Дряхлова.

УМО для дискретных величин

Пусть <math>Y</math> — дискретная случайная величина, чьё распределение задаётся функцией вероятности <math>\mathbb{P}(Y = y_j) \equiv p_Y(y_j) = p_j > 0,\; j = 1,2,\ldots</math>. Тогда система событий <math>\{Y = y_j\}</math> является разбиением <math>\Omega</math>, и

<math>\mathbb{E}[X \mid Y] = \sum\limits_{j=1}^{\infty} \mathbb{E}[X \mid Y = y_j] \mathbf{1}_{\{Y = y_j\}}</math>,

а

<math>\mathbb{E}[X \mid Y = y_j] = \mathbb{E}_{j}[X]</math>,

где <math>\mathbb{E}_j</math> означает математическое ожидание, взятое относительно условной вероятности <math>\mathbb{P}_j(\cdot) = \mathbb{P}(\cdot \mid Y = y_j)</math>.

Если случайная величина <math>X</math> также дискретна, то

<math>\mathbb{E}[X \mid Y = y_j] = \sum\limits_{i=1}^{\infty} x_i\, \mathbb{P}(X = x_i \mid Y = y_j) = \sum\limits_{i=1}^{\infty} x_i\, p_{X \mid Y}(x_i \mid y_j)</math>,

где <math>p_{X \mid Y}</math> — условная функция вероятности случайной величины <math>X</math> относительно <math>Y</math>.

УМО для абсолютно непрерывных случайных величин

Пусть <math>X,Y</math> — случайные величины, такие что вектор <math>(X,Y)^{\top}</math> абсолютно непрерывен, и его распределение задаётся плотностью вероятности <math>f_{X,Y}(x,y)</math>. Введём условную плотность <math>f_{X \mid Y}</math>, положив по определению

<math>f_{X \mid Y}(x \mid y) = \frac{f_{X,Y}(x,y)}{f_Y(y)}</math>,

где <math>f_Y</math> — плотность вероятности случайной величины <math>Y</math>. Тогда

<math>\mathbb{E}[X \mid Y] = h(Y)</math>,

где функция <math>h</math> имеет вид

<math>h(y) = \int\limits_{-\infty}^{\infty} x\, f_{X\mid Y}(x \mid y)\, dx</math>.

В частности,

<math>\mathbb{E}[X \mid Y = y_j] = \int\limits_{-\infty}^{\infty} x\, f_{X\mid Y}(x \mid y_j)\, dx</math>.

УМО в L²

Рассмотрим пространство случайных величин с конечным вторым моментом <math>L^2</math>. В нём определены скалярное произведение

<math>\langle X, Y\rangle \equiv \mathbb{E}[XY],\; \forall X,Y \in L^2</math>,

и порождённая им норма

<math>\|X\| = \sqrt{\mathbb{E}\left[X^2\right]},\; \forall X \in L^2</math>.

Множество всех случайных величин <math>L^2_{\mathcal{G}}</math> с конечным вторым моментом и измеримых относительно <math>\mathcal{G}</math>, где <math>\mathcal{G} \subset \mathcal{F}</math>, является подпространством <math>L^2</math>. Тогда оператор <math>\Pi_{L^2_{\mathcal{G}}}:L^2 \to L^2</math>, задаваемый равенством

<math>\Pi_{L^2_{\mathcal{G}}}(X) = \mathbb{E}[X \mid \mathcal{G}]</math>,

является оператором ортогонального проектирования на <math>L^2_{\mathcal{G}}</math>. В частности:

• Условное математическое ожидание <math>\mathbb{E}[X \mid \mathcal{G}]</math> — это наилучшее средне-квадратичное приближение <math>X</math> <math>\mathcal{G}</math>-измеримыми случайными величинами:

<math>\|X - \mathbb{E}[X\mid \mathcal{G}]\| = \inf\limits_{Z \in L^2_{\mathcal{G}}} \|X - Z\|</math>.

• Условное математическое ожидание сохраняет скалярное произведение:

<math>\langle X, Z \rangle = \langle \mathbb{E}[X\mid \mathcal{G}] , Z\rangle,\; \forall Z \in L^2_{\mathcal{G}}</math>.

• Условное математическое ожидание идемпотентно:

<math>\Pi^2_{L^2_{\mathcal{G}}} = \Pi_{L^2_{\mathcal{G}}}</math>.

См. также

• Условное распределение.