Маргинальное распределение

В теории вероятности и статистике, маргинальное распределение подмножества набора случайных величин — это распределение вероятностей переменных, содержащихся в этом подмножестве. Это даёт возможность представить вероятности различных значений переменных в подмножестве без указания на другие значения переменных. Маргинальное распределение — полная противоположность условному распределению, в котором вероятности полностью зависят от других значений переменных.

Термин маргинальная величина используется для обозначения переменных из подмножества, в котором они содержатся. Эти термины называют «маргинальными», потому что они были найдены путем суммирования значений в таблице вдоль строк или столбцов, и записи этой суммы в полях таблицы. Распределение маргинальных величин (маргинальное распределение) получается путём маргинализации распределения случайных величин.

Здесь понимается, что проводимые теоретические исследования или анализ данных включают в себя большой набор случайных величин, но внимание уделяется ограниченному числу этих величин. Во многих приложениях анализ может начинаться заданным набором случайных величин, затем набор можно расширить определением новых (как сумма начальных случайных величин) и, наконец, уменьшить число переменных путем смещения внимания на маргинальное распределение подмножества (такой как сумма). Может осуществляться несколько разных исследований, каждое из которых работает с различными подмножествами переменных как с маргинальными переменными.

Случай двух переменных

	x1	x2	x3	x4	py(Y)↓
y1	4⁄32	2⁄32	1⁄32	1⁄32	8⁄32
y2	2⁄32	4⁄32	1⁄32	1⁄32	8⁄32
y3	2⁄32	2⁄32	2⁄32	2⁄32	8⁄32
y4	8⁄32	0	0	0	8⁄32
px(X) →	16⁄32	8⁄32	4⁄32	4⁄32	32⁄32
Совместное и маргинальное распределение случайных величин X,Y имеют ненулевую взаимную информацию I(X; Y). Значения совместного распределения представляют собой квадрат 4×4, значения маргинального распределения указаны на полях справа и снизу.

Даны две случайные величины X and Y совместное распределение которых известно. Маргинальное распределение X Это простое распределение вероятности X усредненное по информации о Y. Это распределение вероятности X когда значение Y неизвестно. Это, как правило, рассчитывается суммированием или интегрированием функции совместного распределения над Y.

Для дискретных случайных величин, маргинальная функция вероятности может быть записана как Pr(X = x). Таким образом,

<math>\Pr(X=x) = \sum_{y} \Pr(X=x,Y=y) = \sum_{y} \Pr(X=x|Y=y) \Pr(Y=y),</math>

где Pr(X = x,Y = y) это совместное распределение X и Y, тогда как Pr(X = x|Y = y) является условное распределение X при условии Y. В этом случае, величина Y изолируется(«удаляется из совместного распределения»).

Двумерные маргинальные и совместные вероятности дискретных случайных величин часто изображают в виде двусторонних таблиц.

Аналогично, для непрерывных случайных величин маргинальную функцию плотности вероятности можно записать как p_X(x). В таком случае

<math>p_{X}(x) = \int_y p_{X,Y}(x,y) \, \operatorname{d}\!y = \int_y p_{X|Y}(x|y) \, p_Y(y) \, \operatorname{d}\!y ,</math>

где p_X,Y(x,y) представляет совместное распределение X и Y, в то время, как p_X|Y(x|y) представляет условную вероятность X по Y. Снова, случайная величина Y изолируется(«удаляется из совместного распределения»).

Заметим, что маргинальное распределение всегда можно записать как математическое ожидание:

<math>p_{X}(x) = \int_y p_{X|Y}(x|y) \, p_Y(y) \, \operatorname{d}\!y = \mathbb{E}_{Y} [p_{X|Y}(x|Y)]</math>

Интуитивно, маргинальная вероятность X вычисляется путем изучения полной вероятности X для определенного значения Y, а затем усреднения этой условной вероятности над распределением всех значений Y.

Это следует из определения математического ожидания, то есть в общем случае:

<math>\mathbb{E}_Y [f(Y)] = \int_y f(y) p_Y(y) \, \operatorname{d}\!y</math>

Реальный пример

Предположим, что нужно вычислить вероятность того, что пешеход будет сбит автомобилем при пересечении дороги на пешеходном переходе, не обращая внимания на знаки светофора. Пусть H это дискретная случайная величина принимающая одно из значений {Сбит, Не сбит}. Пусть L это дискретная случайная величина принимающая значения цвета светофора {Красный, Жёлтый, Зелёный}.

В реальности, H должна зависеть от L. То есть, P(H = Сбит) и P(H = Не сбит) принимает разные значения, в зависимости какого цвета горит светофор L: красным, жёлтым, или зелёным. Например человек вероятней может быть сбит машиной, когда пытается перейти дорогу в то время, когда для машины горит зелёный, и менее вероятней, когда для машины горит красный. Другими словами, для каждой возможной пары значений H и L, необходимо учитывать совместное распределение вероятности H и L чтобы найти вероятность того, что пара событий случится вместе, если пешеход игнорирует цвет светофора.

Однако, при попытке посчитать маргинальную вероятность P(H=Сбит), в которой мы требуем чтобы вероятность H=Сбит в ситуации, когда мы не знаем значения L и когда пешеход игнорирует цвет светофора. В общем случае, пешеход может быть сбит когда горит красным ИЛИ жёлтым ИЛИ зелёным. Таким образом, в этом случае маргинальная вероятность может быть найдена суммированием P(H,L) для всех возможных значений L, где каждое значение L взвешено по своей вероятности появления.

Ниже приведена таблица условной вероятности того, что пешеход будет сбит, зависящая от сигнала светофора. (Заметьте, что столбцы в этой таблице должны давать в сумме 1 поскольку вероятность быть сбитым либо не сбитым равна 1 независимо от состояния светофора.)

Условное распределение: P(H|L)
	Красный	Жёлтый	Зелёный
Не сбит	0.99	0.9	0.2
Сбит	0.01	0.1	0.8

Чтобы найти совместное распределение вероятностей, нам нужно больше данных. Пусть P(L=красный) = 0.2, P(L=жёлтый) = 0.1, и P(L=зелёный) = 0.7. Умножая каждый столбец в условной вероятности на вероятность того, что пешеход сбит на данный сигнал светофора, найдём совместное распределение H и L, которое написано в 3 строке. (Заметим, что суммирование значений 3 строки даёт единицу).

Совместное распределение: P(H,L)
	Красный	Жёлтый	Зелёный	Marginal probability P(H)
Не сбит	0.198	0.09	0.14	0.428
Сбит	0.002	0.01	0.56	0.572
Всего	0.2	0.1	0.7	1

Маргинальная вероятность P(H=Сбит) это сумма значений в строке H=Сбит таблицы совместного распределения, поскольку она является вероятностью быть сбитым, когда сигнал красный или жёлтый или зелёный. Точно так же маргинальная вероятность того, что P(H=Не сбит) это сумма значений строки H=Не сбит. В этом примере вероятность быть сбитым, будучи невнимательным пешеходом равна 0.572.

Многомерные распределения

Формула для многомерного распределения, аналогична приведенным выше, в которых символы X и/или Y интерпретируются как векторы. В частности, каждое суммирование или интегрирование будет проходить над всеми переменными, кроме тех, которые содержаться в X.

См. также

• совместное распределение
• Метрика Васерштейна

Литература

• Everitt, B. S. The Cambridge Dictionary of Statistics. — Cambridge University Press, 2002. — ISBN 0-521-81099-X.
• Trumpler, Robert J. and Harold F. Weaver. Statistical Astronomy. — Dover Publications, 1962.

</center>

Отрывок, характеризующий Маргинальное распределение

Дежурный адъютант вошел в палатку.
– Eh bien, Rapp, croyez vous, que nous ferons do bonnes affaires aujourd'hui? [Ну, Рапп, как вы думаете: хороши ли будут нынче наши дела?] – обратился он к нему.
– Sans aucun doute, Sire, [Без всякого сомнения, государь,] – отвечал Рапп.
Наполеон посмотрел на него.
– Vous rappelez vous, Sire, ce que vous m'avez fait l'honneur de dire a Smolensk, – сказал Рапп, – le vin est tire, il faut le boire. [Вы помните ли, сударь, те слова, которые вы изволили сказать мне в Смоленске, вино откупорено, надо его пить.]
Наполеон нахмурился и долго молча сидел, опустив голову на руку.
– Cette pauvre armee, – сказал он вдруг, – elle a bien diminue depuis Smolensk. La fortune est une franche courtisane, Rapp; je le disais toujours, et je commence a l'eprouver. Mais la garde, Rapp, la garde est intacte? [Бедная армия! она очень уменьшилась от Смоленска. Фортуна настоящая распутница, Рапп. Я всегда это говорил и начинаю испытывать. Но гвардия, Рапп, гвардия цела?] – вопросительно сказал он.
– Oui, Sire, [Да, государь.] – отвечал Рапп.
Наполеон взял пастильку, положил ее в рот и посмотрел на часы. Спать ему не хотелось, до утра было еще далеко; а чтобы убить время, распоряжений никаких нельзя уже было делать, потому что все были сделаны и приводились теперь в исполнение.
– A t on distribue les biscuits et le riz aux regiments de la garde? [Роздали ли сухари и рис гвардейцам?] – строго спросил Наполеон.
– Oui, Sire. [Да, государь.]
– Mais le riz? [Но рис?]
Рапп отвечал, что он передал приказанья государя о рисе, но Наполеон недовольно покачал головой, как будто он не верил, чтобы приказание его было исполнено. Слуга вошел с пуншем. Наполеон велел подать другой стакан Раппу и молча отпивал глотки из своего.
– У меня нет ни вкуса, ни обоняния, – сказал он, принюхиваясь к стакану. – Этот насморк надоел мне. Они толкуют про медицину. Какая медицина, когда они не могут вылечить насморка? Корвизар дал мне эти пастильки, но они ничего не помогают. Что они могут лечить? Лечить нельзя. Notre corps est une machine a vivre. Il est organise pour cela, c'est sa nature; laissez y la vie a son aise, qu'elle s'y defende elle meme: elle fera plus que si vous la paralysiez en l'encombrant de remedes. Notre corps est comme une montre parfaite qui doit aller un certain temps; l'horloger n'a pas la faculte de l'ouvrir, il ne peut la manier qu'a tatons et les yeux bandes. Notre corps est une machine a vivre, voila tout. [Наше тело есть машина для жизни. Оно для этого устроено. Оставьте в нем жизнь в покое, пускай она сама защищается, она больше сделает одна, чем когда вы ей будете мешать лекарствами. Наше тело подобно часам, которые должны идти известное время; часовщик не может открыть их и только ощупью и с завязанными глазами может управлять ими. Наше тело есть машина для жизни. Вот и все.] – И как будто вступив на путь определений, definitions, которые любил Наполеон, он неожиданно сделал новое определение. – Вы знаете ли, Рапп, что такое военное искусство? – спросил он. – Искусство быть сильнее неприятеля в известный момент. Voila tout. [Вот и все.]
Рапп ничего не ответил.
– Demainnous allons avoir affaire a Koutouzoff! [Завтра мы будем иметь дело с Кутузовым!] – сказал Наполеон. – Посмотрим! Помните, в Браунау он командовал армией и ни разу в три недели не сел на лошадь, чтобы осмотреть укрепления. Посмотрим!
Он поглядел на часы. Было еще только четыре часа. Спать не хотелось, пунш был допит, и делать все таки было нечего. Он встал, прошелся взад и вперед, надел теплый сюртук и шляпу и вышел из палатки. Ночь была темная и сырая; чуть слышная сырость падала сверху. Костры не ярко горели вблизи, во французской гвардии, и далеко сквозь дым блестели по русской линии. Везде было тихо, и ясно слышались шорох и топот начавшегося уже движения французских войск для занятия позиции.
Наполеон прошелся перед палаткой, посмотрел на огни, прислушался к топоту и, проходя мимо высокого гвардейца в мохнатой шапке, стоявшего часовым у его палатки и, как черный столб, вытянувшегося при появлении императора, остановился против него.
– С которого года в службе? – спросил он с той привычной аффектацией грубой и ласковой воинственности, с которой он всегда обращался с солдатами. Солдат отвечал ему.
– Ah! un des vieux! [А! из стариков!] Получили рис в полк?
– Получили, ваше величество.
Наполеон кивнул головой и отошел от него.

В половине шестого Наполеон верхом ехал к деревне Шевардину.
Начинало светать, небо расчистило, только одна туча лежала на востоке. Покинутые костры догорали в слабом свете утра.
Вправо раздался густой одинокий пушечный выстрел, пронесся и замер среди общей тишины. Прошло несколько минут. Раздался второй, третий выстрел, заколебался воздух; четвертый, пятый раздались близко и торжественно где то справа.
Еще не отзвучали первые выстрелы, как раздались еще другие, еще и еще, сливаясь и перебивая один другой.
Наполеон подъехал со свитой к Шевардинскому редуту и слез с лошади. Игра началась.


Вернувшись от князя Андрея в Горки, Пьер, приказав берейтору приготовить лошадей и рано утром разбудить его, тотчас же заснул за перегородкой, в уголке, который Борис уступил ему.
Когда Пьер совсем очнулся на другое утро, в избе уже никого не было. Стекла дребезжали в маленьких окнах. Берейтор стоял, расталкивая его.
– Ваше сиятельство, ваше сиятельство, ваше сиятельство… – упорно, не глядя на Пьера и, видимо, потеряв надежду разбудить его, раскачивая его за плечо, приговаривал берейтор.
– Что? Началось? Пора? – заговорил Пьер, проснувшись.
– Изволите слышать пальбу, – сказал берейтор, отставной солдат, – уже все господа повышли, сами светлейшие давно проехали.
Пьер поспешно оделся и выбежал на крыльцо. На дворе было ясно, свежо, росисто и весело. Солнце, только что вырвавшись из за тучи, заслонявшей его, брызнуло до половины переломленными тучей лучами через крыши противоположной улицы, на покрытую росой пыль дороги, на стены домов, на окна забора и на лошадей Пьера, стоявших у избы. Гул пушек яснее слышался на дворе. По улице прорысил адъютант с казаком.
– Пора, граф, пора! – прокричал адъютант.
Приказав вести за собой лошадь, Пьер пошел по улице к кургану, с которого он вчера смотрел на поле сражения. На кургане этом была толпа военных, и слышался французский говор штабных, и виднелась седая голова Кутузова с его белой с красным околышем фуражкой и седым затылком, утонувшим в плечи. Кутузов смотрел в трубу вперед по большой дороге.
Войдя по ступенькам входа на курган, Пьер взглянул впереди себя и замер от восхищенья перед красотою зрелища. Это была та же панорама, которою он любовался вчера с этого кургана; но теперь вся эта местность была покрыта войсками и дымами выстрелов, и косые лучи яркого солнца, поднимавшегося сзади, левее Пьера, кидали на нее в чистом утреннем воздухе пронизывающий с золотым и розовым оттенком свет и темные, длинные тени. Дальние леса, заканчивающие панораму, точно высеченные из какого то драгоценного желто зеленого камня, виднелись своей изогнутой чертой вершин на горизонте, и между ними за Валуевым прорезывалась большая Смоленская дорога, вся покрытая войсками. Ближе блестели золотые поля и перелески. Везде – спереди, справа и слева – виднелись войска. Все это было оживленно, величественно и неожиданно; но то, что более всего поразило Пьера, – это был вид самого поля сражения, Бородина и лощины над Колочею по обеим сторонам ее.
Над Колочею, в Бородине и по обеим сторонам его, особенно влево, там, где в болотистых берегах Во йна впадает в Колочу, стоял тот туман, который тает, расплывается и просвечивает при выходе яркого солнца и волшебно окрашивает и очерчивает все виднеющееся сквозь него. К этому туману присоединялся дым выстрелов, и по этому туману и дыму везде блестели молнии утреннего света – то по воде, то по росе, то по штыкам войск, толпившихся по берегам и в Бородине. Сквозь туман этот виднелась белая церковь, кое где крыши изб Бородина, кое где сплошные массы солдат, кое где зеленые ящики, пушки. И все это двигалось или казалось движущимся, потому что туман и дым тянулись по всему этому пространству. Как в этой местности низов около Бородина, покрытых туманом, так и вне его, выше и особенно левее по всей линии, по лесам, по полям, в низах, на вершинах возвышений, зарождались беспрестанно сами собой, из ничего, пушечные, то одинокие, то гуртовые, то редкие, то частые клубы дымов, которые, распухая, разрастаясь, клубясь, сливаясь, виднелись по всему этому пространству.