Графовая вероятностная модель

Графовая вероятностная модель — это вероятностная модель, в которой в виде графа представлены зависимости между случайными величинами. Вершины графа соответствуют случайным переменным, а рёбра — непосредственным вероятностным взаимосвязям между случайными величинами. Графические модели широко используются в теории вероятностей, статистике (особенно в Байесовской статистике), а также в машинном обучении.

Виды графических моделей

Байесовская сеть

Байесовская сеть представляет случай графической модели с ориентированным ациклическим графом, при этом ориентированные рёбра кодируют отношения вероятностной зависимости между переменными.

По байесовской сети легко записывается совместное распределение переменных: если события (случайные величины) обозначаются как

<math>X_1,\ldots,X_n</math>

тогда совместное распределение удовлетворяет уравнению

<math>P[X_1,\ldots,X_n]=\prod_{i=1}^nP[X_i|pa_i]</math>

где <math>pa_i</math> множество вершин-предков вершины <math>X_i</math>. Другими словами, совместное распределение представляется в виде произведения условных атомарных распределений, которые обычно известны. Любые две вершины, не соединённые ребром, условно независимы, если известно значение их предков. В общем, любые два набора вершин условно независимы при заданных значениях третьего множества вершин, если в графе выполняется условие d-разделимости. Локальная и глобальная независимость эквивалентны в Байесовской сети

Важный частный случай байесовской сети - скрытая марковская модель

Марковские случайные поля

Марковские случайные поля задаются неориентированным графом. В отличие от байесовских сетей, они могут содержать циклы.

С помощью марковских случайных полей, можно удобно представлять изображения, используя сеточную структуру, что позволяет решать, например, задачу фильтрации шума на изображении.

Другие виды графических моделей

• фактор-граф — неориентированный двудольный граф, в котором рёбрами соединены факторы и случайные переменные. Каждый фактор представляет вероятностное распределения для всех переменных, которые он связывает. Графы переводят в форму фактор-графа, например, для возможности использования алгоритма belief propagation.
• цепной граф — это граф, который может содержать как направленные, так и ненаправленные рёбра, но без ориентированных циклов (то есть если мы начнём движение в какой-то вершине и будем двигаться по графу только по ориентированным рёбрам, то мы не сможем вернуться в ту вершину, из которой мы начали путь). И ориентированные и неориентированные графы являются частным случаем цепных графов, которые могут служить обобщением Байесовских и Марковских сетей
• условное случайное поле — дискриминативная модель, заданная на неориентированном графе

Приложения

Графические модели используются в задачах извлечения информации, распознавания речи, компьютерного зрения, декодирования кодов с малой плотностью проверок на чётность, обнаружения генов и диагностики болезней.

Ссылки

• Jensen, Finn. An introduction to Bayesian networks. — Berlin: Springer, 1996. — ISBN 0-387-91502-8.
• Cowell, Robert G. Probabilistic networks and expert systems. — Berlin: Springer, 1999. — ISBN MR[www.ams.org/mathscinet-getitem?mr=1697175 1697175]0-387-98767-3. A more advanced and statistically oriented book
• Pearl Judea. Probabilistic Reasoning in Intelligent Systems. — 2nd revised. — San Mateo, CA: Morgan Kaufmann, 1988. — ISBN MR[www.ams.org/mathscinet-getitem?mr=0965765 0965765]1558604790. A computational reasoning approach, where the relationships between graphs and probabilities were formally introduced.
• Bishop Christopher M. [research.microsoft.com/~cmbishop/PRML/Bishop-PRML-sample.pdf Chapter 8. Graphical Models] // [research.microsoft.com/~cmbishop/PRML/ Pattern Recognition and Machine Learning]. — Springer. — P. 359–422. — ISBN MR[www.ams.org/mathscinet-getitem?mr=2247587 2247587]0-387-31073-8.
• [www.cs.ubc.ca/~murphyk/Bayes/bnintro.html A Brief Introduction to Graphical Models and Bayesian Networks]
• Heckerman's Bayes Net Learning Tutorial
• Edoardo M. Airoldi (2007). «Getting Started in Probabilistic Graphical Models». PLoS Computational Biology 3 (12): e252. DOI:10.1371/journal.pcbi.0030252.

Отрывок, характеризующий Графовая вероятностная модель

Он иногда замечал с неудовольствием, что ему случалось в один и тот же день, в разных обществах, повторять одно и то же. Но он был так занят целые дни, что не успевал подумать о том, что он ничего не думал.
Сперанский, как в первое свидание с ним у Кочубея, так и потом в середу дома, где Сперанский с глазу на глаз, приняв Болконского, долго и доверчиво говорил с ним, сделал сильное впечатление на князя Андрея.
Князь Андрей такое огромное количество людей считал презренными и ничтожными существами, так ему хотелось найти в другом живой идеал того совершенства, к которому он стремился, что он легко поверил, что в Сперанском он нашел этот идеал вполне разумного и добродетельного человека. Ежели бы Сперанский был из того же общества, из которого был князь Андрей, того же воспитания и нравственных привычек, то Болконский скоро бы нашел его слабые, человеческие, не геройские стороны, но теперь этот странный для него логический склад ума тем более внушал ему уважения, что он не вполне понимал его. Кроме того, Сперанский, потому ли что он оценил способности князя Андрея, или потому что нашел нужным приобресть его себе, Сперанский кокетничал перед князем Андреем своим беспристрастным, спокойным разумом и льстил князю Андрею той тонкой лестью, соединенной с самонадеянностью, которая состоит в молчаливом признавании своего собеседника с собою вместе единственным человеком, способным понимать всю глупость всех остальных, и разумность и глубину своих мыслей.
Во время длинного их разговора в середу вечером, Сперанский не раз говорил: «У нас смотрят на всё, что выходит из общего уровня закоренелой привычки…» или с улыбкой: «Но мы хотим, чтоб и волки были сыты и овцы целы…» или: «Они этого не могут понять…» и всё с таким выраженьем, которое говорило: «Мы: вы да я, мы понимаем, что они и кто мы ».
Этот первый, длинный разговор с Сперанским только усилил в князе Андрее то чувство, с которым он в первый раз увидал Сперанского. Он видел в нем разумного, строго мыслящего, огромного ума человека, энергией и упорством достигшего власти и употребляющего ее только для блага России. Сперанский в глазах князя Андрея был именно тот человек, разумно объясняющий все явления жизни, признающий действительным только то, что разумно, и ко всему умеющий прилагать мерило разумности, которым он сам так хотел быть. Всё представлялось так просто, ясно в изложении Сперанского, что князь Андрей невольно соглашался с ним во всем. Ежели он возражал и спорил, то только потому, что хотел нарочно быть самостоятельным и не совсем подчиняться мнениям Сперанского. Всё было так, всё было хорошо, но одно смущало князя Андрея: это был холодный, зеркальный, не пропускающий к себе в душу взгляд Сперанского, и его белая, нежная рука, на которую невольно смотрел князь Андрей, как смотрят обыкновенно на руки людей, имеющих власть. Зеркальный взгляд и нежная рука эта почему то раздражали князя Андрея. Неприятно поражало князя Андрея еще слишком большое презрение к людям, которое он замечал в Сперанском, и разнообразность приемов в доказательствах, которые он приводил в подтверждение своих мнений. Он употреблял все возможные орудия мысли, исключая сравнения, и слишком смело, как казалось князю Андрею, переходил от одного к другому. То он становился на почву практического деятеля и осуждал мечтателей, то на почву сатирика и иронически подсмеивался над противниками, то становился строго логичным, то вдруг поднимался в область метафизики. (Это последнее орудие доказательств он особенно часто употреблял.) Он переносил вопрос на метафизические высоты, переходил в определения пространства, времени, мысли и, вынося оттуда опровержения, опять спускался на почву спора.
Вообще главная черта ума Сперанского, поразившая князя Андрея, была несомненная, непоколебимая вера в силу и законность ума. Видно было, что никогда Сперанскому не могла притти в голову та обыкновенная для князя Андрея мысль, что нельзя всё таки выразить всего того, что думаешь, и никогда не приходило сомнение в том, что не вздор ли всё то, что я думаю и всё то, во что я верю? И этот то особенный склад ума Сперанского более всего привлекал к себе князя Андрея.
Первое время своего знакомства с Сперанским князь Андрей питал к нему страстное чувство восхищения, похожее на то, которое он когда то испытывал к Бонапарте. То обстоятельство, что Сперанский был сын священника, которого можно было глупым людям, как это и делали многие, пошло презирать в качестве кутейника и поповича, заставляло князя Андрея особенно бережно обходиться с своим чувством к Сперанскому, и бессознательно усиливать его в самом себе.