Байесовский вывод

Байесовский вывод — статистический вывод, в котором свидетельство и/или наблюдение используются, чтобы обновить или вновь вывести вероятность того, что гипотеза может быть верной; название байесовский происходит от частого использования в процессе вывода теоремы Байеса, которая была выведена из работ преподобного Томаса Байеса .

Свидетельство и изменение веры

Байесовский вывод использует аспекты научного метода, который вовлекает сбор свидетельств, предназначенных для того, чтобы поддерживать или не поддерживать данную гипотезу. Поскольку свидетельства накапливаются, степень веры в гипотезу должна измениться. С достаточным количеством свидетельств, она должна стать либо очень высокой, либо очень низкой. Таким образом, сторонники байесовского вывода говорят, что он может использоваться, чтобы провести различие между противоречивыми гипотезами: гипотезы с очень высокой поддержкой должны быть приняты как истинные, а с очень низкой поддержкой должны быть отклонены как ложные. Однако, противники говорят, что этот метод вывода может привести к отклонению благодаря исходному верованию, которого каждый придерживается до того, когда какое-либо свидетельство будет собрано (это — форма так называемого индуктивного отклонения(англ. bias)).

Байесовский вывод использует числовую оценку степени веры в гипотезу до получения свидетельства, чтобы вычислить числовую оценку степени веры в гипотезу после того, как свидетельство было получено (этот процесс повторяется, когда получено дополнительное свидетельство). В индукционном процессе байесовский вывод обычно опирается на степени веры, или субъективные вероятности, и не обязательно утверждает, что обеспечен объективный метод индукции. Тем не менее, некоторые байесовские статистики полагают, что вероятности могут иметь объективное значение, и поэтому байесовский вывод может обеспечить объективный метод индукции (см. научный метод).

Теорема Байеса подправляет вероятность гипотезы, данную новым свидетельством, следующим образом:

<Math>P(H|E) = \frac{P(E|H)\;P(H)}{P(E)},</math>

где

• <Math>H</math> представляет конкретную гипотезу, которая может быть, а может и не быть некоторой нулевой гипотезой.
• <Math>P(H)</math> называется априорной вероятностью <math>H</math>, которая была выведена прежде, чем новое свидетельство <Math> E </math> стало доступным.
• <Math>P(E|H)</math> называется условной вероятностью наблюдения свидетельства <Math> E </math>, если гипотеза <Math> H </math> оказывается верной; её также называют функцией правдоподобия, когда она рассматривается как функция <Math> H </math> для фиксированного <Math> E </math>.
• <Math>P(E)</math> называется маргинальной вероятностью <math>E</math>: априорная вероятность наблюдения нового свидетельства <math>E</math> согласно всем возможным гипотезам; может быть вычислено по формуле полной вероятности:

<math>P(E) = \sum P(E|H_i)P(H_i)</math>

— как сумма произведений всех вероятностей любого полного набора взаимно исключающих гипотез и соответствующих условных вероятностей.

• <Math>P(H|E)</math> называется апостериорной вероятностью <math>H</math> для данного <math>E</math>.

Простые примеры байесовского вывода

Из какой вазы печенье?

Для иллюстрации предположим, что есть две полных вазы печенья. В 1-ой вазе 10 шоколадного и 30 простого печенья, в то время как во 2-ой вазе 20 каждого сорта. Наш друг Фред выбирает вазу наугад, и затем выбирает печенье наугад. Мы можем предположить, что нет никакой причины полагать, что Фред рассматривает одну вазу иначе другой, аналогично и для печенья. Печенье, выбранное Фредом, оказывается простым. Насколько вероятно, что Фред выбрал его из 1-ой вазы?

Интуитивно, кажется ясным, что ответ должен быть больше половины, так как есть больше простого печенья в 1-ой вазе. Точный ответ дается теоремой Байеса. Пусть <math> H_1 </math> — выбор вазы 1, а <math> H_2 </math>— выбор вазы 2. Предполагается, что вазы идентичны с точки зрения Фреда, таким образом <math> P (H_1) =P (H_2) </math>, а вместе должны составить 1, таким образом обе равны 0.5.

Событие <math> E </math> — наблюдение простого печенья. Из содержания ваз, мы знаем что <math> P (E|H_1) = 30/40 = 0.75 </math> и <math> P (E|H_2) = 20/40 = 0.5 </math>.

Формула Бейеса тогда даёт

<Math>

\begin{matrix} P (H_1|E) &=& \frac {P (E|H_1) P (H_1)} {P (E|H_1)P (H_1) + P (E|H_2)P (H_2)} \\ \\ &=& \frac {0.75 \times 0.5} {0.75 \times 0.5 + 0.5 \times 0.5} \\ \\ &=& 0.6. \end{matrix} </math> До того, как мы наблюдали печенье, вероятность, которую мы назначили для Фреда, выбиравшего 1-ю вазу, была априорной вероятностью <math> P (H_1) </math>, равной 0.5. После наблюдения печенья, мы должны пересмотреть вероятность <math> P (H_1|E) </math>, которая теперь равна 0.6.

Литература

• [www.inference.phy.cam.ac.uk/mackay/itila/book.html On-line textbook: Information Theory, Inference, and Learning Algorithms], by David MacKay, has chapters on Bayesian methods, including examples; arguments in favour of Bayesian methods (in the style of Edwin Jaynes); modern Monte Carlo methods, message-passing methods, and variational methods; and examples illustrating the connections between Bayesian inference and data compression.
• Berger, J.O. (1999) Statistical Decision Theory and Bayesian Analysis. Second Edition. Springer Verlag, New York. ISBN 0-387-96098-8 and also ISBN 3-540-96098-8.
• Bolstad, William M. (2004) Introduction to Bayesian Statistics, John Wiley ISBN 0-471-27020-2
• Bretthorst, G. Larry, 1988, [bayes.wustl.edu/glb/book.pdf Bayesian Spectrum Analysis and Parameter Estimation] in Lecture Notes in Statistics, 48, Springer-Verlag, New York, New York
• Carlin, B.P. and Louis, T.A. (2008) Bayesian Methods for Data Analysis, Third Edition. Chapman & Hall/CRC. [www.crcpress.com/shopping_cart/products/product_detail.asp?sku=C6978]
• Dawid, A.P. and Mortera, J. (1996) Coherent analysis of forensic identification evidence. Journal of the Royal Statistical Society, Series B, 58,425-443.
• Foreman, L.A; Smith, A.F.M. and Evett, I.W. (1997). Bayesian analysis of deoxyribonucleic acid profiling data in forensic identification applications (with discussion). Journal of the Royal Statistical Society, Series A, 160, 429-469.
• Gardner-Medwin, A. What probability should the jury address?. Significance. Volume 2, Issue 1, March 2005
• Gelman, A., Carlin, J., Stern, H., and Rubin, D.B. (2003). Bayesian Data Analysis. Second Edition. Chapman & Hall/CRC, Boca Raton, Florida. [www.crcpress.com/shopping_cart/products/product_detail.asp?sku=C88X] ISBN 1-58488-388-X.
• Gelman, A. and Meng, X.L. (2004). Applied Bayesian Modeling and Causal Inference from Incomplete-Data Perspectives: an essential journey with Donald Rubin's statistical family. John Wiley & Sons, Chichester, UK. ISBN 0-470-09043-X
• Giffin, A. and Caticha, A. (2007) [arxiv.org/abs/0708.1593 Updating Probabilities with Data and Moments]
• Jaynes, E.T. (1998) [www-biba.inrialpes.fr/Jaynes/prob.html Probability Theory: The Logic of Science].
• Lee, Peter M. Bayesian Statistics: An Introduction. Second Edition. (1997). ISBN 0-340-67785-6.
• Loredo, Thomas J. (1992) "Promise of Bayesian Inference in Astrophysics" in Statistical Challenges in Modern Astronomy, ed. Feigelson & Babu.
• O'Hagan, A. and Forster, J. (2003) Kendall's Advanced Theory of Statistics, Volume 2B: Bayesian Inference. Arnold, New York. ISBN 0-340-52922-9.
• Pearl, J. (1988) Probabilistic Reasoning in Intelligent Systems, San Mateo, CA: Morgan Kaufmann.
• Robert, C.P. (2001) The Bayesian Choice. Springer Verlag, New York.
• Robertson, B. and Vignaux, G.A. (1995) Interpreting Evidence: Evaluating Forensic Science in the Courtroom. John Wiley and Sons. Chichester.
• Winkler, Robert L, Introduction to Bayesian Inference and Decision, 2nd Edition (2003) Probabilistic. ISBN 0-9647938-4-9
• [www.sciam.com/askexpert_question.cfm?articleID=3A86E7BA-E7F2-99DF-3F475245D8E9C780 Scientific American essay] on Bayesian inference and the probability of God's existence by [www.columbia.edu/~chw2/ Chris Wiggins].
• [www.dcs.qmw.ac.uk/~norman/BBNs/BBNs.htm A nice on-line introductory tutorial to Bayesian probability]from Queen Mary University of London
• [yudkowsky.net/bayes/bayes.html An Intuitive Explanation of Bayesian Reasoning] Bayes' Theorem for the curious and bewildered; an excruciatingly gentle introduction by Eliezer Yudkowsky
• Paul Graham. [www.paulgraham.com/spam.html "A Plan for Spam"] (exposition of a popular approach for spam classification)

Отрывок, характеризующий Байесовский вывод

– Ну знаете, и прекрасно, и подите к ней.
– Соооня! Одно слово! Можно ли так мучить меня и себя из за фантазии? – говорил Николай, взяв ее за руку.
Соня не вырывала у него руки и перестала плакать.
Наташа, не шевелясь и не дыша, блестящими главами смотрела из своей засады. «Что теперь будет»? думала она.
– Соня! Мне весь мир не нужен! Ты одна для меня всё, – говорил Николай. – Я докажу тебе.
– Я не люблю, когда ты так говоришь.
– Ну не буду, ну прости, Соня! – Он притянул ее к себе и поцеловал.
«Ах, как хорошо!» подумала Наташа, и когда Соня с Николаем вышли из комнаты, она пошла за ними и вызвала к себе Бориса.
– Борис, подите сюда, – сказала она с значительным и хитрым видом. – Мне нужно сказать вам одну вещь. Сюда, сюда, – сказала она и привела его в цветочную на то место между кадок, где она была спрятана. Борис, улыбаясь, шел за нею.
– Какая же это одна вещь ? – спросил он.
Она смутилась, оглянулась вокруг себя и, увидев брошенную на кадке свою куклу, взяла ее в руки.
– Поцелуйте куклу, – сказала она.
Борис внимательным, ласковым взглядом смотрел в ее оживленное лицо и ничего не отвечал.
– Не хотите? Ну, так подите сюда, – сказала она и глубже ушла в цветы и бросила куклу. – Ближе, ближе! – шептала она. Она поймала руками офицера за обшлага, и в покрасневшем лице ее видны были торжественность и страх.
– А меня хотите поцеловать? – прошептала она чуть слышно, исподлобья глядя на него, улыбаясь и чуть не плача от волненья.
Борис покраснел.
– Какая вы смешная! – проговорил он, нагибаясь к ней, еще более краснея, но ничего не предпринимая и выжидая.
Она вдруг вскочила на кадку, так что стала выше его, обняла его обеими руками, так что тонкие голые ручки согнулись выше его шеи и, откинув движением головы волосы назад, поцеловала его в самые губы.
Она проскользнула между горшками на другую сторону цветов и, опустив голову, остановилась.
– Наташа, – сказал он, – вы знаете, что я люблю вас, но…
– Вы влюблены в меня? – перебила его Наташа.
– Да, влюблен, но, пожалуйста, не будем делать того, что сейчас… Еще четыре года… Тогда я буду просить вашей руки.
Наташа подумала.
– Тринадцать, четырнадцать, пятнадцать, шестнадцать… – сказала она, считая по тоненьким пальчикам. – Хорошо! Так кончено?
И улыбка радости и успокоения осветила ее оживленное лицо.
– Кончено! – сказал Борис.
– Навсегда? – сказала девочка. – До самой смерти?
И, взяв его под руку, она с счастливым лицом тихо пошла с ним рядом в диванную.


Графиня так устала от визитов, что не велела принимать больше никого, и швейцару приказано было только звать непременно кушать всех, кто будет еще приезжать с поздравлениями. Графине хотелось с глазу на глаз поговорить с другом своего детства, княгиней Анной Михайловной, которую она не видала хорошенько с ее приезда из Петербурга. Анна Михайловна, с своим исплаканным и приятным лицом, подвинулась ближе к креслу графини.
– С тобой я буду совершенно откровенна, – сказала Анна Михайловна. – Уж мало нас осталось, старых друзей! От этого я так и дорожу твоею дружбой.
Анна Михайловна посмотрела на Веру и остановилась. Графиня пожала руку своему другу.
– Вера, – сказала графиня, обращаясь к старшей дочери, очевидно, нелюбимой. – Как у вас ни на что понятия нет? Разве ты не чувствуешь, что ты здесь лишняя? Поди к сестрам, или…
Красивая Вера презрительно улыбнулась, видимо не чувствуя ни малейшего оскорбления.
– Ежели бы вы мне сказали давно, маменька, я бы тотчас ушла, – сказала она, и пошла в свою комнату.
Но, проходя мимо диванной, она заметила, что в ней у двух окошек симметрично сидели две пары. Она остановилась и презрительно улыбнулась. Соня сидела близко подле Николая, который переписывал ей стихи, в первый раз сочиненные им. Борис с Наташей сидели у другого окна и замолчали, когда вошла Вера. Соня и Наташа с виноватыми и счастливыми лицами взглянули на Веру.
Весело и трогательно было смотреть на этих влюбленных девочек, но вид их, очевидно, не возбуждал в Вере приятного чувства.
– Сколько раз я вас просила, – сказала она, – не брать моих вещей, у вас есть своя комната.
Она взяла от Николая чернильницу.
– Сейчас, сейчас, – сказал он, мокая перо.
– Вы всё умеете делать не во время, – сказала Вера. – То прибежали в гостиную, так что всем совестно сделалось за вас.
Несмотря на то, или именно потому, что сказанное ею было совершенно справедливо, никто ей не отвечал, и все четверо только переглядывались между собой. Она медлила в комнате с чернильницей в руке.
– И какие могут быть в ваши года секреты между Наташей и Борисом и между вами, – всё одни глупости!
– Ну, что тебе за дело, Вера? – тихеньким голоском, заступнически проговорила Наташа.
Она, видимо, была ко всем еще более, чем всегда, в этот день добра и ласкова.
– Очень глупо, – сказала Вера, – мне совестно за вас. Что за секреты?…
– У каждого свои секреты. Мы тебя с Бергом не трогаем, – сказала Наташа разгорячаясь.
– Я думаю, не трогаете, – сказала Вера, – потому что в моих поступках никогда ничего не может быть дурного. А вот я маменьке скажу, как ты с Борисом обходишься.
– Наталья Ильинишна очень хорошо со мной обходится, – сказал Борис. – Я не могу жаловаться, – сказал он.
– Оставьте, Борис, вы такой дипломат (слово дипломат было в большом ходу у детей в том особом значении, какое они придавали этому слову); даже скучно, – сказала Наташа оскорбленным, дрожащим голосом. – За что она ко мне пристает? Ты этого никогда не поймешь, – сказала она, обращаясь к Вере, – потому что ты никогда никого не любила; у тебя сердца нет, ты только madame de Genlis [мадам Жанлис] (это прозвище, считавшееся очень обидным, было дано Вере Николаем), и твое первое удовольствие – делать неприятности другим. Ты кокетничай с Бергом, сколько хочешь, – проговорила она скоро.
– Да уж я верно не стану перед гостями бегать за молодым человеком…
– Ну, добилась своего, – вмешался Николай, – наговорила всем неприятностей, расстроила всех. Пойдемте в детскую.
Все четверо, как спугнутая стая птиц, поднялись и пошли из комнаты.
– Мне наговорили неприятностей, а я никому ничего, – сказала Вера.
– Madame de Genlis! Madame de Genlis! – проговорили смеющиеся голоса из за двери.
Красивая Вера, производившая на всех такое раздражающее, неприятное действие, улыбнулась и видимо не затронутая тем, что ей было сказано, подошла к зеркалу и оправила шарф и прическу. Глядя на свое красивое лицо, она стала, повидимому, еще холоднее и спокойнее.

В гостиной продолжался разговор.
– Ah! chere, – говорила графиня, – и в моей жизни tout n'est pas rose. Разве я не вижу, что du train, que nous allons, [не всё розы. – при нашем образе жизни,] нашего состояния нам не надолго! И всё это клуб, и его доброта. В деревне мы живем, разве мы отдыхаем? Театры, охоты и Бог знает что. Да что обо мне говорить! Ну, как же ты это всё устроила? Я часто на тебя удивляюсь, Annette, как это ты, в свои годы, скачешь в повозке одна, в Москву, в Петербург, ко всем министрам, ко всей знати, со всеми умеешь обойтись, удивляюсь! Ну, как же это устроилось? Вот я ничего этого не умею.