Байесовская вероятность

Байесовская вероятность — это интерпретация понятия вероятности, используемая в байесовской теории. Вероятность определяется как степень уверенности в истинности суждения. Для определения степени уверенности в истинности суждения при получении новой информации в байесовской теории используется теорема Байеса.

История

Байесовская теория и байесовская вероятность названы в честь Томаса Байеса (1702—1761), доказавшего частный случай теоремы, сейчас называемой теоремой Байеса. Термин «байесовский» стал использоваться примерно в 1950 году, и большая часть того, что сейчас называется «байесовским», не имеет к Байесу прямого отношения. Лаплас доказал более общий случай теоремы Байеса и использовал её для решения задач небесной механики и медицинской статистики. Лаплас, однако, не считал эту теорему важной для развития теории вероятностей. Он придерживался классического определения вероятности.

Франк Рамсей в работе The Foundations of Mathematics (1931) первым выдвинул идею об использовании субъективной уверенности для определения вероятности. Рамсей предложил это определение как дополнение к частотному определению, которое было более развито в то время. Статистик Бруно де Финетти в 1937 применил идеи Рамсея как альтернативу частотному определению. Леонард Сэвидж расширил эту идею в работе The Foundations of Statistics (1954).

Были попытки формального определения интуитивного понятия «степени уверенности». Наиболее общее определение основано на пари: степень уверенности отражается величиной ставки, которую человек готов поставить на то, что суждение истинно.

Варианты

Различные варианты байесовской интерпретации вероятности: субъективная вероятность и логическая вероятность.

Соотношение с частотной вероятностью

Байесовская вероятность противопоставляется частотной, в которой вероятность определяется относительной частотой появления случайного события при достаточно длительных наблюдениях.

Теория вероятности и статистики, основанная на частотной вероятности была разработана Р. А. Фишером, Э. Пирсоном и Е. Нейманом в первой половине XX века. А. Колмогоров также использовал частотную интерпретацию при описании своей аксиоматики, основанной на интеграле Лебега.

Разница между байесовской и частотной интерпретацией играет важную роль в практической статистике. Например, при сравнении двух гипотез на одних и тех же данных, теория проверки статистических гипотез, основанная на частотной интерпретации, позволяет отвергать или не отвергать модели-гипотезы. При этом адекватная модель может быть отвергнута из-за того, что на этих данных кажется адекватнее другая модель. Байесовские методы, напротив, в зависимости от входных данных выдают апостериорную вероятность быть адекватной для каждой из моделей-гипотез.

Применение

Начиная с 1950-х годов, байесовская теория и байесовская вероятность широко применяется за счет, например, теоремы Кокса и принципа максимальной энтропии. Для многих^{[каких?]} задач байесовские методы дают лучший результат, нежели методы, основанные на частотной вероятности.

Байесовская теория используется как метод адаптации существующих вероятностей к вновь полученным экспериментальным данным.

Байесовская теория используется для построения интеллектуальных фильтров, используемых, например, для фильтрации спама-писем из электронной почты.

Вероятности вероятностей

К:Википедия:Статьи без источников (тип: не указан)

Неприятная деталь, связанная с использованием байесовской вероятности в том, что задания вероятности недостаточно для того, чтобы понять её природу. Рассмотрим следующие ситуации:

У вас есть коробка с черными и белыми шарами и никакой информации относительно их количества.
У вас есть коробка с черными и белыми шарами. Вы вытащили наудачу <math>n</math> шаров, ровно половина из них оказались черными.
У вас есть коробка с черными и белыми шарами и вы знаете, что ровно половина из них — черные.

Байесовская вероятность «вытащить следующим черный шар» в каждом из этих случаев равна 0.5. Кейнс назвал это проблемой «степени уверенности». Эту проблему можно решить, введя вероятность вероятности (так называемую, мета-вероятность).

1. Предположим, у вас есть коробка с черными и белыми шарами и никакой информации относительно того, сколько в ней шаров какого цвета.

Пусть <math>\theta = p</math> — это утверждение о том, что вероятность вытащить следующим черный шар равна <math>p</math>, тогда распределение вероятности будет бета-распределением:

<math>\forall \theta \in [0,1]</math>

<math>f(\theta) = \Beta(\alpha_B=1,\alpha_W=1) = \frac{\Gamma(\alpha_B + \alpha_W)}{\Gamma(\alpha_B)\Gamma(\alpha_W)}\theta^{\alpha_B-1}(1-\theta)^{\alpha_W-1} = \frac{\Gamma(2)}{\Gamma(1)\Gamma(1)}\theta^0(1-\theta)^0=1</math>

Предполагая, что вытягивания шаров независимы и равновероятны, распределение вероятности <math>P(\theta|m,n)</math>, после вытягивания m черных шаров и n белых шаров также будет Бета-распределением с параметрами <math>\alpha_B=1+m</math>, <math>\alpha_W=1+n</math>.

2. Предположим, что вы вытащили из коробки <math>n</math> шаров, половина из них оказались черными, а остальные — белыми.

В этом случае распределение вероятности <math>\theta = p</math> будет бета-распределением <math>\Beta(\frac{n}{2}+1, \frac{n}{2}+1)</math>. Максимальное апостериорное ожидание <math>\theta</math> равно <math>\theta_{MAP}=\frac{\frac{n}{2}+1}{n+2}=0.5</math>.

3. Вы знаете, что ровно половина шаров — черные, а остальные — белые.

В этом случае вероятность равна 0.5 с вероятностью 1: <math>f(\theta)=\delta(\theta-0.5)</math>.

См. также

Напишите отзыв о статье "Байесовская вероятность"

Ссылки

[www.computerworld.com/action/article.do?command=viewArticleBasic&articleId=99476 Computerworld QuickStudy: Bayesian Logic And Filters] (англ.)
[www.bayesian.org International Society for Bayesian Analysis] (англ.) Simpler explanation of Bayesian analysis
[www.inference.phy.cam.ac.uk/mackay/itila/book.html On-line textbook: Information Theory, Inference, and Learning Algorithms] (англ.), by David MacKay, has many chapters on Bayesian methods, including introductory examples; arguments in favour of Bayesian methods (in the style of Edwin Jaynes); state-of-the-art Monte Carlo methods, message-passing methods, and variational methods; and examples illustrating the intimate connections between Bayesian inference and data compression.
[www.dcs.qmw.ac.uk/%7Enorman/BBNs/BBNs.htm A nice on-line introductory tutorial to Bayesian probability] (англ.) from Queen Mary University of London
[yudkowsky.net/bayes/bayes.html An Intuitive Explanation of Bayesian Reasoning] (англ.) A very gentle introduction by Eliezer Yudkowsky
Jaynes, E.T. (1998) [www-biba.inrialpes.fr/Jaynes/prob.html Probability Theory : The Logic of Science] (англ.).
Bretthorst, G. Larry, 1988, [bayes.wustl.edu/glb/book.pdf Bayesian Spectrum Analysis and Parameter Estimation] in Lecture Notes in Statistics, 48, Springer-Verlag, New York, New York;
www-groups.dcs.st-andrews.ac.uk/history/Mathematicians/Ramsey.html
David Howie: Interpreting Probability, Controversies and Developments in the Early Twentieth Century, Cambridge University Press, 2002, ISBN 0-521-81251-8
Colin Howson and Peter Urbach: Scientific Reasoning: The Bayesian Approach, Open Court Publishing, 2nd edition, 1993, ISBN 0-8126-9235-7, focuses on the philosophical underpinnings of Bayesian and frequentist statistics. Argues for the subjective interpretation of probability.
Luc Bovens and Stephan Hartmann: Bayesian Epistemology. Oxford: Oxford University Press 2003. Extends the Bayesian program to more complex decision scenarios (e.g. dependent and partially reliable witnesses and measurement instruments) using Bayesian Network models. The book also proofs an impossibility theorem for coherence orderings over information sets and offers a measure that induces a partial coherence ordering.
Jeff Miller [web.archive.org/web/19991001182725/members.aol.com/jeff570/b.html «Earliest Known Uses of Some of the Words of Mathematics (B)»]
James Franklin [www.press.jhu.edu/books/title_pages/2844.html The Science of Conjecture: Evidence and Probability Before Pascal], history from a Bayesian point of view.
Paul Graham [www.paulgraham.com/better.html «Bayesian spam filtering»]
novomind AG [www.imaillight.com/ «Outlook categorizing tool based on Bayesian filtering»]
Howard Raiffa Decision Analysis: Introductory Lectures on Choices under Uncertainty. McGraw Hill, College Custom Series. (1997) ISBN 0-07-052579-X
Devender Sivia, Data Analysis: A Bayesian Tutorial. Oxford: Clarendon Press (1996), pp. 7-8. ISBN 0-19-851889-7
Henk Tijms: Understanding Probability, Cambridge University Press, 2004
Is the portrait of Thomas Bayes authentic? [www.york.ac.uk/depts/maths/histstat/bayespic.htm Who Is this gentleman? When and where was he born?] The IMS Bulletin, Vol. 17 (1988), No. 3, pp. 276—278
Bayesian [www.spam-reader.com Spam Filter] for Microsoft Outlook
[www.sciam.com/askexpert_question.cfm?articleID=3A86E7BA-E7F2-99DF-3F475245D8E9C780&catID=3&chanID=sa005 Ask the experts] on Bayes’s Theorem, from [sciam.com/ Scientific American]
There is a continuing debate among statisticians over the proper definition of probability. [www.statisticalengineering.com/frequentists_and_bayesians.htm]

Отрывок, характеризующий Байесовская вероятность

Крестьяне говорят, что поздней весной дует холодный ветер, потому что почка дуба развертывается, и действительно, всякую весну дует холодный ветер, когда развертывается дуб. Но хотя причина дующего при развертыванье дуба холодного ветра мне неизвестна, я не могу согласиться с крестьянами в том, что причина холодного ветра есть раэвертыванье почки дуба, потому только, что сила ветра находится вне влияний почки. Я вижу только совпадение тех условий, которые бывают во всяком жизненном явлении, и вижу, что, сколько бы и как бы подробно я ни наблюдал стрелку часов, клапан и колеса паровоза и почку дуба, я не узнаю причину благовеста, движения паровоза и весеннего ветра. Для этого я должен изменить совершенно свою точку наблюдения и изучать законы движения пара, колокола и ветра. То же должна сделать история. И попытки этого уже были сделаны.
Для изучения законов истории мы должны изменить совершенно предмет наблюдения, оставить в покое царей, министров и генералов, а изучать однородные, бесконечно малые элементы, которые руководят массами. Никто не может сказать, насколько дано человеку достигнуть этим путем понимания законов истории; но очевидно, что на этом пути только лежит возможность уловления исторических законов и что на этом пути не положено еще умом человеческим одной миллионной доли тех усилий, которые положены историками на описание деяний различных царей, полководцев и министров и на изложение своих соображений по случаю этих деяний.

Силы двунадесяти языков Европы ворвались в Россию. Русское войско и население отступают, избегая столкновения, до Смоленска и от Смоленска до Бородина. Французское войско с постоянно увеличивающеюся силой стремительности несется к Москве, к цели своего движения. Сила стремительности его, приближаясь к цели, увеличивается подобно увеличению быстроты падающего тела по мере приближения его к земле. Назади тысяча верст голодной, враждебной страны; впереди десятки верст, отделяющие от цели. Это чувствует всякий солдат наполеоновской армии, и нашествие надвигается само собой, по одной силе стремительности.
В русском войске по мере отступления все более и более разгорается дух озлобления против врага: отступая назад, оно сосредоточивается и нарастает. Под Бородиным происходит столкновение. Ни то, ни другое войско не распадаются, но русское войско непосредственно после столкновения отступает так же необходимо, как необходимо откатывается шар, столкнувшись с другим, с большей стремительностью несущимся на него шаром; и так же необходимо (хотя и потерявший всю свою силу в столкновении) стремительно разбежавшийся шар нашествия прокатывается еще некоторое пространство.
Русские отступают за сто двадцать верст – за Москву, французы доходят до Москвы и там останавливаются. В продолжение пяти недель после этого нет ни одного сражения. Французы не двигаются. Подобно смертельно раненному зверю, который, истекая кровью, зализывает свои раны, они пять недель остаются в Москве, ничего не предпринимая, и вдруг, без всякой новой причины, бегут назад: бросаются на Калужскую дорогу (и после победы, так как опять поле сражения осталось за ними под Малоярославцем), не вступая ни в одно серьезное сражение, бегут еще быстрее назад в Смоленск, за Смоленск, за Вильну, за Березину и далее.
В вечер 26 го августа и Кутузов, и вся русская армия были уверены, что Бородинское сражение выиграно. Кутузов так и писал государю. Кутузов приказал готовиться на новый бой, чтобы добить неприятеля не потому, чтобы он хотел кого нибудь обманывать, но потому, что он знал, что враг побежден, так же как знал это каждый из участников сражения.
Но в тот же вечер и на другой день стали, одно за другим, приходить известия о потерях неслыханных, о потере половины армии, и новое сражение оказалось физически невозможным.
Нельзя было давать сражения, когда еще не собраны были сведения, не убраны раненые, не пополнены снаряды, не сочтены убитые, не назначены новые начальники на места убитых, не наелись и не выспались люди.
А вместе с тем сейчас же после сражения, на другое утро, французское войско (по той стремительной силе движения, увеличенного теперь как бы в обратном отношении квадратов расстояний) уже надвигалось само собой на русское войско. Кутузов хотел атаковать на другой день, и вся армия хотела этого. Но для того чтобы атаковать, недостаточно желания сделать это; нужно, чтоб была возможность это сделать, а возможности этой не было. Нельзя было не отступить на один переход, потом точно так же нельзя было не отступить на другой и на третий переход, и наконец 1 го сентября, – когда армия подошла к Москве, – несмотря на всю силу поднявшегося чувства в рядах войск, сила вещей требовала того, чтобы войска эти шли за Москву. И войска отступили ещо на один, на последний переход и отдали Москву неприятелю.
Для тех людей, которые привыкли думать, что планы войн и сражений составляются полководцами таким же образом, как каждый из нас, сидя в своем кабинете над картой, делает соображения о том, как и как бы он распорядился в таком то и таком то сражении, представляются вопросы, почему Кутузов при отступлении не поступил так то и так то, почему он не занял позиции прежде Филей, почему он не отступил сразу на Калужскую дорогу, оставил Москву, и т. д. Люди, привыкшие так думать, забывают или не знают тех неизбежных условий, в которых всегда происходит деятельность всякого главнокомандующего. Деятельность полководца не имеет ни малейшего подобия с тою деятельностью, которую мы воображаем себе, сидя свободно в кабинете, разбирая какую нибудь кампанию на карте с известным количеством войска, с той и с другой стороны, и в известной местности, и начиная наши соображения с какого нибудь известного момента. Главнокомандующий никогда не бывает в тех условиях начала какого нибудь события, в которых мы всегда рассматриваем событие. Главнокомандующий всегда находится в средине движущегося ряда событий, и так, что никогда, ни в какую минуту, он не бывает в состоянии обдумать все значение совершающегося события. Событие незаметно, мгновение за мгновением, вырезается в свое значение, и в каждый момент этого последовательного, непрерывного вырезывания события главнокомандующий находится в центре сложнейшей игры, интриг, забот, зависимости, власти, проектов, советов, угроз, обманов, находится постоянно в необходимости отвечать на бесчисленное количество предлагаемых ему, всегда противоречащих один другому, вопросов.
Нам пресерьезно говорят ученые военные, что Кутузов еще гораздо прежде Филей должен был двинуть войска на Калужскую дорогу, что даже кто то предлагал таковой проект. Но перед главнокомандующим, особенно в трудную минуту, бывает не один проект, а всегда десятки одновременно. И каждый из этих проектов, основанных на стратегии и тактике, противоречит один другому. Дело главнокомандующего, казалось бы, состоит только в том, чтобы выбрать один из этих проектов. Но и этого он не может сделать. События и время не ждут. Ему предлагают, положим, 28 го числа перейти на Калужскую дорогу, но в это время прискакивает адъютант от Милорадовича и спрашивает, завязывать ли сейчас дело с французами или отступить. Ему надо сейчас, сию минуту, отдать приказанье. А приказанье отступить сбивает нас с поворота на Калужскую дорогу. И вслед за адъютантом интендант спрашивает, куда везти провиант, а начальник госпиталей – куда везти раненых; а курьер из Петербурга привозит письмо государя, не допускающее возможности оставить Москву, а соперник главнокомандующего, тот, кто подкапывается под него (такие всегда есть, и не один, а несколько), предлагает новый проект, диаметрально противоположный плану выхода на Калужскую дорогу; а силы самого главнокомандующего требуют сна и подкрепления; а обойденный наградой почтенный генерал приходит жаловаться, а жители умоляют о защите; посланный офицер для осмотра местности приезжает и доносит совершенно противоположное тому, что говорил перед ним посланный офицер; а лазутчик, пленный и делавший рекогносцировку генерал – все описывают различно положение неприятельской армии. Люди, привыкшие не понимать или забывать эти необходимые условия деятельности всякого главнокомандующего, представляют нам, например, положение войск в Филях и при этом предполагают, что главнокомандующий мог 1 го сентября совершенно свободно разрешать вопрос об оставлении или защите Москвы, тогда как при положении русской армии в пяти верстах от Москвы вопроса этого не могло быть. Когда же решился этот вопрос? И под Дриссой, и под Смоленском, и ощутительнее всего 24 го под Шевардиным, и 26 го под Бородиным, и в каждый день, и час, и минуту отступления от Бородина до Филей.