Байесовская оценка решения
В математической статистике и теории принятия решений Байесовская оценка решения это статистическая оценка, минимизирующая апостериорное математическое ожидание функции потерь (то есть апостериорное ожидание потерь). Иначе говоря, она максимизирует апостериорное математическое ожидание функции полезности. В рамках теории Байеса данную оценку можно определить как оценку апостериорного максимума.
Содержание
Определение
Предположим, что неизвестный параметр θ имеет априорное распределение π. Пусть <math>\widehat{\theta} = \widehat{\theta}(x)</math> — оценка параметра θ, основанная на некоторых измерениях x и пусть <math>L(\theta,\widehat{\theta})</math> — квадратичная функция потерь, а Байесовский риск параметра <math>\widehat{\theta}</math> — это <math>E_\pi(L(\theta, \widehat{\theta}))</math>, где математическое ожидание берётся по распределению <math>\theta</math>: это определяет функцию риска как функцию от <math>\widehat{\theta}</math>. Тогда, Байесовской оценкой будет называться такая оценка <math>\widehat{\theta}</math>, которая минимизирует Байесовский риск среди всех прочих оценок. Равнозначно, оценка, минимизирующая апостериорные ожидаемые потери <math>E(L(\theta,\widehat{\theta}) | x)</math> для каждого x также минимизирует Байесовский риск и таким образом является Байесовской оценкой.[1]
В случае некорректного априорного распределения оценка, минимизирующая апостериорное ожидание потерь для каждого x называется обобщённой Байесовской оценкой.[2]
Примеры
Оценка минимальной среднеквадратичной ошибки
Наиболее часто используемой функцией риска для Байесовской оценки является функция среднеквадратичной ошибки (в англоязычной литературе обозначаемая как MSE).[en.wikipedia.org/wiki/Minimum_mean_square_error] MSE определяется как <math>\mathrm{MSE} = E\left[ (\widehat{\theta}(x) - \theta)^2 \right],</math>
где Математическое ожидание берётся по совместному распределению <math>\theta</math> и <math>x</math>.
Апостериорное среднее
Если использовать MSE как функцию риска, то Байесовская оценка неизвестного параметра — это просто среднее апостериорного распределения:[3]
<math>\widehat{\theta}(x) = E[\theta |x]=\int \theta p(\theta |x)\,d\theta.</math>
Это известно как оценка минимальной среднеквадратичной ошибки. Байесовский риск, в этом случае, это апостериорная дисперсия.
Байесовский риск для сопряжённого априорного распределения
В тех случаях, когда нет веских причин предпочесть одно априорное распределение вероятности над другим, для простоты используется cопряжённое априорное распределение. Оно определяется как априорное распределение, принадлежащее некоторому параметрическому семейству, чьё результирующее апостериорное распределение также принадлежит этому семейству. Это важное свойство, поскольку Байесовская оценка, а так же его статистические характеристики (дисперсия, доверительный интервал и т. д.) могут быть получены из апостериорного распределения.Оно, в частности, применимо в последовательном оценивании, где апостериорное распределение текущих измерений используется как априорное в следующем измерении. С каждой новой итерацией таких измерений апостериорное распределение обычно становится всё более сложным, и часто Байесовская оценка не может вычислена без использования численных методов.
Несколько примеров сопряжённых априорных распределений:
- Если x|θ распределен нормально, x|θ ~ N(θ,σ2) и априорное распределение тоже нормально, θ ~ N(μ,τ2), тогда апостериорное распределение тоже имеет нормальное распределение и Байесовская оценка под MSE задаётся как:
<math>\widehat{\theta}(x)=\frac{\sigma^{2}}{\sigma^{2}+\tau^{2}}\mu+\frac{\tau^{2}}{\sigma^{2}+\tau^{2}}x.</math>
- Если x1,…,xn — независимые одинаково распределённые по Пуассону случайные величины xi|θ ~ P(θ), и если априорное распределено по гамма-распределению θ ~ G(a, b), тогда апостериорное тоже имеет гамма-распределение, и Байесовская оценка под MSE задаётся как:
<math>\widehat{\theta}(X)=\frac{n\overline{X}+a}{n+\frac{1}{b}}.</math>
- Если x1,…,xn независимые одинаково непрерывно равномерно распределенные случайные величины xi|θ~U(0,θ), а априорное имеет распределение Парето θ~Pa(θ0,a), тогда апостериорное также имеет распределение Парето, и Байесовская оценка под MSE задаётся как:
<math>\widehat{\theta}(X)=\frac{(a+n)\max{(\theta_0,x_1,...,x_n)}}{a+n-1}.</math>
Альтернативные функции риска
Функции риска выбираются в зависимости от того, как измеряется интервал между оценкой и неизвестным параметром. MSE наиболее часто используемая функция риска, в первую очередь из за её простоты. Тем не менее, иногда используются и альтернативные функции риска. Далее идут несколько примеров таких альтернатив. Далее апостериорная обобщённая функция распределения обозначена как <math>F</math>.
Апостериорная медиана и другие квантили
- «Линейная» функция потерь с <math> a>0 </math>, выбирающая медиану апостериорного распределения как Байесовскую оценку:
- <math> L(\theta,\widehat{\theta}) = a|\theta-\widehat{\theta}| </math>
- <math> F(\widehat{\theta }(x)|X) = \tfrac{1}{2}. </math>
- Другая «линейная» функция потерь, назначающая разные «веса» <math> a,b>0 </math> сверху или снизу оценки. Она выбирает квантиль из из апостериорного распределения и является обобщением предыдущей функции потерь.
- <math> L(\theta,\widehat{\theta}) = \begin{cases}
a|\theta-\widehat{\theta}|, & \mbox{for }\theta-\widehat{\theta} \ge 0 \\
b|\theta-\widehat{\theta}|, & \mbox{for }\theta-\widehat{\theta} < 0
\end{cases}
</math>
- <math> F(\widehat{\theta }(x)|X) = \frac{a}{a+b}. </math>
Оценка апостериорного максимума
- Следующая функция потерь более сложная: она устанавливает оценку апостериорного максимума или точку, близкую к ней, в зависимости от кривизны и характеристик апостериорного распределения. Маленькие значения параметра <math> K>0 </math> рекомендованы для использования метода как приближения
(<math> L>0 </math>):
- <math> L(\theta,\widehat{\theta}) = \begin{cases}
0, & \mbox{for }|\theta-\widehat{\theta}| < K \\
L, & \mbox{for }|\theta-\widehat{\theta}| \ge K.
\end{cases}
</math>
- Несмотря на то, что функция среднеквадратичной ошибки наиболее распространена и обоснованна, можно использовать и другие функции потерь.
Обобщённые Баесовские оценки
До сих пор предполагалось, что априорное распределение <math>p</math> — это истинное вероятностное распределение, так как
- <math>\int p(\theta) d\theta = 1.</math>
Однако, порой это может быть слишком жестким требованием. Например, не существует такого распределения (покрывающего всё множество R вещественных чисел), для которого каждое вещественное число было бы равновозможным. Однако же, в некотором смысле, такое распределение кажется естественным выбором для неинформативного априорного распределения, то есть для априорного распределения, не отдающего предпочтения некоторому фиксированному значению неизвестного параметра. По прежнему можно определить функцию <math>p(\theta) = 1</math>, но это уже не будет корректным вероятностным распределением, так как оно имеет бесконечную массу.
- <math>\int{p(\theta)d\theta}=\infty.</math>
Такие меры множества <math>p(\theta)</math> являются некорректными априорными распределениями.
Использование некорректных априорных распределений означает, что Байесовский риск не определён (так как данное априорное распределение, по факту, не является вероятностным распределением и мы не можем взять Математическое ожидание от него). Следовательно, не верно говорить о Байесовской оценке минимизирующей Байесовский риск. Как бы то ни было, можно вычислить апостериорное распределение как
- <math>p(\theta|x) = \frac{p(x|\theta) p(\theta)}{\int p(x|\theta) p(\theta) d\theta}.</math>
Не стоит забывать, что Теорема Байеса применима только к корректным распределениям, и значит не представляется возможным использование её здесь. Тем не менее, нередко встречаются случаи, когда для результирующего апостериорного распределения будет допустимы такие вероятностные распределения. В этом случае, апостериорные ожидаемые потери
- <math> \int{L(\theta,a)p(\theta|x)d\theta}</math> хорошо определены и конечны. Напомним, что для корректного распределения Байесовские оценки минимизируют апостериорные потери. Когда априорное распределение некорректно, оценка минимизирующая апостериорное ожидание потери называется обобщённой Байесовской оценкой.
Эмпирические Байесовские оценки
Байесовские оценки, полученные эмпирическим методом Байеса называются эмпирическими Байесовскими оценками. Этот метод позволяет использовать вспомогательные данные в разработке Байесовской оценки. Их можно получить эмпирически, путём наблюдения за смежными параметрами. Это делается исходя из предположения, что оцениваемые параметры берутся из одних и тех же априорных данных. Например, если произвести независимые наблюдения за разными параметрами, то иногда можно улучшить эффективность оценки конкретного параметра путём использования данных из других наблюдений.
Существуют параметрические и непараметрические методики эмпирических Байесовских оценок. Параметрические предпочтительнее, потому что более применимы и более аккуратны на небольших объёмах данных.[4]
Свойства
Допустимость
Байесовские правила, имеющие конечный Байесовский риск обычно являются допустимыми. Далее приведены некоторые примеры теорем о допустимости.
- Если Байесовское решающее правило уникально, значит оно приемлемо.[5] К примеру, как указано выше, под среднеквадратической ошибкой (MSE) Байесовское правило уникально и, следовательно, допустимо.
- Если параметр θ принадлежит дискретному множеству, тогда все Байесовские правила допустимы.
- Если параметр θ принадлежит непрерывному (не-дискретному множеству), и функция риска R(θ,δ) непрерывна в θ для каждого δ, тогда все Байесовские правила допустимы.
В то же время, обобщённое Байесовское правило часто не определяет Байесовский риск в случае некорректного априорного распределения. Эти правила часто недопустимы и подтверждение их допустимости может вызвать затруднения. Для примера, обобщённая Байесовская оценка сдвига параметра θ, основанная на выборке с нормальным распределением, недопустима для <math>p>2</math>. Этот парадокс известен как парадокс Штайна.[en.wikipedia.org/wiki/Stein%27s_example]
Практические примеры использования Байесовских оценок
Сайт Internet Movie Database использует специальную формулу для расчёта и сравнения рейтингов фильмов пользователями. Следующая байесовская формула изначально использовалась для расчёта взвешенного среднего показателя для Топ-250 фильмов, впрочем с тех пор формула изменилась:
- <math>W = {Rv + Cm\over v+m}\ </math>
где:
- <math>W\ </math> = взвешенный рейтинг
- <math>R\ </math> = средний рейтинг фильма, выраженный числом от 1 до 10 = (рейтинг)
- <math>v\ </math> = количество голосов за фильм = (голоса)
- <math>m\ </math> = вес, поставленный априорной оценкой (оценка основывается на распределении среднего рейтинга среди всех фильмов)
- <math>C\ </math> = средняя оценка по всем фильмам (в настоящее время равняется 7.0)
Подход IMDB гарантирует, что фильм, оцененный несколько сот раз исключительно оценкой 10 не сможет подняться в рейтинге выше, чем, например, фильм «Крёстный отец», со средней оценкой 9.2 от более чем 500,000 пользователей.
См. также
Напишите отзыв о статье "Байесовская оценка решения"
Примечания
Ссылки
- info.alnam.ru/book_osr.php?id=91
- lib.alnam.ru/book_inst.php?id=24
- [baguzin.ru/wp/wp-content/uploads/2013/09/%D0%98%D0%BD%D1%82%D1%83%D0%B8%D1%82%D0%B8%D0%B2%D0%BD%D0%BE%D0%B5-%D0%BE%D0%B1%D1%8A%D1%8F%D1%81%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5-%D1%82%D0%B5%D0%BE%D1%80%D0%B5%D0%BC%D1%8B-%D0%91%D0%B0%D0%B9%D0%B5%D1%81%D0%B0.pdf Интуитивное объяснение теоремы Байеса]
Отрывок, характеризующий Байесовская оценка решения
Он оглянулся на кузину и на гостью барышню: обе смотрели на него с улыбкой одобрения.– Нынче обедает у нас Шуберт, полковник Павлоградского гусарского полка. Он был в отпуску здесь и берет его с собой. Что делать? – сказал граф, пожимая плечами и говоря шуточно о деле, которое, видимо, стоило ему много горя.
– Я уж вам говорил, папенька, – сказал сын, – что ежели вам не хочется меня отпустить, я останусь. Но я знаю, что я никуда не гожусь, кроме как в военную службу; я не дипломат, не чиновник, не умею скрывать того, что чувствую, – говорил он, всё поглядывая с кокетством красивой молодости на Соню и гостью барышню.
Кошечка, впиваясь в него глазами, казалась каждую секунду готовою заиграть и выказать всю свою кошачью натуру.
– Ну, ну, хорошо! – сказал старый граф, – всё горячится. Всё Бонапарте всем голову вскружил; все думают, как это он из поручиков попал в императоры. Что ж, дай Бог, – прибавил он, не замечая насмешливой улыбки гостьи.
Большие заговорили о Бонапарте. Жюли, дочь Карагиной, обратилась к молодому Ростову:
– Как жаль, что вас не было в четверг у Архаровых. Мне скучно было без вас, – сказала она, нежно улыбаясь ему.
Польщенный молодой человек с кокетливой улыбкой молодости ближе пересел к ней и вступил с улыбающейся Жюли в отдельный разговор, совсем не замечая того, что эта его невольная улыбка ножом ревности резала сердце красневшей и притворно улыбавшейся Сони. – В середине разговора он оглянулся на нее. Соня страстно озлобленно взглянула на него и, едва удерживая на глазах слезы, а на губах притворную улыбку, встала и вышла из комнаты. Всё оживление Николая исчезло. Он выждал первый перерыв разговора и с расстроенным лицом вышел из комнаты отыскивать Соню.
– Как секреты то этой всей молодежи шиты белыми нитками! – сказала Анна Михайловна, указывая на выходящего Николая. – Cousinage dangereux voisinage, [Бедовое дело – двоюродные братцы и сестрицы,] – прибавила она.
– Да, – сказала графиня, после того как луч солнца, проникнувший в гостиную вместе с этим молодым поколением, исчез, и как будто отвечая на вопрос, которого никто ей не делал, но который постоянно занимал ее. – Сколько страданий, сколько беспокойств перенесено за то, чтобы теперь на них радоваться! А и теперь, право, больше страха, чем радости. Всё боишься, всё боишься! Именно тот возраст, в котором так много опасностей и для девочек и для мальчиков.
– Всё от воспитания зависит, – сказала гостья.
– Да, ваша правда, – продолжала графиня. – До сих пор я была, слава Богу, другом своих детей и пользуюсь полным их доверием, – говорила графиня, повторяя заблуждение многих родителей, полагающих, что у детей их нет тайн от них. – Я знаю, что я всегда буду первою confidente [поверенной] моих дочерей, и что Николенька, по своему пылкому характеру, ежели будет шалить (мальчику нельзя без этого), то всё не так, как эти петербургские господа.
– Да, славные, славные ребята, – подтвердил граф, всегда разрешавший запутанные для него вопросы тем, что всё находил славным. – Вот подите, захотел в гусары! Да вот что вы хотите, ma chere!
– Какое милое существо ваша меньшая, – сказала гостья. – Порох!
– Да, порох, – сказал граф. – В меня пошла! И какой голос: хоть и моя дочь, а я правду скажу, певица будет, Саломони другая. Мы взяли итальянца ее учить.
– Не рано ли? Говорят, вредно для голоса учиться в эту пору.
– О, нет, какой рано! – сказал граф. – Как же наши матери выходили в двенадцать тринадцать лет замуж?
– Уж она и теперь влюблена в Бориса! Какова? – сказала графиня, тихо улыбаясь, глядя на мать Бориса, и, видимо отвечая на мысль, всегда ее занимавшую, продолжала. – Ну, вот видите, держи я ее строго, запрещай я ей… Бог знает, что бы они делали потихоньку (графиня разумела: они целовались бы), а теперь я знаю каждое ее слово. Она сама вечером прибежит и всё мне расскажет. Может быть, я балую ее; но, право, это, кажется, лучше. Я старшую держала строго.
– Да, меня совсем иначе воспитывали, – сказала старшая, красивая графиня Вера, улыбаясь.
Но улыбка не украсила лица Веры, как это обыкновенно бывает; напротив, лицо ее стало неестественно и оттого неприятно.
Старшая, Вера, была хороша, была неглупа, училась прекрасно, была хорошо воспитана, голос у нее был приятный, то, что она сказала, было справедливо и уместно; но, странное дело, все, и гостья и графиня, оглянулись на нее, как будто удивились, зачем она это сказала, и почувствовали неловкость.
– Всегда с старшими детьми мудрят, хотят сделать что нибудь необыкновенное, – сказала гостья.
– Что греха таить, ma chere! Графинюшка мудрила с Верой, – сказал граф. – Ну, да что ж! всё таки славная вышла, – прибавил он, одобрительно подмигивая Вере.
Гостьи встали и уехали, обещаясь приехать к обеду.
– Что за манера! Уж сидели, сидели! – сказала графиня, проводя гостей.
Когда Наташа вышла из гостиной и побежала, она добежала только до цветочной. В этой комнате она остановилась, прислушиваясь к говору в гостиной и ожидая выхода Бориса. Она уже начинала приходить в нетерпение и, топнув ножкой, сбиралась было заплакать оттого, что он не сейчас шел, когда заслышались не тихие, не быстрые, приличные шаги молодого человека.
Наташа быстро бросилась между кадок цветов и спряталась.
Борис остановился посереди комнаты, оглянулся, смахнул рукой соринки с рукава мундира и подошел к зеркалу, рассматривая свое красивое лицо. Наташа, притихнув, выглядывала из своей засады, ожидая, что он будет делать. Он постоял несколько времени перед зеркалом, улыбнулся и пошел к выходной двери. Наташа хотела его окликнуть, но потом раздумала. «Пускай ищет», сказала она себе. Только что Борис вышел, как из другой двери вышла раскрасневшаяся Соня, сквозь слезы что то злобно шепчущая. Наташа удержалась от своего первого движения выбежать к ней и осталась в своей засаде, как под шапкой невидимкой, высматривая, что делалось на свете. Она испытывала особое новое наслаждение. Соня шептала что то и оглядывалась на дверь гостиной. Из двери вышел Николай.
– Соня! Что с тобой? Можно ли это? – сказал Николай, подбегая к ней.
– Ничего, ничего, оставьте меня! – Соня зарыдала.
– Нет, я знаю что.
– Ну знаете, и прекрасно, и подите к ней.
– Соооня! Одно слово! Можно ли так мучить меня и себя из за фантазии? – говорил Николай, взяв ее за руку.
Соня не вырывала у него руки и перестала плакать.
Наташа, не шевелясь и не дыша, блестящими главами смотрела из своей засады. «Что теперь будет»? думала она.
– Соня! Мне весь мир не нужен! Ты одна для меня всё, – говорил Николай. – Я докажу тебе.
– Я не люблю, когда ты так говоришь.
– Ну не буду, ну прости, Соня! – Он притянул ее к себе и поцеловал.
«Ах, как хорошо!» подумала Наташа, и когда Соня с Николаем вышли из комнаты, она пошла за ними и вызвала к себе Бориса.
– Борис, подите сюда, – сказала она с значительным и хитрым видом. – Мне нужно сказать вам одну вещь. Сюда, сюда, – сказала она и привела его в цветочную на то место между кадок, где она была спрятана. Борис, улыбаясь, шел за нею.
– Какая же это одна вещь ? – спросил он.
Она смутилась, оглянулась вокруг себя и, увидев брошенную на кадке свою куклу, взяла ее в руки.
– Поцелуйте куклу, – сказала она.
Борис внимательным, ласковым взглядом смотрел в ее оживленное лицо и ничего не отвечал.
– Не хотите? Ну, так подите сюда, – сказала она и глубже ушла в цветы и бросила куклу. – Ближе, ближе! – шептала она. Она поймала руками офицера за обшлага, и в покрасневшем лице ее видны были торжественность и страх.
– А меня хотите поцеловать? – прошептала она чуть слышно, исподлобья глядя на него, улыбаясь и чуть не плача от волненья.
Борис покраснел.
– Какая вы смешная! – проговорил он, нагибаясь к ней, еще более краснея, но ничего не предпринимая и выжидая.
Она вдруг вскочила на кадку, так что стала выше его, обняла его обеими руками, так что тонкие голые ручки согнулись выше его шеи и, откинув движением головы волосы назад, поцеловала его в самые губы.
Она проскользнула между горшками на другую сторону цветов и, опустив голову, остановилась.
– Наташа, – сказал он, – вы знаете, что я люблю вас, но…
– Вы влюблены в меня? – перебила его Наташа.
– Да, влюблен, но, пожалуйста, не будем делать того, что сейчас… Еще четыре года… Тогда я буду просить вашей руки.
Наташа подумала.
– Тринадцать, четырнадцать, пятнадцать, шестнадцать… – сказала она, считая по тоненьким пальчикам. – Хорошо! Так кончено?
И улыбка радости и успокоения осветила ее оживленное лицо.
– Кончено! – сказал Борис.
– Навсегда? – сказала девочка. – До самой смерти?
И, взяв его под руку, она с счастливым лицом тихо пошла с ним рядом в диванную.
Графиня так устала от визитов, что не велела принимать больше никого, и швейцару приказано было только звать непременно кушать всех, кто будет еще приезжать с поздравлениями. Графине хотелось с глазу на глаз поговорить с другом своего детства, княгиней Анной Михайловной, которую она не видала хорошенько с ее приезда из Петербурга. Анна Михайловна, с своим исплаканным и приятным лицом, подвинулась ближе к креслу графини.
– С тобой я буду совершенно откровенна, – сказала Анна Михайловна. – Уж мало нас осталось, старых друзей! От этого я так и дорожу твоею дружбой.
Анна Михайловна посмотрела на Веру и остановилась. Графиня пожала руку своему другу.
– Вера, – сказала графиня, обращаясь к старшей дочери, очевидно, нелюбимой. – Как у вас ни на что понятия нет? Разве ты не чувствуешь, что ты здесь лишняя? Поди к сестрам, или…
Красивая Вера презрительно улыбнулась, видимо не чувствуя ни малейшего оскорбления.
– Ежели бы вы мне сказали давно, маменька, я бы тотчас ушла, – сказала она, и пошла в свою комнату.
Но, проходя мимо диванной, она заметила, что в ней у двух окошек симметрично сидели две пары. Она остановилась и презрительно улыбнулась. Соня сидела близко подле Николая, который переписывал ей стихи, в первый раз сочиненные им. Борис с Наташей сидели у другого окна и замолчали, когда вошла Вера. Соня и Наташа с виноватыми и счастливыми лицами взглянули на Веру.
Весело и трогательно было смотреть на этих влюбленных девочек, но вид их, очевидно, не возбуждал в Вере приятного чувства.
– Сколько раз я вас просила, – сказала она, – не брать моих вещей, у вас есть своя комната.
Она взяла от Николая чернильницу.
– Сейчас, сейчас, – сказал он, мокая перо.
– Вы всё умеете делать не во время, – сказала Вера. – То прибежали в гостиную, так что всем совестно сделалось за вас.
Несмотря на то, или именно потому, что сказанное ею было совершенно справедливо, никто ей не отвечал, и все четверо только переглядывались между собой. Она медлила в комнате с чернильницей в руке.
– И какие могут быть в ваши года секреты между Наташей и Борисом и между вами, – всё одни глупости!
– Ну, что тебе за дело, Вера? – тихеньким голоском, заступнически проговорила Наташа.
Она, видимо, была ко всем еще более, чем всегда, в этот день добра и ласкова.
– Очень глупо, – сказала Вера, – мне совестно за вас. Что за секреты?…
