Оценка апостериорного максимума

В статистике метод оценки с помощью апостериорного максимума (MAP) тесно связан с методом максимального правдоподобия (ML), но дополнительно при оптимизации использует априорное распределение величины, которую оценивает.

Введение

Предположим, что нам нужно оценить неконтролируемый параметр выборки <math>\theta</math> на базе наблюдений <math>x</math>. Пусть <math>f</math> - выборочное распределение <math>x</math>, такое, что <math>f(x|\theta)</math> - вероятность <math>x</math> в то время как параметр выборки <math>\theta</math>. Тогда функция

<math>\theta \mapsto f(x | \theta)</math>

известна как функция правдоподобия, а оценка

<math>\hat{\theta}_{\mathrm{ML}}(x) = \arg\max_{\theta} f(x | \theta)</math>

как оценка максимального правдоподобия <math>\theta</math>.

Теперь, предположим, что априорное распределение <math>g</math> на <math>\theta</math> существует. Это позволяет рассматривать <math>\theta</math> как случайную величину как в Байесовской статистике. тогда апостериорное распределение <math>\theta</math>:

<math>\theta \mapsto \frac{f(x | \theta) \, g(\theta)}{\int_{\Theta} f(x | \theta') \, g(\theta') \, d\theta'}</math>

где <math>g</math> плотность распределения <math>\theta</math>, <math>\Theta</math> - область определения <math>g</math>. Это прямое приложение Теоремы Байеса.

Метод оценки максимального правдоподобия затем оценивает <math>\theta</math> как апостериорное распределение этой случайной величины:

<math>\hat{\theta}_{\mathrm{MAP}}(x)

= \arg\max_{\theta} \frac{f(x | \theta) \, g(\theta)}

 {\int_{\Theta} f(x | \theta') \, g(\theta') \, d\theta'}

= \arg\max_{\theta} f(x | \theta) \, g(\theta)</math>

Знаменатель апостериорного распределения не зависит от <math>\theta</math> и поэтому не играет роли в оптимизации. Заметим, что MAP оценка <math>\theta</math> соответствует ML оценке когда априорная <math>g</math> постоянна (т.е., константа).

Пример

Предположим, что у нас есть последовательность <math>(x_1, \dots, x_n)</math> i.i.d. <math>N(\mu,\sigma_v^2 )</math> случайных величин и априорное распределение <math>\mu</math> задано <math>N(0,\sigma_m^2 )</math>. Мы хотим найти MAP оценку <math>\mu</math>.

Функция, которую нужно максимизировать задана

<math>\pi(\mu) L(\mu) = \frac{1}{\sqrt{2 \pi \sigma_m}} \exp\left(-\frac{1}{2} \left(\frac{\mu}{\sigma_m}\right)^2\right) \prod_{j=1}^n \frac{1}{\sqrt{2 \pi \sigma_v}} \exp\left(-\frac{1}{2} \left(\frac{x_j - \mu}{\sigma_v}\right)^2\right),</math>

что эквивалентно минимизации <math>\mu</math> в

<math> \sum_{j=1}^n \left(\frac{x_j - \mu}{\sigma_v}\right)^2 + \left(\frac{\mu}{\sigma_m}\right)^2.</math>

Таким образом, мы видим, что MAP оценка для μ задана

<math>\hat{\mu}_{MAP} = \frac{\sigma_m^2}{n \sigma_m^2 + \sigma_v^2 } \sum_{j=1}^n x_j.</math>

См. также

• EM-алгоритм — один из способов вычисления MAP
• Метод максимального правдоподобия

Литература

• DeGroot, Morris H. Optimal Statistical Decisions. McGraw-Hill. 1970.
• Harold W. Sorenson. Parameter Estimation: Principles and Problems. Marcel Dekker. 1980.

Отрывок, характеризующий Оценка апостериорного максимума

Анна Павловна задумалась.
– Вы никогда не думали о том, чтобы женить вашего блудного сына Анатоля? Говорят, – сказала она, – что старые девицы ont la manie des Marieiages. [имеют манию женить.] Я еще не чувствую за собою этой слабости, но у меня есть одна petite personne [маленькая особа], которая очень несчастлива с отцом, une parente a nous, une princesse [наша родственница, княжна] Болконская. – Князь Василий не отвечал, хотя с свойственною светским людям быстротой соображения и памяти показал движением головы, что он принял к соображению эти сведения.
– Нет, вы знаете ли, что этот Анатоль мне стоит 40.000 в год, – сказал он, видимо, не в силах удерживать печальный ход своих мыслей. Он помолчал.
– Что будет через пять лет, если это пойдет так? Voila l'avantage d'etre pere. [Вот выгода быть отцом.] Она богата, ваша княжна?
– Отец очень богат и скуп. Он живет в деревне. Знаете, этот известный князь Болконский, отставленный еще при покойном императоре и прозванный прусским королем. Он очень умный человек, но со странностями и тяжелый. La pauvre petite est malheureuse, comme les pierres. [Бедняжка несчастлива, как камни.] У нее брат, вот что недавно женился на Lise Мейнен, адъютант Кутузова. Он будет нынче у меня.
– Ecoutez, chere Annette, [Послушайте, милая Аннет,] – сказал князь, взяв вдруг свою собеседницу за руку и пригибая ее почему то книзу. – Arrangez moi cette affaire et je suis votre [Устройте мне это дело, и я навсегда ваш] вернейший раб a tout jamais pan , comme mon староста m'ecrit des [как пишет мне мой староста] донесенья: покой ер п!. Она хорошей фамилии и богата. Всё, что мне нужно.
И он с теми свободными и фамильярными, грациозными движениями, которые его отличали, взял за руку фрейлину, поцеловал ее и, поцеловав, помахал фрейлинскою рукой, развалившись на креслах и глядя в сторону.
– Attendez [Подождите], – сказала Анна Павловна, соображая. – Я нынче же поговорю Lise (la femme du jeune Болконский). [с Лизой (женой молодого Болконского).] И, может быть, это уладится. Ce sera dans votre famille, que je ferai mon apprentissage de vieille fille. [Я в вашем семействе начну обучаться ремеслу старой девки.]


Гостиная Анны Павловны начала понемногу наполняться. Приехала высшая знать Петербурга, люди самые разнородные по возрастам и характерам, но одинаковые по обществу, в каком все жили; приехала дочь князя Василия, красавица Элен, заехавшая за отцом, чтобы с ним вместе ехать на праздник посланника. Она была в шифре и бальном платье. Приехала и известная, как la femme la plus seduisante de Petersbourg [самая обворожительная женщина в Петербурге,], молодая, маленькая княгиня Болконская, прошлую зиму вышедшая замуж и теперь не выезжавшая в большой свет по причине своей беременности, но ездившая еще на небольшие вечера. Приехал князь Ипполит, сын князя Василия, с Мортемаром, которого он представил; приехал и аббат Морио и многие другие.