Метод моментов

Ме́тод моме́нтов — метод оценки неизвестных параметров распределений в математической статистике и эконометрике, основанный на предполагаемых свойствах моментов (Пирсон, 1894 г.). Идея метода заключается в замене истинных соотношений выборочными аналогами.

Суть метода

Пусть случайная величина (вектор, матрица и т. д.) X имеет некоторое распределение <math>\mathbb{P}_{\theta}</math>, зависящее от параметров <math>\theta \in \Theta \subset \mathbb{R}^k</math>. Пусть для функций (называемых моментами или моментными функциями) <math>g_i:\mathbb{R}^m \to \mathbb{R}</math>, интегрируемых по мере <math>\mathbb{P}_{\theta}</math>, выполнены условия на моменты

<math>\mathbb{E}\left[g_i(X,\theta)\right] = 0~,~~i=1..k</math>

Пусть <math>X_1,\ldots,X_n</math> — выборка случайной величины X. Предполагается, что соотношения аналогичные условиям на моменты выполнены и для выборки, а именно вместо математического ожидания в условиях на моменты необходимо использовать выборочные средние:

<math>\overline {g_i(X,\theta)} = 0~,~~i=1..k</math>

причем в данном представлении (когда справа от равенства — ноль) достаточно использовать просто суммы вместо средних.

Оценки, получаемые из решения этой системы уравнений (выборочных условий на моменты), называются оценками метода моментов. Название метода связано с тем, что чаще всего в качестве функций <math>g_i</math> выступают функции степенного вида, математические ожидания от которых в теории вероятностей и математической статистике принято называть моментами.

Если моментные функции непрерывны, то оценки метода моментов состоятельны.

Частные случаи

Некоторые классические методы оценки регрессионных моделей можно представить как частные случаи метода моментов. Например, если линейная регрессионная модель <math>y_t=x_t^Tb+\varepsilon_t</math> удовлетворяет условию <math>E(x^T_t \varepsilon_t)=0</math>, то условия на моменты выглядят следующим образом:

<math>X^Te=0~\Rightarrow~X^T(y-Xb)=0~\Rightarrow ~X^TXb=X^Ty</math>

Следовательно, в этом случае оценка метода моментов будет совпадать с оценкой метода наименьших квадратов <math> \hat{b}_{MM}=\hat{b}_{OLS}=(X^TX)^{-1}X^Ty</math>

Таким образом, МНК является частным случаем метода моментов, когда выполняется условие ортогональности регрессоров и случайных ошибок <math>E(x^T_t \varepsilon_t)=0</math>

Рассмотрим другой случай, когда имеются некоторые переменные z, ортогональные случайным ошибкам линейной регрессионной модели, то есть <math>E(z^T_t \varepsilon_t)=0</math>. Тогда имеем выборочный аналог этого условия:

<math>Z^Te=0~\Rightarrow Z^T(y-Xb)=0~\Rightarrow ~Z^TXb=Z^Ty</math>

Следовательно оценка метода моментов будет совпадать с оценкой метода инструментальных переменных: <math>\hat{b}_{MM}=\hat{b}_{IV}=(Z^TX)^{-1}Z^Ty</math>.

Таким образом, метод инструментальных переменных является частным случаем метода моментов, когда выполнено условие ортогональности инструментов и случайных ошибок модели.

Обобщенный метод моментов

Метод моментов может быть обобщен на случай, когда количество условий на моменты превышает количество параметров, которые необходимо оценить. В этом случае очевидно однозначного решения задача не имеет (в общем случае). В таком случае решается задача на минимизацию некоторого функционала, характеризующего интегральную степень соблюдения условий на моменты.

Пусть <math>E(g(x,b))=0</math> — совокупность условий на моменты, число которых больше числа неизвестных параметров. Обобщенным методом моментов (ОММ, GMM — Generalized Method of Moments) называется оценка, минимизирующая положительно определенную квадратичную форму от выборочных условий на моменты:

<math>\hat {b}_{GMM}=\arg \min_{b} \overline {g(x,b)}^TW\overline {g(x,b)}</math>

где W — некоторая симметрическая положительно определенная матрица.

Весовая матрица теоретически может быть произвольной (с учетом ограничения положительной определенности), однако доказано, что наиболее эффективными являются GMM-оценки с весовой матрицей, равной обратной ковариационной матрице  моментных функций <math>W=V^{-1}_g</math>. Это так называемый эффективный GMM. Однако, поскольку на практике эта ковариационная матрица неизвестна, то применяют следующую процедуру. На первом шаге оцениваются параметры модели с помощью GMM с единичной весовой матрицей. Затем по выборочным данным и найденным значениям параметров оценивают ковариационную матрицу моментных функций и используют полученную оценку в эффективном GMM (это т. н. доступный эффективный GMM).

Пример

Пусть <math>X_1,\ldots,X_n \sim \Gamma(\alpha,\beta)</math> — выборка из гамма-распределения с неизвестными параметрами <math>\alpha</math> и <math>\beta</math>. Тогда

<math>\mathbb{E}[X_i] = \alpha \beta,\; \mathbb{E}\left[X_i^2\right]=\alpha(\alpha+1)\beta^2,\quad i=1,\ldots,n</math>.

Тогда оценки метода моментов удовлетворяют системе уравнений:

<math>

\begin{matrix} \overline{X} = & \hat{\alpha}_{\mathrm{MM}} \hat{\beta}_{\mathrm{MM}}\\ \overline{X^2} = & \hat{\alpha}_{\mathrm{MM}} ( \hat{\alpha}_{\mathrm{MM}} + 1 ) \left( \hat{\beta}_{\mathrm{MM}} \right)^2 \end{matrix} ~~ \Rightarrow~~ \hat{\alpha}_{\mathrm{MM}} = \frac{\left(\overline{X}\right)^2}{\overline{X^2} - \left(\overline{X}\right)^2}~,~~\hat{\beta}_{\mathrm{MM}} = \frac{\overline{X^2} - \left(\overline{X}\right)^2}{\overline{X}}</math>.

Преимущества и недостатки метода

В известной мере, при оценке параметров из известного семейства вероятностных распределений, этот метод упраздняется Фишеровским методом максимального правдоподобия, так как максимально правдоподобная оценка имеет большую вероятность оказаться ближе к истинному значению оцениваемой величины.

Тем не менее, в некоторых случаях, например, как выше в случае гамма-распределения, использование метода максимального правдоподобия требует использования компьютеров, в то время как метод моментов может быть быстро и легко реализован вручную.

Оценки, полученные методом моментов, могут быть использованы как первое приближение для метода максимума правдоподобия. Дальнейшее улучшение оценок может быть получено с использованием метода Ньютона-Рафсона.

В некоторых случаях, редких при больших объемах данных и более частых при малом их количестве, оценки, даваемые методом моментов могут оказаться вне допустимой области. Такая проблема никогда не возникает в методе максимального правдоподобия. Также, оценки по методу моментов не обязательно оказываются достаточной статистикой, то есть, они иногда извлекают из данных не всю имеющуюся в них информацию.

См. также

• Метод максимального правдоподобия
• Метод наименьших квадратов
• Метод инструментальных переменных

Отрывок, характеризующий Метод моментов

– Не знаю, не ведаю, батюшка. Ведь вы подумайте, у меня на одного три госпиталя, 400 больных слишком! Еще хорошо, прусские дамы благодетельницы нам кофе и корпию присылают по два фунта в месяц, а то бы пропали. – Он засмеялся. – 400, батюшка; а мне всё новеньких присылают. Ведь 400 есть? А? – обратился он к фельдшеру.
Фельдшер имел измученный вид. Он, видимо, с досадой дожидался, скоро ли уйдет заболтавшийся доктор.
– Майор Денисов, – повторил Ростов; – он под Молитеном ранен был.
– Кажется, умер. А, Макеев? – равнодушно спросил доктор у фельдшера.
Фельдшер однако не подтвердил слов доктора.
– Что он такой длинный, рыжеватый? – спросил доктор.
Ростов описал наружность Денисова.
– Был, был такой, – как бы радостно проговорил доктор, – этот должно быть умер, а впрочем я справлюсь, у меня списки были. Есть у тебя, Макеев?
– Списки у Макара Алексеича, – сказал фельдшер. – А пожалуйте в офицерские палаты, там сами увидите, – прибавил он, обращаясь к Ростову.
– Эх, лучше не ходить, батюшка, – сказал доктор: – а то как бы сами тут не остались. – Но Ростов откланялся доктору и попросил фельдшера проводить его.
– Не пенять же чур на меня, – прокричал доктор из под лестницы.
Ростов с фельдшером вошли в коридор. Больничный запах был так силен в этом темном коридоре, что Ростов схватился зa нос и должен был остановиться, чтобы собраться с силами и итти дальше. Направо отворилась дверь, и оттуда высунулся на костылях худой, желтый человек, босой и в одном белье.
Он, опершись о притолку, блестящими, завистливыми глазами поглядел на проходящих. Заглянув в дверь, Ростов увидал, что больные и раненые лежали там на полу, на соломе и шинелях.
– А можно войти посмотреть? – спросил Ростов.
– Что же смотреть? – сказал фельдшер. Но именно потому что фельдшер очевидно не желал впустить туда, Ростов вошел в солдатские палаты. Запах, к которому он уже успел придышаться в коридоре, здесь был еще сильнее. Запах этот здесь несколько изменился; он был резче, и чувствительно было, что отсюда то именно он и происходил.
В длинной комнате, ярко освещенной солнцем в большие окна, в два ряда, головами к стенам и оставляя проход по середине, лежали больные и раненые. Большая часть из них были в забытьи и не обратили вниманья на вошедших. Те, которые были в памяти, все приподнялись или подняли свои худые, желтые лица, и все с одним и тем же выражением надежды на помощь, упрека и зависти к чужому здоровью, не спуская глаз, смотрели на Ростова. Ростов вышел на середину комнаты, заглянул в соседние двери комнат с растворенными дверями, и с обеих сторон увидал то же самое. Он остановился, молча оглядываясь вокруг себя. Он никак не ожидал видеть это. Перед самым им лежал почти поперек середняго прохода, на голом полу, больной, вероятно казак, потому что волосы его были обстрижены в скобку. Казак этот лежал навзничь, раскинув огромные руки и ноги. Лицо его было багрово красно, глаза совершенно закачены, так что видны были одни белки, и на босых ногах его и на руках, еще красных, жилы напружились как веревки. Он стукнулся затылком о пол и что то хрипло проговорил и стал повторять это слово. Ростов прислушался к тому, что он говорил, и разобрал повторяемое им слово. Слово это было: испить – пить – испить! Ростов оглянулся, отыскивая того, кто бы мог уложить на место этого больного и дать ему воды.
– Кто тут ходит за больными? – спросил он фельдшера. В это время из соседней комнаты вышел фурштадский солдат, больничный служитель, и отбивая шаг вытянулся перед Ростовым.
– Здравия желаю, ваше высокоблагородие! – прокричал этот солдат, выкатывая глаза на Ростова и, очевидно, принимая его за больничное начальство.
– Убери же его, дай ему воды, – сказал Ростов, указывая на казака.
– Слушаю, ваше высокоблагородие, – с удовольствием проговорил солдат, еще старательнее выкатывая глаза и вытягиваясь, но не трогаясь с места.
– Нет, тут ничего не сделаешь, – подумал Ростов, опустив глаза, и хотел уже выходить, но с правой стороны он чувствовал устремленный на себя значительный взгляд и оглянулся на него. Почти в самом углу на шинели сидел с желтым, как скелет, худым, строгим лицом и небритой седой бородой, старый солдат и упорно смотрел на Ростова. С одной стороны, сосед старого солдата что то шептал ему, указывая на Ростова. Ростов понял, что старик намерен о чем то просить его. Он подошел ближе и увидал, что у старика была согнута только одна нога, а другой совсем не было выше колена. Другой сосед старика, неподвижно лежавший с закинутой головой, довольно далеко от него, был молодой солдат с восковой бледностью на курносом, покрытом еще веснушками, лице и с закаченными под веки глазами. Ростов поглядел на курносого солдата, и мороз пробежал по его спине.
– Да ведь этот, кажется… – обратился он к фельдшеру.
– Уж как просили, ваше благородие, – сказал старый солдат с дрожанием нижней челюсти. – Еще утром кончился. Ведь тоже люди, а не собаки…
– Сейчас пришлю, уберут, уберут, – поспешно сказал фельдшер. – Пожалуйте, ваше благородие.
– Пойдем, пойдем, – поспешно сказал Ростов, и опустив глаза, и сжавшись, стараясь пройти незамеченным сквозь строй этих укоризненных и завистливых глаз, устремленных на него, он вышел из комнаты.


Пройдя коридор, фельдшер ввел Ростова в офицерские палаты, состоявшие из трех, с растворенными дверями, комнат. В комнатах этих были кровати; раненые и больные офицеры лежали и сидели на них. Некоторые в больничных халатах ходили по комнатам. Первое лицо, встретившееся Ростову в офицерских палатах, был маленький, худой человечек без руки, в колпаке и больничном халате с закушенной трубочкой, ходивший в первой комнате. Ростов, вглядываясь в него, старался вспомнить, где он его видел.
– Вот где Бог привел свидеться, – сказал маленький человек. – Тушин, Тушин, помните довез вас под Шенграбеном? А мне кусочек отрезали, вот… – сказал он, улыбаясь, показывая на пустой рукав халата. – Василья Дмитриевича Денисова ищете? – сожитель! – сказал он, узнав, кого нужно было Ростову. – Здесь, здесь и Тушин повел его в другую комнату, из которой слышался хохот нескольких голосов.