Теорема Гаусса — Маркова

Формулировка теоремы для парной регрессии

Рассматривается модель парной регрессии, в которой наблюдения <math>Y</math> связаны с <math>X</math> следующей зависимостью: <math>Y_i = \beta_1 + \beta_2 X_i + \varepsilon_i</math>. На основе <math>n</math> выборочных наблюдений оценивается уравнение регрессии <math>\hat Y_i = \hat\beta_1 + \hat\beta_2 X_i</math>. Теорема Гаусса—Маркова гласит:

Если данные обладают следующими свойствами:

1. Модель данных правильно специфицирована; 
2. Все <math>X_i</math> детерминированы и не все равны между собой; 
3. Ошибки не носят систематического характера, то есть <math>\mathbb{E}(\varepsilon_i) = 0\ \forall i</math>; 
4. Дисперсия ошибок одинакова и равна некоторой <math>\sigma^2</math>; 
5. Ошибки некоррелированы, то есть <math>\mathop{\mathrm{Cov}}(\varepsilon_i,\varepsilon_j)=0\ \forall i,j</math>; 

— то в этих условиях оценки метода наименьших квадратов оптимальны в классе линейных несмещённых оценок.

Пояснение к теореме

Первое условие: модель данных правильно специфицирована. Под этим словосочетанием понимается следующее:

• Модель состоит из фиксированной части <math>(Y = \alpha + \beta X)</math> и случайной части <math>(\varepsilon);</math>
• Модель данных линейна по <math>\alpha</math> и <math>\beta</math> (<math>\alpha</math> и <math>\beta</math> линейны по <math>Y</math>);
• Отсутствует недоопределённость (то есть ситуация, когда упущены важные факторы) и переопределённость (то есть когда, наоборот, приняты во внимание ненужные факторы); (отсутствие коллинеарности)
• Модель данных адекватна устройству данных (модель данных и устройство данных имеют одинаковую функциональную форму).

Устройство данных — это наблюдения случайной величины. Модель данных — это уравнение регрессии. «Иметь одинаковую функциональную форму» означает «иметь одинаковую функциональную зависимость». Например, если точки наблюдений очевидно расположены вдоль невидимой экспоненты, логарифма или любой нелинейной функции, нет смысла строить линейное уравнение регрессии.

Второе условие: все <math>X_i</math> детерминированы и не все равны между собой. Если все <math>X_i</math> равны между собой, то <math>X_i = \bar X,</math> и в уравнении оценки коэффициента наклона прямой в линейной модели в знаменателе будет ноль, из-за чего будет невозможно оценить коэффициенты <math>\beta_2</math> и вытекающий из него <math>\beta_1.</math> При небольшом разбросе переменных <math>X</math> модель сможет объяснить лишь малую часть изменения <math>Y</math>. Иными словами, переменные не должны быть постоянными.

Третье условие: ошибки не носят систематического характера. Случайный член может быть иногда положительным, иногда отрицательным, но он не должен иметь систематического смещения ни в каком из двух возможных направлений. Если уравнение регрессии включает постоянный член (<math>\beta_1</math>), то это условие чаще всего выполняется автоматически, так как постоянный член отражает любую систематическую, но постоянную составляющую в <math>Y</math>, которой не учитывают объясняющие переменные, включённые в уравнение регрессии.

Четвёртое условие: дисперсия ошибок одинакова. Одинаковость дисперсии ошибок также принято называть гомоскедастичностью. Не должно быть априорной причины для того, чтобы случайный член порождал бо́льшую ошибку в одних наблюдениях, чем в других. Так как <math>\mathbb{E}(\varepsilon_i) = 0\ \forall i</math> и теоретическая дисперсия отклонений <math>\varepsilon_i</math> равна <math>\mathbb{E}(\varepsilon_i^2),</math> то это условие можно записать так: <math>\mathbb{E}(\varepsilon_i^2) = \sigma^2_{\varepsilon}\ \forall i.</math> Одна из задач регрессионного анализа состоит в оценке стандартного отклонения случайного члена. Если рассматриваемое условие не выполняется, то коэффициенты регрессии, найденные по методу наименьших квадратов, будут неэффективны, а более эффективные результаты будут получаться путём применения модифицированного метода оценивания (взвешенный МНК или оценка ковариационной матрицы по формуле Уайта или Дэвидсона—Маккинона).

Пятое условие: <math>\varepsilon_i</math> распределены независимо от <math>\varepsilon_j</math> при <math>i\ne j.</math> Это условие предполагает отсутствие систематической связи между значениями случайного члена в любых двух наблюдениях. Если один случайный член велик и положителен в одном направлении, не должно быть систематической тенденции к тому, что он будет таким же великим и положительным (то же можно сказать и о малых, и об отрицательных остатках). Теоретическая ковариация <math>\sigma_{\varepsilon_i,\varepsilon_j}</math> должна равняться нулю, поскольку <math>\sigma_{\varepsilon_i,\varepsilon_j} = \mathbb{E} \bigl( (\varepsilon_i-\mathbb{E}(\varepsilon_i)) (\varepsilon_j-\mathbb{E}(\varepsilon_j)) \bigr) = \mathbb{E} (\varepsilon_i \varepsilon_j) - \mathbb{E}(\varepsilon_i)\cdot \mathbb{E}(\varepsilon_j) = 0.</math> Теоретические средние для <math>\varepsilon_i</math> и <math>\varepsilon_j</math> равны нулю в силу третьего условия теоремы. При невыполнении этого условия оценки, полученные по методу наименьших квадратов, будут также неэффективны.

Выводы из теоремы:

• Эффективность оценки означает, что она обладает наименьшей дисперсией.
• Оценка линейна по наблюдениям <math>Y.</math>
• Несмещённость оценки означает, что её математическое ожидание равно истинному значению.

Формулировка теоремы для множественной регрессии

Если данные обладают следующими свойствами:

1. Модель правильно специфицирована (постоянная эластичность рассматривается как постоянная, или нет лишних переменных, или есть все важные переменные),
2. <math>\mathrm{rang}\, (\boldsymbol{X}) = k</math>,
3. <math>\mathbb{E}(\boldsymbol{\varepsilon}_i)=0</math>,
4. <math>\mathrm{Cov}\, (\boldsymbol{\varepsilon}) = \sigma^2 \boldsymbol{I}</math> (что влечёт гомоскедастичность),

— то в этих условиях оценки метода наименьших квадратов <math>\hat{\boldsymbol{\beta}}</math> являются лучшими в классе линейных несмещённых оценок (Best Linear Unbiased Estimators, BLUE).

Литература

• Кристофер Доугерти. Введение в эконометрику. — 2-е, пер. с англ. — М.: ИНФРА-М, 2004. — 419 с.
• Damodar N. Gujarati. Basic Econometrics. — 4. — The McGraw-Hill Companies, 2004. — С. 1002. — ISBN 978-0071123433.

Отрывок, характеризующий Теорема Гаусса — Маркова

Вообще главная черта ума Сперанского, поразившая князя Андрея, была несомненная, непоколебимая вера в силу и законность ума. Видно было, что никогда Сперанскому не могла притти в голову та обыкновенная для князя Андрея мысль, что нельзя всё таки выразить всего того, что думаешь, и никогда не приходило сомнение в том, что не вздор ли всё то, что я думаю и всё то, во что я верю? И этот то особенный склад ума Сперанского более всего привлекал к себе князя Андрея.
Первое время своего знакомства с Сперанским князь Андрей питал к нему страстное чувство восхищения, похожее на то, которое он когда то испытывал к Бонапарте. То обстоятельство, что Сперанский был сын священника, которого можно было глупым людям, как это и делали многие, пошло презирать в качестве кутейника и поповича, заставляло князя Андрея особенно бережно обходиться с своим чувством к Сперанскому, и бессознательно усиливать его в самом себе.
В тот первый вечер, который Болконский провел у него, разговорившись о комиссии составления законов, Сперанский с иронией рассказывал князю Андрею о том, что комиссия законов существует 150 лет, стоит миллионы и ничего не сделала, что Розенкампф наклеил ярлычки на все статьи сравнительного законодательства. – И вот и всё, за что государство заплатило миллионы! – сказал он.
– Мы хотим дать новую судебную власть Сенату, а у нас нет законов. Поэтому то таким людям, как вы, князь, грех не служить теперь.
Князь Андрей сказал, что для этого нужно юридическое образование, которого он не имеет.
– Да его никто не имеет, так что же вы хотите? Это circulus viciosus, [заколдованный круг,] из которого надо выйти усилием.

Через неделю князь Андрей был членом комиссии составления воинского устава, и, чего он никак не ожидал, начальником отделения комиссии составления вагонов. По просьбе Сперанского он взял первую часть составляемого гражданского уложения и, с помощью Code Napoleon и Justiniani, [Кодекса Наполеона и Юстиниана,] работал над составлением отдела: Права лиц.


Года два тому назад, в 1808 году, вернувшись в Петербург из своей поездки по имениям, Пьер невольно стал во главе петербургского масонства. Он устроивал столовые и надгробные ложи, вербовал новых членов, заботился о соединении различных лож и о приобретении подлинных актов. Он давал свои деньги на устройство храмин и пополнял, на сколько мог, сборы милостыни, на которые большинство членов были скупы и неаккуратны. Он почти один на свои средства поддерживал дом бедных, устроенный орденом в Петербурге. Жизнь его между тем шла по прежнему, с теми же увлечениями и распущенностью. Он любил хорошо пообедать и выпить, и, хотя и считал это безнравственным и унизительным, не мог воздержаться от увеселений холостых обществ, в которых он участвовал.
В чаду своих занятий и увлечений Пьер однако, по прошествии года, начал чувствовать, как та почва масонства, на которой он стоял, тем более уходила из под его ног, чем тверже он старался стать на ней. Вместе с тем он чувствовал, что чем глубже уходила под его ногами почва, на которой он стоял, тем невольнее он был связан с ней. Когда он приступил к масонству, он испытывал чувство человека, доверчиво становящего ногу на ровную поверхность болота. Поставив ногу, он провалился. Чтобы вполне увериться в твердости почвы, на которой он стоял, он поставил другую ногу и провалился еще больше, завяз и уже невольно ходил по колено в болоте.
Иосифа Алексеевича не было в Петербурге. (Он в последнее время отстранился от дел петербургских лож и безвыездно жил в Москве.) Все братья, члены лож, были Пьеру знакомые в жизни люди и ему трудно было видеть в них только братьев по каменьщичеству, а не князя Б., не Ивана Васильевича Д., которых он знал в жизни большею частию как слабых и ничтожных людей. Из под масонских фартуков и знаков он видел на них мундиры и кресты, которых они добивались в жизни. Часто, собирая милостыню и сочтя 20–30 рублей, записанных на приход, и большею частию в долг с десяти членов, из которых половина были так же богаты, как и он, Пьер вспоминал масонскую клятву о том, что каждый брат обещает отдать всё свое имущество для ближнего; и в душе его поднимались сомнения, на которых он старался не останавливаться.
Всех братьев, которых он знал, он подразделял на четыре разряда. К первому разряду он причислял братьев, не принимающих деятельного участия ни в делах лож, ни в делах человеческих, но занятых исключительно таинствами науки ордена, занятых вопросами о тройственном наименовании Бога, или о трех началах вещей, сере, меркурии и соли, или о значении квадрата и всех фигур храма Соломонова. Пьер уважал этот разряд братьев масонов, к которому принадлежали преимущественно старые братья, и сам Иосиф Алексеевич, по мнению Пьера, но не разделял их интересов. Сердце его не лежало к мистической стороне масонства.
Ко второму разряду Пьер причислял себя и себе подобных братьев, ищущих, колеблющихся, не нашедших еще в масонстве прямого и понятного пути, но надеющихся найти его.
К третьему разряду он причислял братьев (их было самое большое число), не видящих в масонстве ничего, кроме внешней формы и обрядности и дорожащих строгим исполнением этой внешней формы, не заботясь о ее содержании и значении. Таковы были Виларский и даже великий мастер главной ложи.
К четвертому разряду, наконец, причислялось тоже большое количество братьев, в особенности в последнее время вступивших в братство. Это были люди, по наблюдениям Пьера, ни во что не верующие, ничего не желающие, и поступавшие в масонство только для сближения с молодыми богатыми и сильными по связям и знатности братьями, которых весьма много было в ложе.
Пьер начинал чувствовать себя неудовлетворенным своей деятельностью. Масонство, по крайней мере то масонство, которое он знал здесь, казалось ему иногда, основано было на одной внешности. Он и не думал сомневаться в самом масонстве, но подозревал, что русское масонство пошло по ложному пути и отклонилось от своего источника. И потому в конце года Пьер поехал за границу для посвящения себя в высшие тайны ордена.