Регрессионный анализ

Регрессио́нный анализ — статистический метод исследования влияния одной или нескольких независимых переменных <math>X_1, X_2, ..., X_p</math> на зависимую переменную <math>Y</math>. Независимые переменные иначе называют регрессорами или предикторами, а зависимые переменные — критериальными. Терминология зависимых и независимых переменных отражает лишь математическую зависимость переменных (см. Ложная корреляция), а не причинно-следственные отношения.

Цели регрессионного анализа

1. Определение степени детерминированности вариации критериальной (зависимой) переменной предикторами (независимыми переменными)
2. Предсказание значения зависимой переменной с помощью независимой(-ых)
3. Определение вклада отдельных независимых переменных в вариацию зависимой

Регрессионный анализ нельзя использовать для определения наличия связи между переменными, поскольку наличие такой связи и есть предпосылка для применения анализа.

Математическое определение регрессии

Строго регрессионную зависимость можно определить следующим образом. Пусть <math>Y, X_1, X_2, \ldots, X_p</math> — случайные величины с заданным совместным распределением вероятностей. Если для каждого набора значений <math>X_1=x_1, X_2=x_2, \ldots, X_p=x_p</math> определено условное математическое ожидание

<math>y(x_1,x_2, \ldots, x_p)=\mathbb{E}(Y \mid X_1=x_1, X_2=x_2, \ldots, X_p=x_p)</math> (уравнение регрессии в общем виде),

то функция <math>y(x_1,x_2, \ldots, x_p)</math> называется регрессией величины <math>Y</math> по величинам <math>X_1, X_2,\ldots, X_p</math>, а её график — линией регрессии <math>Y</math> по <math>X_1, X_2, \ldots, X_p</math>, или уравнением регрессии.

Зависимость <math>Y</math> от <math>X_1, X_2, \ldots, X_p</math> проявляется в изменении средних значений <math>Y</math> при изменении <math>X_1, X_2, \ldots, X_p</math>. Хотя при каждом фиксированном наборе значений <math>X_1=x_1, X_2=x_2, \ldots, X_p=x_p</math> величина <math>Y</math> остаётся случайной величиной с определённым распределением.

Для выяснения вопроса, насколько точно регрессионный анализ оценивает изменение <math>Y</math> при изменении <math>X_1, X_2, ..., X_p</math>, используется средняя величина дисперсии <math>Y</math> при разных наборах значений <math>X_1, X_2, ..., X_p</math> (фактически речь идет о мере рассеяния зависимой переменной вокруг линии регрессии).

В матричной форме уравнение регрессии (УР) записывается в виде: <math>Y=BX+U</math>, где <math>U</math> — матрица ошибок. При обратимой матрице X◤X получается вектор-столбец коэффициентов B с учётом U◤U=min(B). В частном случае для Х=(±1) матрица X◤X является рототабельной, и УР может быть использовано при анализе временны́х рядов и обработке технических данных.

Метод наименьших квадратов (расчёт коэффициентов)

На практике линия регрессии чаще всего ищется в виде линейной функции <math>Y=b_0+b_1X_1+b_2X_2+...+b_NX_N</math> (линейная регрессия), наилучшим образом приближающей искомую кривую. Делается это с помощью метода наименьших квадратов, когда минимизируется сумма квадратов отклонений реально наблюдаемых <math>{Y}</math> от их оценок <math>\hat{Y}</math> (имеются в виду оценки с помощью прямой линии, претендующей на то, чтобы представлять искомую регрессионную зависимость):

<math>\sum_{k=1}^{M} (Y_k-\hat{Y_k})^2 \to \min</math>

(<math>M</math> — объём выборки). Этот подход основан на том известном факте, что фигурирующая в приведённом выражении сумма принимает минимальное значение именно для того случая, когда <math>Y=y(x_1,x_2,...x_N)</math>.

Для решения задачи регрессионного анализа методом наименьших квадратов вводится понятие функции невязки:

<math>\sigma(\bar{b})=\frac{1}{2}\sum_{k=1}^{M}{(Y_k-\hat{Y}_k)^2}</math>

Условие минимума функции невязки:

<math>\left\{ \begin{matrix}

\frac{d\sigma(\bar{b})}{db_i}=0 \\ i=0...N \end{matrix} \right. \Leftrightarrow

\begin{cases}

\sum\limits_{i=1}^{M}{y_i}=\sum\limits_{i=1}^{M}{\sum\limits_{j=1}^{N}{b_jx_{i,j}}}+b_0M \\ \sum\limits_{i=1}^{M}{y_ix_{i,k}}=\sum\limits_{i=1}^{M}{\sum\limits_{j=1}^{N}{b_jx_{i,j}x_{i,k}}}+b_0\sum\limits_{i=1}^{M}{x_{i,k}} \\ k=1,\ldots,N \end{cases} </math>

Полученная система является системой <math>N+1</math> линейных уравнений с <math>N+1</math> неизвестными <math>b_0,\ldots,b_N</math>.

Если представить свободные члены левой части уравнений матрицей

<math>B=\left( \begin{matrix}

\sum\limits_{i=1}^{M}{y_i} \\ \sum\limits_{i=1}^{M}{y_ix_{i,1}} \\ \vdots \\ \sum\limits_{i=1}^{M}{y_ix_{i,N}} \end{matrix} \right),</math>

а коэффициенты при неизвестных в правой части — матрицей

<math>A=\left( \begin{matrix}

M & \sum\limits_{i=1}^{M}{x_{i,1}} & \sum\limits_{i=1}^{M}{x_{i,2}} & ... & \sum\limits_{i=1}^{M}{x_{i,N}} \\ \sum\limits_{i=1}^{M}{x_{i,1}} & \sum\limits_{i=1}^{M}{x_{i,1}x_{i,1}} & \sum\limits_{i=1}^{M}{x_{i,2}x_{i,1}} & ... & \sum\limits_{i=1}^{M}{x_{i,N}x_{i,1}} \\ \sum\limits_{i=1}^{M}{x_{i,2}} & \sum\limits_{i=1}^{M}{x_{i,1}x_{i,2}} & \sum\limits_{i=1}^{M}{x_{i,2}x_{i,2}} & ... & \sum\limits_{i=1}^{M}{x_{i,N}x_{i,2}} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ \sum\limits_{i=1}^{M}{x_{i,N}} & \sum\limits_{i=1}^{M}{x_{i,1}x_{i,N}} & \sum\limits_{i=1}^{M}{x_{i,2}x_{i,N}} & ... & \sum\limits_{i=1}^{M}{x_{i,N}x_{i,N}} \end{matrix} \right),</math>

то получаем матричное уравнение: <math>A \times X = B</math>, которое легко решается методом Гаусса. Полученная матрица будет матрицей, содержащей коэффициенты уравнения линии регрессии:

<math>X=\left( \begin{matrix}

b_0 \\ b_1 \\ \vdots \\ b_N \end{matrix} \right)</math> Для получения наилучших оценок необходимо выполнение предпосылок МНК (условий Гаусса — Маркова). В англоязычной литературе такие оценки называются BLUE (Best Linear Unbiased Estimators — «наилучшие линейные несмещенные оценки»). Большинство исследуемых зависимостей может быть представлено с помощью МНК нелинейными математическими функциями.

Интерпретация параметров регрессии

Параметры <math>b_i</math> являются частными коэффициентами корреляции; <math>(b_i)^2</math> интерпретируется как доля дисперсии Y, объяснённая <math>X_i</math>, при закреплении влияния остальных предикторов, то есть измеряет индивидуальный вклад <math>X_i</math> в объяснение Y. В случае коррелирующих предикторов возникает проблема неопределённости в оценках, которые становятся зависимыми от порядка включения предикторов в модель. В таких случаях необходимо применение методов анализа корреляционного и пошагового регрессионного анализа.

Говоря о нелинейных моделях регрессионного анализа, важно обращать внимание на то, идет ли речь о нелинейности по независимым переменным (с формальной точки зрения легко сводящейся к линейной регрессии), или о нелинейности по оцениваемым параметрам (вызывающей серьёзные вычислительные трудности). При нелинейности первого вида с содержательной точки зрения важно выделять появление в модели членов вида <math>X_1X_2</math>, <math>X_1X_2X_3</math>, свидетельствующее о наличии взаимодействий между признаками <math>X_1</math>, <math>X_2</math> и т. д. (см. Мультиколлинеарность).

См. также

• Корреляция
• Мультиколлинеарность
• Автокорреляция
• Перекрёстная проверка
• Линейная регрессия на корреляции

Литература

• Дрейпер Н., Смит Г. Прикладной регрессионный анализ. Множественная регрессия = Applied Regression Analysis. — 3-е изд. — М.: «Диалектика», 2007. — С. 912. — ISBN 0-471-17082-8.
• Фёрстер Э., Рёнц Б. Методы корреляционного и регрессионного анализа = Methoden der Korrelation - und Regressiolynsanalyse. — М.: Финансы и статистика, 1981. — 302 с.
• Захаров С. И., Холмская А. Г. Повышение эффективности обработки сигналов вибрации и шума при испытаниях механизмов // Вестник машиностроения : журнал. — М.: Машиностроение, 2001. — № 10. — С. 31—32. — ISSN [www.sigla.ru/table.jsp?f=8&t=3&v0=0042-4633&f=1003&t=1&v1=&f=4&t=2&v2=&f=21&t=3&v3=&f=1016&t=3&v4=&f=1016&t=3&v5=&bf=4&b=&d=0&ys=&ye=&lng=&ft=&mt=&dt=&vol=&pt=&iss=&ps=&pe=&tr=&tro=&cc=UNION&i=1&v=tagged&s=0&ss=0&st=0&i18n=ru&rlf=&psz=20&bs=20&ce=hJfuypee8JzzufeGmImYYIpZKRJeeOeeWGJIZRrRRrdmtdeee88NJJJJpeeefTJ3peKJJ3UWWPtzzzzzzzzzzzzzzzzzbzzvzzpy5zzjzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzztzzzzzzzbzzzzzzzzzzzzzzzzzzzzzzzzzzzvzzzzzzyeyTjkDnyHzTuueKZePz9decyzzLzzzL*.c8.NzrGJJvufeeeeeJheeyzjeeeeJh*peeeeKJJJJJJJJJJmjHvOJJJJJJJJJfeeeieeeeSJJJJJSJJJ3TeIJJJJ3..E.UEAcyhxD.eeeeeuzzzLJJJJ5.e8JJJheeeeeeeeeeeeyeeK3JJJJJJJJ*s7defeeeeeeeeeeeeeeeeeeeeeeeeeSJJJJJJJJZIJJzzz1..6LJJJJJJtJJZ4....EK*&debug=false 0042-4633].
• Радченко Станислав Григорьевич,. Устойчивые методы оценивания статистических моделей: Монография. — К.: ПП «Санспарель», 2005. — С. 504. — ISBN 966-96574-0-7, УДК: 519.237.5:515.126.2, ББК 22.172+22.152.
• Радченко Станислав Григорьевич,. Методология регрессионного анализа: Монография. — К.: «Корнийчук», 2011. — С. 376. — ISBN 978-966-7599-72-0.

Отрывок, характеризующий Регрессионный анализ

– Закидана дорога?
– Закидана, ваше сиятельство; простите, ради Бога, по одной глупости.
Князь перебил его и засмеялся своим неестественным смехом.
– Ну, хорошо, хорошо.
Он протянул руку, которую поцеловал Алпатыч, и прошел в кабинет.
Вечером приехал князь Василий. Его встретили на прешпекте (так назывался проспект) кучера и официанты, с криком провезли его возки и сани к флигелю по нарочно засыпанной снегом дороге.
Князю Василью и Анатолю были отведены отдельные комнаты.
Анатоль сидел, сняв камзол и подпершись руками в бока, перед столом, на угол которого он, улыбаясь, пристально и рассеянно устремил свои прекрасные большие глаза. На всю жизнь свою он смотрел как на непрерывное увеселение, которое кто то такой почему то обязался устроить для него. Так же и теперь он смотрел на свою поездку к злому старику и к богатой уродливой наследнице. Всё это могло выйти, по его предположению, очень хорошо и забавно. А отчего же не жениться, коли она очень богата? Это никогда не мешает, думал Анатоль.
Он выбрился, надушился с тщательностью и щегольством, сделавшимися его привычкою, и с прирожденным ему добродушно победительным выражением, высоко неся красивую голову, вошел в комнату к отцу. Около князя Василья хлопотали его два камердинера, одевая его; он сам оживленно оглядывался вокруг себя и весело кивнул входившему сыну, как будто он говорил: «Так, таким мне тебя и надо!»
– Нет, без шуток, батюшка, она очень уродлива? А? – спросил он, как бы продолжая разговор, не раз веденный во время путешествия.
– Полно. Глупости! Главное дело – старайся быть почтителен и благоразумен с старым князем.
– Ежели он будет браниться, я уйду, – сказал Анатоль. – Я этих стариков терпеть не могу. А?
– Помни, что для тебя от этого зависит всё.
В это время в девичьей не только был известен приезд министра с сыном, но внешний вид их обоих был уже подробно описан. Княжна Марья сидела одна в своей комнате и тщетно пыталась преодолеть свое внутреннее волнение.
«Зачем они писали, зачем Лиза говорила мне про это? Ведь этого не может быть! – говорила она себе, взглядывая в зеркало. – Как я выйду в гостиную? Ежели бы он даже мне понравился, я бы не могла быть теперь с ним сама собою». Одна мысль о взгляде ее отца приводила ее в ужас.
Маленькая княгиня и m lle Bourienne получили уже все нужные сведения от горничной Маши о том, какой румяный, чернобровый красавец был министерский сын, и о том, как папенька их насилу ноги проволок на лестницу, а он, как орел, шагая по три ступеньки, пробежал зa ним. Получив эти сведения, маленькая княгиня с m lle Bourienne,еще из коридора слышные своими оживленно переговаривавшими голосами, вошли в комнату княжны.
– Ils sont arrives, Marieie, [Они приехали, Мари,] вы знаете? – сказала маленькая княгиня, переваливаясь своим животом и тяжело опускаясь на кресло.
Она уже не была в той блузе, в которой сидела поутру, а на ней было одно из лучших ее платьев; голова ее была тщательно убрана, и на лице ее было оживление, не скрывавшее, однако, опустившихся и помертвевших очертаний лица. В том наряде, в котором она бывала обыкновенно в обществах в Петербурге, еще заметнее было, как много она подурнела. На m lle Bourienne тоже появилось уже незаметно какое то усовершенствование наряда, которое придавало ее хорошенькому, свеженькому лицу еще более привлекательности.
– Eh bien, et vous restez comme vous etes, chere princesse? – заговорила она. – On va venir annoncer, que ces messieurs sont au salon; il faudra descendre, et vous ne faites pas un petit brin de toilette! [Ну, а вы остаетесь, в чем были, княжна? Сейчас придут сказать, что они вышли. Надо будет итти вниз, а вы хоть бы чуть чуть принарядились!]
Маленькая княгиня поднялась с кресла, позвонила горничную и поспешно и весело принялась придумывать наряд для княжны Марьи и приводить его в исполнение. Княжна Марья чувствовала себя оскорбленной в чувстве собственного достоинства тем, что приезд обещанного ей жениха волновал ее, и еще более она была оскорблена тем, что обе ее подруги и не предполагали, чтобы это могло быть иначе. Сказать им, как ей совестно было за себя и за них, это значило выдать свое волнение; кроме того отказаться от наряжения, которое предлагали ей, повело бы к продолжительным шуткам и настаиваниям. Она вспыхнула, прекрасные глаза ее потухли, лицо ее покрылось пятнами и с тем некрасивым выражением жертвы, чаще всего останавливающемся на ее лице, она отдалась во власть m lle Bourienne и Лизы. Обе женщины заботились совершенно искренно о том, чтобы сделать ее красивой. Она была так дурна, что ни одной из них не могла притти мысль о соперничестве с нею; поэтому они совершенно искренно, с тем наивным и твердым убеждением женщин, что наряд может сделать лицо красивым, принялись за ее одеванье.
– Нет, право, ma bonne amie, [мой добрый друг,] это платье нехорошо, – говорила Лиза, издалека боком взглядывая на княжну. – Вели подать, у тебя там есть масака. Право! Что ж, ведь это, может быть, судьба жизни решается. А это слишком светло, нехорошо, нет, нехорошо!
Нехорошо было не платье, но лицо и вся фигура княжны, но этого не чувствовали m lle Bourienne и маленькая княгиня; им все казалось, что ежели приложить голубую ленту к волосам, зачесанным кверху, и спустить голубой шарф с коричневого платья и т. п., то всё будет хорошо. Они забывали, что испуганное лицо и фигуру нельзя было изменить, и потому, как они ни видоизменяли раму и украшение этого лица, само лицо оставалось жалко и некрасиво. После двух или трех перемен, которым покорно подчинялась княжна Марья, в ту минуту, как она была зачесана кверху (прическа, совершенно изменявшая и портившая ее лицо), в голубом шарфе и масака нарядном платье, маленькая княгиня раза два обошла кругом нее, маленькой ручкой оправила тут складку платья, там подернула шарф и посмотрела, склонив голову, то с той, то с другой стороны.
– Нет, это нельзя, – сказала она решительно, всплеснув руками. – Non, Marie, decidement ca ne vous va pas. Je vous aime mieux dans votre petite robe grise de tous les jours. Non, de grace, faites cela pour moi. [Нет, Мари, решительно это не идет к вам. Я вас лучше люблю в вашем сереньком ежедневном платьице: пожалуйста, сделайте это для меня.] Катя, – сказала она горничной, – принеси княжне серенькое платье, и посмотрите, m lle Bourienne, как я это устрою, – сказала она с улыбкой предвкушения артистической радости.
Но когда Катя принесла требуемое платье, княжна Марья неподвижно всё сидела перед зеркалом, глядя на свое лицо, и в зеркале увидала, что в глазах ее стоят слезы, и что рот ее дрожит, приготовляясь к рыданиям.
– Voyons, chere princesse, – сказала m lle Bourienne, – encore un petit effort. [Ну, княжна, еще маленькое усилие.]
Маленькая княгиня, взяв платье из рук горничной, подходила к княжне Марье.
– Нет, теперь мы это сделаем просто, мило, – говорила она.
Голоса ее, m lle Bourienne и Кати, которая о чем то засмеялась, сливались в веселое лепетанье, похожее на пение птиц.
– Non, laissez moi, [Нет, оставьте меня,] – сказала княжна.
И голос ее звучал такой серьезностью и страданием, что лепетанье птиц тотчас же замолкло. Они посмотрели на большие, прекрасные глаза, полные слез и мысли, ясно и умоляюще смотревшие на них, и поняли, что настаивать бесполезно и даже жестоко.
– Au moins changez de coiffure, – сказала маленькая княгиня. – Je vous disais, – с упреком сказала она, обращаясь к m lle Bourienne, – Marieie a une de ces figures, auxquelles ce genre de coiffure ne va pas du tout. Mais du tout, du tout. Changez de grace. [По крайней мере, перемените прическу. У Мари одно из тех лиц, которым этот род прически совсем нейдет. Перемените, пожалуйста.]