Авторегрессионная модель

Авторегрессионная (AR-) модель (англ. autoregressive model) — модель временных рядов, в которой значения временного ряда в данный момент линейно зависят от предыдущих значений этого же ряда. Авторегрессионный процесс порядка p (AR(p)-процесс) определяется следующим образом

<math> X_t = c + \sum_{i=1}^p a_i X_{t-i}+ \varepsilon_t ,</math>

где <math>a_1, \ldots, a_p</math> — параметры модели (коэффициенты авторегрессии), <math>c</math> — постоянная (часто для упрощения предполагается равной нулю), а <math>\varepsilon_t</math> — белый шум.

Простейшим примером является авторегрессионный процесс первого порядка AR(1)-процесс:

<math> X_t = c + r X_{t-1}+ \varepsilon_t</math>

Для данного процесса коэффициент авторегрессии совпадает с коэффициентом автокорреляции первого порядка.

Другой простой процесс — процесс Юла — AR(2)-процесс:

<math> X_t = c + a_1 X_{t-1}+ a_2 X_{t-2}+\varepsilon_t</math>

Операторное представление

Если ввести лаговый оператор <math>L: Lx_t=x_{t-1}</math>, то авторегрессионную модель можно представить следующим образом

<math> X_t = c + \sum_{i=1}^p a_i L^i X_{t}+ \varepsilon_t ,</math>

или

<math>a(L)X_t=(1- \sum_{i=1}^p a_i L^i )X_{t}= c + \varepsilon_t</math>

Стационарность авторегрессионного процесса зависит от корней характеристического полинома <math>a(z)=1-\sum_{i=1}^n a_i z^i</math>. Для того чтобы процесс был стационарным, достаточно, чтобы все корни характеристичекого полинома лежали вне единичного круга в комплексной плоскости <math>|z|>1</math>.

В частности, для AR(1)-процесса <math>a(z)=1-r z</math>, следовательно корень этого «полинома» <math>z=1/r</math>, поэтому условие стационарности можно записать в виде <math>|r|<1</math>, то есть коэффициент авторегрессии (он же в данном случае коэффициент автокорреляции) должен быть строго меньше 1 по модулю.

Для AR(2)-процесса можно показать, что условия стационарности имеют вид: <math> |a_2| < 1, a_2\pm a_1<1</math>.

Стационарные AR-процессы допускают разложение Вольда — представление в виде бесконечного MA-процесса:

<math>X_t=a^{-1}(L)c+ a^{-1}(L)\varepsilon_t=\frac {c} {1-\sum_{i=1}^p a_i}+\sum_{j=0}^{\infty} b_j \varepsilon_{t-j}</math>

Первое слагаемое представляет собой математическое ожидание AR-процесса. Если c=0, то математическое ожидание процесса также равно нулю.

Автокорреляционная функция

Можно показать, что автоковариационная и автокорреляционная функции AR(p)-процесса удовлетворяют рекуррентным соотношениям:

<math>\gamma (k)=\sum_{j=1}^p a_j \gamma (k-j)~~~~~r(k)=\sum_{j=1}^p a_j r(k-j)</math>

В простейшем случае AR(1)-процесса, математическое ожидание равно <math>\mu=c/(1-a)</math>, дисперсия <math>\gamma(0)=\sigma_{\varepsilon}^2/(1-a^2)</math>, а автокорреляции <math>r(k)=r \cdot r(k-1) ~ \Rightarrow ~r(k)=r^k </math>.

В общем случае выражение для математического ожидания через параметры модели было указано выше, однако, выражение для дисперсии временного ряда - существенно усложняется. Можно показать, что дисперсия ряда <math>\gamma(0)</math> и вектор автоковариаций <math>\gamma</math> выражаются через параметры следующим образом:

<math>\gamma(0)=(1+a^T(C-aa^T)^{-1}a)\sigma^2_{\varepsilon}</math>, <math>\gamma=\sigma^2_{\varepsilon}(C-aa^T)^{-1}a</math>

где <math>a</math>-вектор параметров, <math>C</math>-матрица порядка <math>p</math>, элементы которой определяются следующим образом. Диагональные элементы равны <math>c_{ii}=1-a_{2i}</math>. Элементы выше диагонали равны <math>-a_{2i+j-1}</math>, а элементы ниже диагонали равны <math>-(a_{j}+a_{2i-j})</math>. Здесь подразумевается, что если индекс превышает порядок модели <math>p</math>, то соответствующая величина приравнивается к нулю.

В частности, для AR(1)-процесса матрица <math>C</math> равна просто единице, следовательно, <math>\gamma(0)=(1+\frac {a^2} {1-a^2})\sigma^2_{\varepsilon}</math>, что соответствует вышеуказанной формуле.

Для <math>AR(2)</math>-процесса матрица <math>C</math> - второго порядка определяется следующим образом: первая строка равна (<math>1-a_2</math>;0), вторая - (<math>-a_1</math>;1). Применив вышеуказанную формулу можно получить следующее выражение для дисперсии данного процесса:

<math>\gamma(0)=\frac {(1-a_2)\sigma^2_{\varepsilon}}{(1+a_2)((1-a_2)^2-a_1^2)}</math>

На практике формулы для дисперсии процесса, выраженной через параметры модели обычно не применяются, а используется следующее выражение через ковариации:

<math>\gamma(0)=\sigma_{\varepsilon}^2+\sum_{k=1}^pa_k\gamma(k)</math>

Автокорреляционная функция авторегрессионого процесса экспоненциально затухает с возможной осцилляцией (осцилляции зависят от наличия комплексных корней у характеристического полинома). При этом частная автокорреляционная функция при k>p равна нулю. Это свойство используется для идентификации порядка AR-модели по выборочной частной автокорреляционной функции временного ряда.

Для AR(1)-процесса автокорреляционная функция — экспоненциально затухающая функция (без осцилляций), если выполнено условие стационарности. Частная автокорреляционная функция первого порядка равна r, а для более высоких порядков равна 0.

Оценка параметров модели

Учитывая чётность автокорреляционной функции и используя рекуррентное соотношение для первых p автокорреляций, получаем систему уравнений Юла — Уокера

<math>1 \leqslant k \leqslant p~, ~ \sum_{j=1}^p a_j r(|k-j|)=r(k)</math>

или в матричной форме

<math>Ra=r~, ~\Rightarrow a=R^{-1}r~,~~R=

\begin{pmatrix} 1&r_1& r_2& ...& r_{p-1}\\ r_1&1& r_1& ...& r_{p-2}\\ r_2& r_1&1& ...& r_{p-3}\\ ...\\ r_{p-1}& r_{p-2}&r_{p-3}& ...& 1\\ \end{pmatrix}

</math>

Если использовать вместо истинных автокорреляций (неизвестных) выборочные автокорреляции, получим оценки неизвестных коэффициентов авторегрессии. Можно показать, что этот метод оценки эквивалентен обычному методу наименьших квадратов (МНК). Если случайные ошибки модели имеют нормальное распределение, то данный метод также эквивалентен условному методу максимального правдоподобия. Для получения более точных оценок в последнем случае можно использовать полный метод максимального правдоподобия, в котором используется информация о распределении первых членов ряда. Например, в случае AR(1)-процесса распределение первого члена принимается равным безусловному распределению временного ряда (нормальное распределение с математическим ожиданием и безусловной дисперсией ряда).

Сезонные модели авторегрессии

С помощью AR-моделей можно моделировать сезонность. Такие модели обозначают SAR (Seasonal AR). Например, при наличии квартальных данных и предположении о квартальной сезонности можно построить следующую модель SAR(4):

<math>y_t=a_4 y_{t-4}+\varepsilon_t</math>

Фактически это обычная AR-модель с ограничением на параметры модели (равенство нулю параметров при лагах менее 4). На практике сезонность может сочетаться с обычной авторегрессией, например:

<math>y_t=a_1 y_{t-1}+a_4 y_{t-4}+\varepsilon_t</math>

В некоторых случаях оказываются полезными сезонные модели, у которых случайная ошибка, подчиняется некоторому AR-процессу:

<math>y_t=a_4 y_{t-4}+\varepsilon_t~,~\varepsilon_t=a_1 \varepsilon_{t-1}+u_t</math>

Нетрудно увидеть, что такую модель в операторной форме можно записать как:

<math>(1-a_1 L)(1-a_4 L^4)y_t=u_t</math>

Такую модель обозначают <math>AR(1) \times SAR(4)</math>.

См. также

• Модель авторегрессии и распределенного лага
• Модель авторегрессии — скользящего среднего
• Модель скользящего среднего
• Векторная авторегрессия

Примечания

К:Википедия:Статьи без источников (тип: не указан)

Отрывок, характеризующий Авторегрессионная модель

– Да говорят, – опять с той же улыбкой сказал адъютант, – что графиня, ваша жена, собирается за границу. Вероятно, вздор…
– Может быть, – сказал Пьер, рассеянно оглядываясь вокруг себя. – А это кто? – спросил он, указывая на невысокого старого человека в чистой синей чуйке, с белою как снег большою бородой, такими же бровями и румяным лицом.
– Это? Это купец один, то есть он трактирщик, Верещагин. Вы слышали, может быть, эту историю о прокламации?
– Ах, так это Верещагин! – сказал Пьер, вглядываясь в твердое и спокойное лицо старого купца и отыскивая в нем выражение изменничества.
– Это не он самый. Это отец того, который написал прокламацию, – сказал адъютант. – Тот молодой, сидит в яме, и ему, кажется, плохо будет.
Один старичок, в звезде, и другой – чиновник немец, с крестом на шее, подошли к разговаривающим.
– Видите ли, – рассказывал адъютант, – это запутанная история. Явилась тогда, месяца два тому назад, эта прокламация. Графу донесли. Он приказал расследовать. Вот Гаврило Иваныч разыскивал, прокламация эта побывала ровно в шестидесяти трех руках. Приедет к одному: вы от кого имеете? – От того то. Он едет к тому: вы от кого? и т. д. добрались до Верещагина… недоученный купчик, знаете, купчик голубчик, – улыбаясь, сказал адъютант. – Спрашивают у него: ты от кого имеешь? И главное, что мы знаем, от кого он имеет. Ему больше не от кого иметь, как от почт директора. Но уж, видно, там между ними стачка была. Говорит: ни от кого, я сам сочинил. И грозили и просили, стал на том: сам сочинил. Так и доложили графу. Граф велел призвать его. «От кого у тебя прокламация?» – «Сам сочинил». Ну, вы знаете графа! – с гордой и веселой улыбкой сказал адъютант. – Он ужасно вспылил, да и подумайте: этакая наглость, ложь и упорство!..
– А! Графу нужно было, чтобы он указал на Ключарева, понимаю! – сказал Пьер.
– Совсем не нужно», – испуганно сказал адъютант. – За Ключаревым и без этого были грешки, за что он и сослан. Но дело в том, что граф очень был возмущен. «Как же ты мог сочинить? – говорит граф. Взял со стола эту „Гамбургскую газету“. – Вот она. Ты не сочинил, а перевел, и перевел то скверно, потому что ты и по французски, дурак, не знаешь». Что же вы думаете? «Нет, говорит, я никаких газет не читал, я сочинил». – «А коли так, то ты изменник, и я тебя предам суду, и тебя повесят. Говори, от кого получил?» – «Я никаких газет не видал, а сочинил». Так и осталось. Граф и отца призывал: стоит на своем. И отдали под суд, и приговорили, кажется, к каторжной работе. Теперь отец пришел просить за него. Но дрянной мальчишка! Знаете, эдакой купеческий сынишка, франтик, соблазнитель, слушал где то лекции и уж думает, что ему черт не брат. Ведь это какой молодчик! У отца его трактир тут у Каменного моста, так в трактире, знаете, большой образ бога вседержителя и представлен в одной руке скипетр, в другой держава; так он взял этот образ домой на несколько дней и что же сделал! Нашел мерзавца живописца…


В середине этого нового рассказа Пьера позвали к главнокомандующему.
Пьер вошел в кабинет графа Растопчина. Растопчин, сморщившись, потирал лоб и глаза рукой, в то время как вошел Пьер. Невысокий человек говорил что то и, как только вошел Пьер, замолчал и вышел.
– А! здравствуйте, воин великий, – сказал Растопчин, как только вышел этот человек. – Слышали про ваши prouesses [достославные подвиги]! Но не в том дело. Mon cher, entre nous, [Между нами, мой милый,] вы масон? – сказал граф Растопчин строгим тоном, как будто было что то дурное в этом, но что он намерен был простить. Пьер молчал. – Mon cher, je suis bien informe, [Мне, любезнейший, все хорошо известно,] но я знаю, что есть масоны и масоны, и надеюсь, что вы не принадлежите к тем, которые под видом спасенья рода человеческого хотят погубить Россию.
– Да, я масон, – отвечал Пьер.
– Ну вот видите ли, мой милый. Вам, я думаю, не безызвестно, что господа Сперанский и Магницкий отправлены куда следует; то же сделано с господином Ключаревым, то же и с другими, которые под видом сооружения храма Соломона старались разрушить храм своего отечества. Вы можете понимать, что на это есть причины и что я не мог бы сослать здешнего почт директора, ежели бы он не был вредный человек. Теперь мне известно, что вы послали ему свой. экипаж для подъема из города и даже что вы приняли от него бумаги для хранения. Я вас люблю и не желаю вам зла, и как вы в два раза моложе меня, то я, как отец, советую вам прекратить всякое сношение с такого рода людьми и самому уезжать отсюда как можно скорее.
– Но в чем же, граф, вина Ключарева? – спросил Пьер.
– Это мое дело знать и не ваше меня спрашивать, – вскрикнул Растопчин.
– Ежели его обвиняют в том, что он распространял прокламации Наполеона, то ведь это не доказано, – сказал Пьер (не глядя на Растопчина), – и Верещагина…
– Nous y voila, [Так и есть,] – вдруг нахмурившись, перебивая Пьера, еще громче прежнего вскрикнул Растопчин. – Верещагин изменник и предатель, который получит заслуженную казнь, – сказал Растопчин с тем жаром злобы, с которым говорят люди при воспоминании об оскорблении. – Но я не призвал вас для того, чтобы обсуждать мои дела, а для того, чтобы дать вам совет или приказание, ежели вы этого хотите. Прошу вас прекратить сношения с такими господами, как Ключарев, и ехать отсюда. А я дурь выбью, в ком бы она ни была. – И, вероятно, спохватившись, что он как будто кричал на Безухова, который еще ни в чем не был виноват, он прибавил, дружески взяв за руку Пьера: – Nous sommes a la veille d'un desastre publique, et je n'ai pas le temps de dire des gentillesses a tous ceux qui ont affaire a moi. Голова иногда кругом идет! Eh! bien, mon cher, qu'est ce que vous faites, vous personnellement? [Мы накануне общего бедствия, и мне некогда быть любезным со всеми, с кем у меня есть дело. Итак, любезнейший, что вы предпринимаете, вы лично?]
– Mais rien, [Да ничего,] – отвечал Пьер, все не поднимая глаз и не изменяя выражения задумчивого лица.
Граф нахмурился.
– Un conseil d'ami, mon cher. Decampez et au plutot, c'est tout ce que je vous dis. A bon entendeur salut! Прощайте, мой милый. Ах, да, – прокричал он ему из двери, – правда ли, что графиня попалась в лапки des saints peres de la Societe de Jesus? [Дружеский совет. Выбирайтесь скорее, вот что я вам скажу. Блажен, кто умеет слушаться!.. святых отцов Общества Иисусова?]