Авторегресивен процес

Авторегресивниот процес е модел кој ја покажува зависноста на вредностите на временската низа од своите минати вредности и е надополнување на идејата на регресијата за моделирање на линеарната зависност помеѓу две променливи. Моделот на простата регресија го објаснува развојот на променливата y со помош на друга променлива x, како линеарна функција:

y= b₀ + b₁x + e

Каде што b₀ и b₁ се константи коишто треба да се определат, а e претставува случајна променлива која следи нормален распоред со средина која е еднаква на нула и константна варијанса. Ако во моделот се направи замена и тоа наместо y се користи y_t и наместо x се користи y_t-1, се добива нов модел на зависност кој се нарекува авторегресивен модел од прв ред.

Авторегресивен процес од прв ред

Авторегресивниот процес од прв ред, се означува AR(1), е следниот:

y_t = ф₀ + ф₁y_t-1 + e_t

каде што ф₀ и ф₁ се константи, а e_t е процес на бел шум кој следи нормален распоред со средина еднаква на нула и варијанса δ²_e. Формулата покажува дека во AR(1) процесот однесувањето на y_t во најголема мера зависи од нејзината вредност во претходниот период. Промеливите e_t го претставуваат ефектот на факторите што не се вклучени во процесот (различни од y_t-1) врз y_t.. Тие се нарекуваат случајни шокови. Случајниот шок е вредноста за која се претпоставува дека случајно е избрана од нормален распоред со средина еднаква на нула и варијанса која е иста за секој временски период t. Дополнително, се претпоставува и дека случајните шокови e₁, e₂, e₃ … од различни временски периоди се статистички независни меѓу себе. Во литературата случајните шокови може да се сретнат и под името иновации, бидејќи ја претставуваат новата информација која се додава на процесот во секоја временска точка. Очекувана вредност на AR(1) процесот е:

Ε(y_t) = µ = ϕ₀/1-ϕ₁

Овој резултат има две импликации за y_t. Прво, средината на y_t постои ако ф₁ ≠ 1. Второ, средината на y_т е нула ако и само ако ф₀ = 0. Затоа кај стационарен AR(1) процес, Константата ф₀ е поврзана со просечната вредност на y_t и ф₀ = 0, што значи Ε(y_t) = 0. Варијанса на AR(1) процесот, поради претпоставка за стационарност (константна варијанса) var (y_t) = var (y_t-1), следува:

var (y_t) = δ²_e/1-ф²₁

Од изразот за варијансата AR(1) процесот, следува дека ф²₁ < 1. Барањето ф²₁ < 1 доаѓа од фактот што варијансата на случајна променлива треба да биде ненегативна. Дополнително, -1 < ф₁ < 1 е неопходен у слов AR(1) процесот да биде стационарен. Ако |ф₁| > 1, тогаш y_t ќе има тенденција од период во период сè повеќе да се зголемува и серијата ќе биде експлозивна. Информацијата за линеарната зависност меѓу променливите на временската низа е содржана во функцијата Автоковаријанса.

y_k = ф₁y_k-1

Автокорелациите ја содржат истата информација како и коваријансите, но имаат предност затоа што не зависат од мерните единици. Како што е веќе познато, p_k е корелација меѓу опсервациите што се оддалечени k периоди, односно автокорелацијата за временското задоцнување од k, која е дефинирана како:

p_k = y_k/y₀

Бидејќи p₀ = 1 може да се заклучи дека

p_k = ф^k₁

Од овој израз произлегува дека функцијата на автокорелација на AR(1) процесот опаѓа експоненцијално со стапка ф₁, и притоа нејзината вредност p₀ = 1. Дополнително, ако параметарот ф₁ е позитивен, линеарната зависност на сегашните од минатите вредности (p_k) е постојано позитивна ( и притоа екпоненцијално опаѓа), додека ако параметарот ф₁ е негативен, p_k е позитивна за парните вредности на k, односно негативна за непарните вредности на k.

Авторегресивен процес од втор ред

Авторегресивен процес од втор ред или AR(2) процесот претпоставува дека y_t е линеарно зависна не само од y_t-1, туку и од y_t-2. Неговиот математички израз е:

y_t = ф₀ + ф₁y_t-1 + ф₂y_t-2 + e_t

Очекуваната вредност на AR(2) процесот е:

E(y_t) = µ = ф₀/1-ф₁-ф₂

Автоковаријанса на AR(2) процесот:

y_k = ф₁y_k-1 + ф₂y_k-2, за k > 0

Со користење на овој израз може да се дојде до формулата за варијансата на AR(2) процесот:

var(y_t) = y₀ = (1-ф₂)δ²_e/(1+ф₂)(1-ф₁-ф₂)(1+ф₁-ф₂)

Може да биде докажано дека вредностите на параметрите кои го прават AR(2) процесот стационарен (со варијанса секогаш позитивна) се тие кои се вклучени во областа:

                            -1<Ф<1, ф1+ф2<1 и ф2-ф1<1.

Со делење на равенката за автоковаријанса со var(y_t) се добива функцијата на автокорелација на процесот:

p_k = ф₁p_k-1 + ф₂p_k-2, за k > 0

Со цел да се утврдат одликите на функцијата на автокорелација потребно е претходното равенство да се запише со помош на операторот на временско задоцнување L при што се добива полином од втор ред ( 1 - ф₁x - ф₂x² = 0 ) чии решенија се x1 и x2.Инверзните вредности на двете решенија на полиномот од втор ред се нарекуваат карактеристични корени на AR(2) процесот. Карактеристичните корени се означуваат со G1 и G2. Според карактеристичното равенство, коефициентите на автокорелација (p_к) ќе бидат помали или еднакви на нула ако |G₁| < 1 и |G₂| < 1, што претставува и услов за стационарност на AR(2) процесот. Притоа постојат две можности:

1) Двата карактеристични корени G₁ и G₂ се реални броеви. Во овој случај опаѓањето на p_к претставува збир на две експоненцијални опаѓања. Ова значи дека AR(2) процесот може да се разгледа како еден AR(1) процес кој опстојува над друг AR(1) процес. Обликот на функцијата на автокорелација зависи од тоа дали G₁ и G₂ имаат исти или слични знаци.

2) Двата карактеристични корени, G₁ и G₂ се комплексни броеви. Во овој случај функцијата на автокорелација опаѓа синусоидно.

Општ авторегресивен процес

Општ авторегресивен процес е оној каде што тековната вредност на променливата y зависи само од вредностите што ги имала во претходните периоди плус иновациите на моделот (e_t). Авторегресивниот процес од p-ти ред, се означува AR(p), математички се претставува со:

y_t = ф₀ + ф₁y_t-1 + ф₂y_t-2 + ... + ф_py_t-p + e_t

каде што ф_i(i = 0,1,...,p) се константи, а e_t е процес на бел шум со средина еднаква на нула и варијанса δ²_e. Карактеристично равенство на AR(p) процесот е :

ф_p(L) = 0

Ова равенство има p решенија: G₁-¹,...,G_p-¹, и притоа коефициентите G_i се фактори (карактеристични корени) на карактеристичното равенство. AR(p) процесот е стационарен ако |G_i| < 1, за секое i. Функцијата на автокорелација на AR(p) процесот е следната:

p_k = ф₁p_k-1 + ... + ф_pP_k-p, за к > 0

Коефициентите на автокорелација го задоволуваат истото равенство како и процесот:

ф_p(L)p_k = 0, k > 0

Решението на оваа равенка е:

p_k = ΣA_iG_i^k

каде што A_i се константи кои треба да бидат определени од почетните состојби, а G_i се фактори на карактеристичното равенство, кои како што е веќе кажано, мораат во апсолутна вредност да бидат помали од 1 за процесот да биде стационарен. Како доказ за ова тврдење може да послужи условот |p_k| < 1 , кој бара ниту еден G_i да не биде поголем од 1, бидејќи во тој случај со зголемувањето на k изразот G_i^k ќе се зголемува без ограничување. Дополнително, процесот да биде стационарен G_i не може да биде ниту 1, бидејќи во тој случај со зголемувањето на k изразот Gi^k нема да се намалува и коефициентите pk нема да тежнеат кон нула. Еден AR(p) процес да биде стационарен, коефициентите наавтокорелација треба геометриски да опаѓаат до нула. Ако во равенството за автокорелација се замени k=1,...,p, се добива систем со p равенства кој се нарекува Јул-Вокер систем:

p₁ = ф₁ + ф₂p₁ + ... +Ф_pp_p-1

p₂ = ф₁p₁ + Ф₂ + ... +ф_pp_p-2

  .
  .
  .

p_p = ф₁p_p-1 + ф₂p_p-2 + ... + ф_p

Овој систем се користи за да се пресметаат коефициентите на автокорелација од параметрите на процесот. Според теоремата за декомпозиција на Волд секоја стационарна серија може да биде прикажана како збир на два дела, односно два неповрзани модели: детерминистички и стохастички. Детерминистичкиот дел одговара на просечната вредност на моделот, додека стохаститчкиот дел е еден MA модел. Поради тоа AR(p) процесот чија средина е еднаква нанула може да се претстави како модел на подвижни средини од бесконечен ред. Веќе е покажано дека AR(1) и AR(2) процесите, кога се напишани во форма на девијации од средината, може да се претстават како MA процеси. AR(p) процесот претставен како збир на иновациите, односно во облик на МА го има следниот математички израз:

ỹ_t = Ψ(L)e_t

MA обликот на AR(p) процесот запишан без користење на операторот на временското заостанување е следниот:

ỹ_t = e_t + Ψe_t-1 + Ψe_t-2+ ... = Σ Ψ_ie_t-1

Важноста на теоремата на декомпозиција на Волд најдобро се гледа од претходното равенство. AR(p) процесот е претставен како збир на иновациите, односно збир на стационарните процеси. Теоремата гарантира дека секој стационарен процес може да се претстави како линеарна функција. Коефициентите на автокорелација, p_k, и коефициентите на MA структурата не се идентични.

Функција на парцијалната автокорелација

Со помош на функцијата на автокорелација тешко може да се определи редот на AR процесот. За да се разликуваат АR процесите од различен ред, се користи функцијата на парцијална автокорелација. Оваа функција ги содржи коефициентите на парцијална автокорелација за различни временски заостанувања. Концептот на коефициентот на парцијална автокорелација е аналоген на концептот на коефициентот на парцијална корелација. Во статистиката е чест счучај корелацијата меѓу две променливи да е резултат на нивната корелираност со трета променлива. Затоа се користи коефициентот на парцијална корелација како мерка на "нето" зависноста меѓу две променливи по елиминирање на влијанието на третата променлива. Слично, во анализатаа на временските низи се користи коефициентот на парцијална автокорелација од ред k, со ознака p_kk, за да се мери корелацијата меѓу опсервациите на временската низа кои се оддалечени k периоди, а притоа ја елиминира корелацијата на временските заостанувања кои се помали од k. Со други зборови, коефициентот на парцијалната автокорелација ја претставува корелацијата меѓу y_t и y_t-k, откако ќе се отстрани влијанието (ефектот) на опсервациите меѓу нив. Коефициентот на парцијална автокорелација ред k (временско заостанување k), p_kk, е парцијалниот регресиски коефициент во авторегресијата од ред k:

y_t = p_k1y_t-1 + p_k2y_t-2 + ... + p_kky_t-k + e_t

Коефициентите на парцијалната автокорелација за AR процесите се следните:

         AR(1) процес: p11 = p1 = ф1, a pkk = 0 за k > 1
         AR(2) процес: p11 = p1 = ф1/1-ф2, p22 = p2-p21/1-p21 = ф2,  а pkk  = 0 за k > 2
         AR(p) процес: p11 = p1, p22 ≠ 0,..., ppp ≠ 0 а pkk = 0 za к > p.

Може да се заклучи дека коефициентите на парцијална автокорелација се еднакви на нула за временско заостанување поголемо од редот на авторегресивниот процес. Во случајот на AR(1) процесот, само коефициентот на парцијална автоткорелација за временското заостанување од 1 е поголем од 0, додека сите останати коефициенти се пеомали од 0. Во случајот на AR(2) процесот, само коефициентите на парцијална автокорелација за временски заостанувањаа од 1 и 2 се поголеми од 0, а сите останати коефициенти се помали од 0. Дополнително, кај AR(p) процесот последниот коефициент на парцијална автокорелација p_pp е еднаков на последниот авторегресивен коефициент ф_p. Ова е полезно својство кое се користи во постапката на идентификација на соодветниот AR модел. Функцијата на парцијална автокорелација на примерокот се пресметува со помош на Дурбиновата рекурзивна формула:

p_kk = p_k - Σ p_k-1,_jp_k-j/1 - Σ p_k-1,_jp_j; p_kj = p_k-1,_j-p_kkp_k-1,_k-j; j = 1,2,..., k-1.