时间序列(电子科大)第五章-1

第五章 平稳序列模型参数估计 §5.1 AR模型参数的矩估计 §5.2 MA模型参数的矩估计 §5.3 ARMA模型参数的初估计 §5.4 ARMA模型参数的精估计—最小二乘估计 §5.5 ARMA模型参数的精估计— 极大似然估计(最小平方和估计) 已讨论平稳ARMA线性模型和非平稳线性 模型的统计特性. 非平稳线性模型—求和ARIMA，季节ARIMA模型是ARMA的改进模型. 先讨论零均值平稳过程用ARMA模型进行拟合的问题. 从样本长度为N 的“现实”出发建立ARMA模型，需做以下工作： 1. 模型识别 — 根据动态数据，从各类模型族中选择与实际过程相吻合的模型； 2. 模型定阶 —对确定的模型类别，定出模型中的阶数p 和 q ; 3. 模型参数估计—根据样本估计模型中的自 回归系数和滑动平均系数； 4. 模型的拟合优度检验； 根据已有的一组样本数据建立模型，对模型阶数和参数作出判断和估计，是重要的两部分工作. 以上各个问题是相互关联的，需整体进行系统化的模型优化. §5.1 AR模型参数的矩估计 讨论固定p 和q 的条件下，估计自回归系数和滑动平均系数以及白噪声方差. 模型的参数估计一般分两步进行： 1）设法找出参数的初步估计； 2）在初步估计的基础上，根据一定的估计准则，求得模型参数在一定意义下的精细估计. 一、自回归模型AR(p)的相关矩估计法 基本思想：用样本相关矩 出发对参数进行估计. 设零均值因果自回归序列 （5.1.1） 考虑回归系数(模型参数) 和噪声方差的估计. 1.自回归系数的Yule-Walker估计 预报系数 满足Yule-Walker方程 （5.1.2） 故当 k=p 则 得到 的矩估计量为 (5.1.3) 称为 的Yule-Walker估计. 注1 (5.1.2)式中的 注2 是正定数列,（5.1.3）式中相关矩阵可逆，从而自回归系数的矩估计存在并惟一. 注3 属于平稳可逆域. 注4 矩估计方法简单直接，但不能保证某些渐近性和优良性，往往只能作为求精细估计的迭代初值. 注5 当N充分大时，自回归模型的矩估计与精估计几乎无区别. 2.白噪声序列方差的矩估计 因 AR( p )的自相关函数满足差分方程(3.2.11) 得噪声序列{εt 系数的递推算法公式 将式中各值换为估计值，从 k = 1开始，递推 到 k = p 时，即求出 矩估计量. 注1 可避免矩阵求逆运算； 注2 同时给出了偏相关函数在时滞1，2，… 的估计值. Durbin—Levinson递推算法得到的第m步 估计量的渐近性质: 定理5.1.2 设{ Xt }是零均值因果自回归序列, φm是基于{ Xm , Xm –1,…, X1}的最小方差线性预报量的预报系数，递推估计量 特别当m > p 时，有 注 可用于AR模型求阶 p 的初判断. 因 当m > p 时 近似成立 将满足 的最小 r 值作为 p 的初估计. * *

考试题型：1.判断题（10分）；2.计算题（5题，75分）；3.分析题（1题15分） 郑重声明：此资料仅供参考（还有标注为考点，只是我个人的观点，仅供参考） 第2章时间序列的预处理1. 计算序列的样本自相关系数 。（考点）n _k_（ Xt -'X” xt k x）（k） = （ 1）基于全体观察样本计算出来的延迟K自协方差函数的估计值。n -kn_瓦（xt -x）2（0） -（ 2）总体方差的估计值。n _1合 ?（k）POwk < n 延迟K自相关系数的估计值。:'k :细）当延迟阶数K远远小于样本容量 n时，n _k_送（xt x）（xt*x）A .G =亠一n0 : k : n二：（xt _ x）2t吕2. 平稳性的检验。对序列的平稳性有两种检验方法，一种是根据时序图和自相关图显示的特征做出判断 的图检验方法；一种是构造检验统计量进行假设检验的方法。图检验方法：（1）时序图检验：如果观察序列的时序图显示出该序列有明显的趋势性或周期性，那它通常不是平稳序列。（2）自相关图检验：平稳序列通常具有短期相关性。该性质用自相关系数来描述就是随着延迟期数 K的增加，平稳序列的自相关系数：.-k会很快地衰减向零。反之，非平稳序列的自相关系数 ;；衰减向零的速度通常比较慢，这就是我们利用自相关图进行平稳 性判断的标准。3. 纯随机序列首先并不是所有的平稳序列都值得建模，只有那些序列值之间具有密切的相关关系， 历史数据对未来的发展有一定影响的序列，才值得我们花时间去挖掘历史数据中的有效信息，用来预测序列未来的发展。纯随机序列：该序列值彼此之间没有任何相关性，也就是一个没有记忆的序列，过去的 行为对将来的发展没有丝毫影响。我们称之为纯随机序列。也称为白躁声序列。简记为：xtWN（h2）。4. 纯随机序列检验（1）假设条件 由于序列值之间的变异是绝对的，而相关性是偶然的，所以假设条件如下： 原假设：延迟期数小于或等于m期的序列值之间相互独立。备择假设：延迟期数小于或等于m期的序列值之间有相关性。该假设条件用数学语言描述即为:Ho： Pi 二 P2 二二 Pm = 0, f H 1 :至少存在某个P k = 0, -皿1，K 乞 m（2）检验统计量m 2Q=n；k （m）在大样本场合（n很大的场合）检验效果好，在小样本场合就不太精确。k=12mLB = n（n 2p （ k ） （m）（适合小样本场合）k4 n -kLB统计量就是Q统计量的修正，其中 n为序列观测期数；m为指定延迟期数。在各种检验场合普遍采用的Q统计量通常指的都是 LB统计量。当统计量大于 2 （ m）分位点，或该统计量的p值小于a时，则可以拒绝原假设，认为该1-a序列为非白噪声序列；否则，接受原假设，认为该序列为纯随机序列。2.3习题1. 考虑序列123,4,5，,20（1）判断该序列是否平稳（2） 计算该序列的样本自相关系数几（k=1,2.，6）（考点）（3）绘制该样本自相关图，并解释该图形。解：（1）因为序列具有明显的趋势，所以序列非平稳。（2）样本自相关系数：n LB(12)=4. (6)=12.59yt二人则 yt为 Xt的中心化序列。230.05 （12）=21.0（此时的分位值是从右边看的）显然，LB统计量小于对应的临界值，接受原假设，认为该序列为纯随机序列。第3章平稳时间序列分析1. 一个序列经过预处理被识别为平稳非白噪声序列，那就说明该序列是一个蕴含着相关 信息的平稳序列。 ARMA模型是目前最常用的平稳序列拟合模型。2 了解P阶差分、K步差分、延迟算子、还有用延迟算子表示差分运算。（42页）用延迟算子表示差分运算：p（1）p 阶差分：i pXt = （1 - B） p Xt 二 '、（- 1），C Pxt_ii 9k（2）K步差分：' kXt 二 Xt - X k =（1 一 B ） Xt3. ARMA模型的全称是自回归移动平均模型，它是目前最常用的拟合平稳序列的模型。 它又可以细分为 AR（自回归）模型、 MA （移动平均）模型、 ARMA模型。4 具有如下结构的模型称为 P阶自回归模型，简记为 AR（ P）：（45页）Xt =01人2人上 pXt_p ；t （3.5）当0=0时，自回归模型又称为中心化AR（ p）模型。AR（ p）系列。非中心化AR（ p）序列都可以通过下面的变换转化为中心化引进延迟算子，中心化AR（ p ）模型又可以简记为：G （B）xt=-；：t式中，:：J（B） =1 - ；B2 -'pBp，称为P阶自回归系数多项式。还有模型的均值与方差（49页）但并非所有的AR模5. AR模型平稳性判别：AR模型是常用的平稳序列的拟合模型之一,型都是平稳的。而判别的方法有两种：(1)拟合该序列的序列值，并绘制时序图。这种图示法只是一种粗糙的直观判别方法，(2)特征根判别和平稳域判别。特征根判别：AR( P)模型平稳的充要条件是它的P个特征根都在单位圆内。根据特征根和自回归系数多项式的根成倒数的性质，AR模型平稳的等价判别条件是该AR模型的自回归系数多项式的根，即G(u)二0的根，都在单位圆外。平稳域判别：对于一个 AR( P)模型而言，如果没有平稳性的要求，实际上也就意味着对参数向量(厂2 . - p)'没有任何限制，它们可以取遍 P维欧式空间的任意一点，但是如果加上了平稳性限制，参数向量(. -p)'就只能取P维欧式空间的一个子集， 使得特征根都在单位圆p|特征根都在单位圆内被称为AR( P)模型的平稳域。II： 1AR（ 2）模型的平稳域。(考点)(1) AR( 1)模型的平稳域。(考点)AR (1 )模型为：Xt = Xt d t其特征方程为：，-=0特征根为：，=根据AR模型的平稳的充要条件| '卜：1，容易推出AR (1)模型平稳的充要条件是:所以，AR ( 1)模型的平稳域就是 | -1 ： < 1 oAR（ 2）模型为：x 1Xt J2Xtt 其特征方程为:特征根为:根据AR模型的平稳的充要条件，AR (2 )模型平稳的充要条件是| ' 1卜：1且| ' 2卜：1 o根据一元二次方程的性质和AR (2)模型的平稳条件，有：12二1 ,'1 '2二-2 ,且| P)模型的自相关系数有两个显著的性质：一是拖尾性；二是呈负指数衰减。(自相关性以指数衰减的性质就是第2章利用 自相关图判断平稳序列所说的“短期相关”性。它是平稳序列的一个重要特征。这个特征表明对平稳序列而言通常只有近期的序 列值对现时值的影响比较明显，间隔越远的过去值对现时值的影响越小。)8. 滞后K偏自相关系数实际上就等于K阶自回归模型(55页,(3.21)式)第K个回归系数9.kk的值。根据这个性质容易计算偏自相关系数的值。偏自相关系数的截尾性：平稳 AR( P)模型的偏自相关系数具有p步截尾性，所谓 p步截尾性是指，- kk =0(-K P)。10.AR ( p)模型自相关系数拖尾性和偏自相关系数的P步截尾性是 AR( P)模型重要的识别依据。11.平稳AR( ，0,计算题看(57页，例3.5)(考点)与(以上两个公式的证明在56页)13 具有如下结构的模型称为q阶移动平均模型，简记为 MA (q)： (59页)Xt 一；t 一 K ；t一屯；t/ 一 Jq ；u ( 3.33)当二-0时，移动平均模型又称为中心化 MA (q)模型。非中心化MA (q)序列都可以通过下面的变换转化为中心化MA (q)系列。yt = Xt -就可以转化为中心化 MA （q）模型。使用延迟算子，中心化 MA （q）模型又可以简记为：xt - v（B）；t式中，二（B） =1 -“B -B2 - -Bq，称为q阶移动平均系数多项式。14. 懂求MA（q）模型的均值和方差（59页）（考点）Ex =E(，t T ii-2 i2 "q 乜)“ 宀2 * 二220,如果该模型为中心化 MA（ q）模型，该模型均值为零。2 2Var(K)二Var(亠 4 - p，q）模型。中心化 ARMA （ p，q）简写为:引进延迟算子，中心化 ARMA （ p, q）模型又可以简记为：G（B）Xt - v（B）；t也可以表示为：甞式中，（B）4宀'I - pBP，称为P阶自回归系数多项式。r（B） =1 -yB -tB2 - -VqBq，称为q阶移动平均系数多项式。显然，当q=0时，ARMA（ p, q）模型就退化成了 AR（ p）模型；当p=0时，ARMA（ p，q）模型就退化成了 MA（ q）模型；所以，AR（ p）模型和MA（ q）模型实际上是 ARMA（ p，q）模型的特例，它们都统称 为ARMA模型。其次ARMA（ p，q）模型的平稳条件与可逆条件也就是AR（ p）模型的平稳条件和 MA（q）模型的可逆条件。23 假如某个观察值序列通过序列预处理，可以判定为平稳非白噪声序列，我们就可以利用模型对该序列建模。建模的基本步骤如图3-8所示。（69页）24. 参数估计（76页），还有77页例3.10，例3.11.25. ARMA模型定阶的基本原则。样本自相关系数样本偏相关系数模型定阶拖尾p阶截尾AR(p)模型q阶截尾拖尾MA(q)模型拖尾拖尾ARMA(p，q)模型26.序列预测：（考点）（1） 即3.9第4章非平稳序列的确定性分析1. 对平稳时间序列的分析方法可以分解为确定性时序分析和随机时序分析两大类，本章 主要介绍一些常用的确定性时序分析方法。2. Wold分解定理、Cramer分解定理。（课本111页）3 wold分解定理：对于任何一个离散平稳过程 x，它都可以分解为两个不相关的平稳 序列之和，一个为确定性的，另一个为随机性的。而ARMA（ p, q）模型的分析实际上主要是对随机平稳序列进行分析。4Cramer分解定理：任何一个时间序列xt，都可以分解为两部分的叠加：其中一部分 是由多项式决定的确定性趋势成分，另一部分是平稳的零均值误差成分。说明了任何一个序列的波动都是可以视为同时受到了确定性影响和随机性影响的综 合作用。平稳序列要求这两方面的影响都是稳定的，而非平稳序列产生的机理就在于它所受到的这两方面的影响至少有一方面是不稳定的。5在自然界中，由确定性因素导致的非平稳，通常显示出非常明显的规律性，比如有显著的趋势或者有固定的变化周期，这种规律信息通常比较容易提取，而由随机因素导致的波动则非常难以确定和分析。根据这种性质，传统的时序分析方法通常都把分析的重点放在确定性信息的提取上，忽视对随机信息的提取，通常将序列简单地假定为：Xt二7 ；t式中， t为零均值白噪声序列。这种分析方法就称为确定性分析方法。6. 近年来，人们对四大因素的确定性分析做了改进，现在通常把序列分解为三大因素的综合影响：（1 ）长期趋势波动， 它包括长期趋势和无固定周期的循环波动（2）季节性变化，它包括所有具有稳定周期的循环波动。（3） 随机波动，除了长期趋势波动和季节性变化之外，其他因素的综合影响归为随机波动。7. 有些时间序列具有非常显著的趋势，有时我们分析的目的就是要找到序列中的这种趋势，并利用这种趋势对序列的发展做出合理的预测。8. 趋势拟合法 就是把时间作为自变量，相应的序列观察值作为因变量，建立序列值随时间变化的回归模型的方法。 根据序列所表现的线性或非线性特征，我们的拟合方法又可以具体分为线性拟合和曲线拟合。9. 平滑法：是指进行趋势分析和预测时常用的一种方法。它是利用修匀技术，消弱短期随机波动对序列的影响，使序列平滑化，从而显示出变化的规律。10. 根据所用的平滑技术的不同，平滑法又可以具体分为：移动平均法 和指数平滑法。11. 移动平均法可以分为两类：（1）n期中心移动平均（2）n期移动平均（课本117页）12n期移动平均还是一种常用的预测方法（课本 118页）计算题看（118页，例4.3）（考点）13指数平滑法可以分为两类：（1）简单指数平滑（2）Holt两参数指数平滑14我们考虑到时间间隔对事件发展的影响，各期权重随着时间间隔的增大而呈指数衰减。这就是指数平滑法的基本思想，也是跟移动平均法的区别 （移动平均法的权重都是1/n ）。15.简单指数平滑：（考点）xt - ： xt 亠二（1 - :） xt亠二（1 -）2 xt_2 式中，：为平滑系数，它满足 0 ： : ： 1。因为：Xt=xtd 亠'：（1 -<-）Xt_2 ；t（1-<-）2Xt 才所以xt又等价于 X t -X t （- -） x t -1简单指数平滑面临一个确定X0初始值的问题。我们有许多方法可以确定X0的初始值，最简单的方法是指定 xo =，经验白表明 +1AA容易验证，指数平滑期预测值都具有如下关系：XT+'二XT+1， ' - 2计算题看课本120页例4.4 （考点）17Holt两参数指数平滑（120页）（1） 第t期的估计值就应该等于第t-1期的观察值加上t-1期的趋势变动值：Ax t 二 x t _1 r t _1（ 1）（2） 考虑用第t期的观察值和第t期的估计值的加权平均数作为第t期的修匀值：xt =二 Xt （1 - :一 ） x t01=：Xt（1一 ： ）（Xtdrt4）（2）（3） 因为趋势序列讣也是一个随机序列，为了让修匀序列xt更平滑，我们对"也进 行一次修匀处理：rt 二（xt xt）（1 一）rt（3）（4） 把（3）代入（2），就能得到比较光滑的修匀序列xt。这就是Holt两参数指数平滑 法的构造思想，它的平滑公式为：xt = ： xt （1 - ： ）（ xt _irt j）十<； 八丿（4）（ 120 页）=；，'（ xt 一 xt_i）（1 一 ）rt 式中，:-,为两个平滑系数，也称为两个平滑参数，它们满足0 ： :, ： 1。平滑系数的选择原则和简单指数平滑的原则一样。（5）在此我们需要确定两个序列的初始值：（a）平滑序列的初始值xo。最简单的是指定X。= Xi。（b）趋势序列的初始值ro。和确定xo 一样，我们又许多方法确定它，最简单的方法是：在任意指定一个区间长度n,用这段区间的平均趋势作为趋势初始值:r° 5第5章非平稳序列的随机分析1差分运算有强大的确定性信息提取能力，许多非平稳序列差分后会显示出平稳序列的性质，这时我们称这个非平稳序列为差分平稳序列。对差分平稳序列可以使用ARIMA模型进行拟合。2. ARIMA模型（求自回归移动平均模型）简记为：（149页）' 収 （B） ；t（B）七式中，I d-B）d ； ；t为零均值白噪声序列。（B） =1 - iB- 2B2 -jpBP，称为平稳可逆ARMA（ p，q）模型的自回归系数多项式；XB） =lTBfB2 -rqBq,称为平稳可逆ARMA（ p，q）模型的移动平滑系数多项式； 特别地：当d=0时，ARIMA（ p，d，q）模型实际上就是 ARMA（ p，q）模型。当p=0时，ARIMA（ p，d，q）模型可以简记为 IMA（ d，q）模型。当q=0时，ARIMA（ p，d，q）模型可以简记为 ARI（ p，d）模型。当 d=1，p=q=0 时，ARIMA（ 0，1，0）模型简记为：xt 二人，；t该模型被称为随机游走模型，或醉汉模型。3ARIMA模型的性质（平稳性、方差齐性） （150页）4. ARIMA模型建模的操作流程图（152页）5. 例5.7 （ 157页）（考点），残差自相关检验，DW检验（172页）。分析题（看实验或课本即可！）