第04章其他回归方法.ppt
《第04章其他回归方法.ppt》由会员分享,可在线阅读,更多相关《第04章其他回归方法.ppt(123页珍藏版)》请在三一文库上搜索。
1、1,第四章 其他回归方法,本章讨论加权最小二乘估计,异方差性和自相关一致协方差估计,两阶段最小二乘估计(TSLS),非线性最小二乘估计和广义矩估计(GMM)。这里的大多数方法在第十二章的联立方程系统中也适用。 本章中某些估计方法中含有AR和MA误差项,这些概念将在第五章中深入介绍。,2,线性回归模型的基本假设,i = 1 , 2 , , N,在普通最小二乘法中,为保证参数估计量具有良好的性质,通常对模型提出若干基本假设: 1解释变量之间互不相关; 2随机误差项具有0均值和同方差。即,i = 1 , 2 , , N,即随机误差项的方差是与观测时点t无关的常数; 3不同时点的随机误差项互不相关(序
2、列不相关),即,s 0, i = 1 , 2 , , N,3,当随机误差项满足假定1 4时,将回归模型”称为“标准回归模型”,当随机误差项满足假定1 5时,将回归模型称为“标准正态回归模型”。如果实际模型满足不了这些假定,普通最小二乘法就不再适用,而要发展其他方法来估计模型。,5随机误差项服从0均值、同方差的正态分布。即,i = 1 , 2 , , N,4随机误差项与解释变量之间互不相关。即,j = 1 , 2 , , k , i = 1 , 2 , , N,4,古典线性回归模型的一个重要假设是总体回归方程的随机扰动项 ui 同方差,即他们具有相同的方差 2。如果随机扰动项的方差随观测值不同而
3、异,即ui 的方差为i2,就是异方差。用符号表示异方差为E(ui2) = i2 。 异方差性在许多应用中都存在,但主要出现在截面数据分析中。例如我们调查不同规模公司的利润,会发现大公司的利润变化幅度要比小公司的利润变化幅度大,即大公司利润的方差比小公司利润的方差大。利润方差的大小取决于公司的规模、产业特点、研究开发支出多少等因素。又如在分析家庭支出模式时,我们会发现高收入家庭通常比低收入家庭对某些商品的支出有更大的方差。,4.1 异方差,5,表1 中国1998年各地区城镇居民平均每人全年家庭可支配收入及交通和通讯支出 单位:元,6,例4.1:我们研究人均家庭交通及通讯支出(cum)和可支配收入
4、(in)的关系,考虑如下方程: cumi=0 + 1ini + ui 利用普通最小二乘法,得到如下回归模型: cumi= -56.917+ 0.05807ini (4.1.4) (-1.57) (8.96) R2=0.74 D.W.=2.008,7,从图形上可以看出,平均而言,城镇居民家庭交通和通讯支出随可支配收入的增加而增加。但是,值得注意的是:随着可支配收入的增加,交通和通讯支出的变动幅度也增大了,可能存在异方差。如果我们把回归方程中得到的残差对各个观测值作图,则可以清楚地看到这一点。 异方差的存在并不破坏普通最小二乘法的无偏性,但是估计量却不是有效的,即使对大样本也是如此,因为缺乏有效性
5、,所以通常的假设检验值不可靠。因此怀疑存在异方差或者已经检测到异方差的存在,则采取补救措施就很重要。,8,4.1.1 异方差检验 1. 图示检验法 (1) 用X-Y的散点图进行判断 观察是否存在明显的散点扩大、缩小或复杂型趋势(即不在一个固定的带型域中),9,(2)X - i2的散点图进行判断,首先采用OLS方法估计模型,以求得随机误差项u的方差i2的估计量(注意,该估计量是不严格的),我们称之为“近似估计量”,用 ei2 表示。于是有 (4.1.5),即用 ei2 来表示随机误差项的方差。用 解释变量x 和 ei2的散点图进行观察是否随着x增加,出现方差的逐渐增加、下降或者不规则变化。,10
6、,11,2. White异方差性检验 White (1980) 提出了对最小二乘回归中残差的异方差性的检验。包括有交叉项和无交叉项两种检验。普通最小二乘估计虽然在存在异方差性时是一致的,但是通常计算的标准差不再有效。如果发现存在异方差性,利用加权最小二乘法可以获得更有效的估计。,12,检验统计量是通过利用解释变量所有可能的交叉乘积对残差进行回归来计算的。例如:假设估计如下方程 (4.1.6) 式中b是估计系数,i 是残差。检验统计量基于辅助回归: (4.1.7) EViews显示两个检验统计量:F统计量和 Obs*R2 统计量。White检验的原假设:不存在异方差性(也就是,式(4.1.7)中
7、除0以外的所有系数都为0成立) 。,13,White证明出: (4.1.8) 其中:N是样本容量,k为自由度,等于式(4.1.7)中解释变量个数(不包含截距项)。如果计算的2值大于给定显著性水平对应的临界值,则可以拒绝原假设,得出存在异方差的结论。也就是说,回归方程(4.1.7)的R2越大,说明残差平方受到解释变量影响越显著,也就越倾向于认为存在异方差。 如果原模型中包含的解释变量较多,那么辅助回归中将包含太多的变量,这会迅速降低自由度。因此,在引入变量太多时,必须谨慎一些。White检验的另外一种形式,就是辅助回归中不包含交叉项。 因此White检验有两个选项:交叉项和无交叉项。,14,例4
8、.2:人均家庭交通及通讯支出(CUM)和可支配收入(IN )的回归方程的 White 异方差检验的结果:,该结果F 统计量和 Obs*R2 统计量的P值均很小,表明拒绝原假设,即残差存在异方差性。,15,由于假设的异方差形式不同,使用的辅助回归也不同,导致了不同的检验方法。各不同方法的异方差形式和辅助回归方程: Breusch-Pagan-Godfrey (BPG)异方差检验方法 , Harvey异方差检验 , Glejser异方差检验 ,,16,4.1.2 加权最小二乘估计 1方差已知的情形 考虑一个一元回归线性方程: (4.1.11) 假设已知随机误差项的真实的方差,var(ui)=i2,
9、则令wi=1/i,将模型两端同乘wi,变换为 (4.1.12) 令ui*=wiui,则 (4.1.13) 因此,变换后的模型(4.1.12)不再存在异方差的问题,可以用OLS估计。加权最小化残差平方和为: (4.1.14) 由此获得的估计量就是权重序列为 wi的加权最小二乘估计量。,17,假设有已知形式的异方差性,并且有序列w,其值与误差标准差的倒数成比例。这时可以采用权数序列为w 的加权最小二乘估计来修正异方差性。对加权最小化残差平方和得到估计结果 :,其中 是k 1维向量。在矩阵概念下,令权数序列 w 在权数矩阵W的对角线上,其他地方是零,即W 矩阵是对角矩阵,y 和X是因变量和自变量矩阵
10、。则加权最小二乘估计量为: (4.1.18),估计协方差矩阵为: (4.1.19),18,例4.3 加权最小二乘估计,本例考虑对由四组家庭住房支出和年收入组成的截面数据进行研究(表4.2)。 假设住房支出模型为 其中:yi是住房支出,xi是收入。普通最小二乘估计得出如下回归结果: t = (4.4) (15.9) R2=0.93 F=252.7 对数据图形的研究及以前有关支出的研究结果都说明这个模型具有异方差现象。,19,20,对住房支出模型进行异方差修正,然后进行估计。变换后的模型为 其结果为: t = (21.3) (7.7) R2=0.76 F=58.7 注意,修改后关于收入的回归系数的
11、估计值为0.249,比原来普通最小二乘估计有所增加。R2下降,但是,并不能直接比较R2 ,因为因变量已经发生了变化。,21,使用加权最小二乘法,也可以得到:,22,2方差未知的情形 由于一般不知道异方差的形式,人们通常采用的经验方法是,并不对原模型进行异方差检验,而是直接选择加权最小二乘法,尤其是采用截面数据作样本时。如果确实存在异方差性,则被有效地消除了;如果不存在异方差性,则加权最小二乘法等价于普通最小二乘法。 具体步骤是: 1选择普通最小二乘法估计原模型,得到随机误差项的近似估计量 t ; 2建立 wi =1/| t | 的权数序列; 3选择加权最小二乘法,以 wi = 1/| t |序
12、列作为权,进行估计得到参数估计量。实际上是以 1/| t |乘原模型的两边,得到一个新模型,采用普通最小二乘法估计新模型。,23,使用加权最小二乘法估计方程,首先到主菜单中选Quick/ Estimate Equation , 然后选择LS-Least Squares (NLS and ARMA)。在对话框中输入方程说明和样本,然后按Options钮,出现如下对话框:,24,单击Weighted LS/TSLS选项在Weighted 项后填写权数序列名,单击OK。例子:,25,例4.4:,26,EViews会打开结果窗口显示标准系数结果(如上图),包括加权统计量和未加权统计量。加权统计结果是用
13、加权数据计算得到的:,未加权结果是基于原始数据计算的残差得到的:,估计后,未加权残差存放在RESID序列中。,27,如果残差方差假设正确,则加权残差不应具有异方差性。如果方差假设正确的话,未加权残差应具有异方差性,残差标准差的倒数在每个时刻 t 与 w 成比例。检验加权残差的异方差性:,可以看到加权最小二乘法消除了残差的异方差性。,28,4.1.3 存在异方差时参数估计量的一致协方差,当异方差性形式未知时,使用加权最小二乘法提供在异方差存在时的一致参数估计,但通常的OLS标准差将不正确。 在描述协方差估计技术之前,应注意: 使用White异方差一致协方差或Newey-West异方差一致协方差估
14、计不会改变参数的点估计,只改变参数的估计标准差。 可以结合几种方法来计算异方差和序列相关。如把加权最小二乘估计与White 或Newey-West协方差矩阵估计相结合。,29,1. 异方差一致协方差估计(White) Heteroskedasticity Consistent Covariances(White),White(1980)得出在存在未知形式的异方差时,对系数协方差进行正确估计的异方差一致协方差估计量。White 协方差矩阵公式为:,其中N是观测值数,k是回归变量数,i 是最小二乘残差。 EViews在标准OLS公式中提供White协方差估计选项。打开方程对话框,说明方程,然后按O
15、ptions钮。接着,单击异方差一致协方差(Heteroskedasticity Consistent Covariance),选择White 钮,接受选项估计方程。,30,例4.5:在输出结果中,EViews会包含一行文字说明表明使用了White估计量。,31,2. HAC一致协方差(Newey-West),前面描述的White协方差矩阵假设被估计方程的残差是序列不相关的。Newey和West (1987) 提出了一个更一般的估计量,在有未知形式的异方差和自相关存在时仍保持一致。Newey-West估计量为:,其中,32,q 是滞后截尾,一个用于评价OLS随机误差项 ut 的动态的自相关数目
16、的参数。根据Newey-West 假设,EViews中令 q 为: Newey-West异方差一致协方差估计量,不能和加权最小二乘法一起使用。 使用Newey-West 方法,在估计对话框中按Options钮。在异方差一致协方差项中选Newey-West钮。,33,Newey-West估计量为:,34,4.2 二阶段最小二乘法,回归分析的一个基本假设是方程的解释变量与扰动项不相关。但是,由于解释变量测量误差的存在,用于估计模型参数的数据经常与它们的理论值不一致;或者由于遗漏了变量,使得随机误差项中含有可能与解释变量相关的变量,这些都可能导致解释变量与扰动项的相关。 出现这种问题时,OLS和WL
17、S估计量都有偏差且不一致,因而要采用其他方法估计。最常用的估计方法是二阶段最小二乘法。,35,考虑多元线性回归模型的矩阵形式 (4.2.1) 其中:y 和 X 是因变量和解释变量数据矩阵, 是系数向量。 为简化起见,我们称与残差相关的变量为内生变量,与残差不相关的变量为外生变量或前定变量。 解决方程右边解释变量与残差相关的方法是使用工具变量回归。就是要找到一组变量满足下面两个条件: (1)与方程解释变量相关; (2)与扰动项不相关;,36,选择 zi = (z1i, z2i, zki) 作为工具变量,它与解释变量相关,但与扰动项不相关,即 (4.2.2) 这些变量就可成为工具变量。用这些工具变
18、量来消除右边解释变量与扰动项之间的相关性。,37,二阶段最小二乘方法(two stage least square,TSLS)本质上属于工具变量法,它包括两个阶段: 第一个阶段,找到一组工具变量,模型中每个解释变量分别关于这组变量作最小二乘回归; 第二个阶段,所有变量用第一个阶段回归得到的拟合值来代替,对原方程进行回归,这样求得的回归系数就是TSLS估计值。可以证明二阶段最小二乘估计量是一致估计量。,38,不必担心TSLS估计中分离的阶段,因为EViews会使用工具变量技术同时估计两个阶段。令 Z 为工具变量矩阵,y 和 X 是因变量和解释变量矩阵。则二阶段最小二乘估计的系数由下式计算出来:,
19、系数估计的协方差矩阵为:,其中 s2 是回归标准差(估计残差协方差)。,39,使用二阶段最小二乘估计,打开方程说明对话框,选择Method中的TSLS估计。随着选择的变化,方程对话框也会发生变化,包括一个工具变量列表对话框。,40,输入工具变量时,应注意以下问题: 1. 使用TSLS估计,方程说明必需满足识别的阶条件,即工具变量的个数至少与方程的系数一样多。参见Davidson和MacKinnon(1994)和Johnston和DiNardo(1997)的讨论。 2. 根据经济计量学理论,与扰动项不相关的解释变量可以用作工具变量。 3. 常数c是一个合适的工具变量,如果忽略了它,EViews会
20、自动把它加进去。,41,TSLS估计结果: 下面我们利用美国1947年1季度1999年4季度的宏观数据计算居民消费cs关于GDP 和利率R 的TSLS估计(工具变量是净出口NX、政府支出GOV、M1、时间趋势time):,42,4.3 非线性最小二乘估计,经典的计量经济学模型理论与方法是在线性模型的基础上发展、完善起来的,因而线性计量经济学模型领域的理论与方法已经相当成熟。但是,现实经济活动并不都能抽象为线性模型,所以非线性计量经济学模型在计量经济学模型中占据重要的位置,关于它的理论与方法的研究是计量经济学理论与方法研究的一个广泛的领域。 假设回归方程为:,其中f 是解释变量和参数 的函数。最
21、小二乘估计就是要选择参数 的估计值 b 使残差平方和最小:,43,如果 f 关于参数的导数不依赖于参数,则我们称模型为参数线性的,反之,则是参数非线性的。例如, 是参数线性的,f 关于参数的导数与参数 无关。 而 其函数的导数仍依赖于参数,所以它是参数非线性的。对于这个模型,没有办法使用普通最小二乘估计来最小化残差平方和。必须使用非线性最小二乘估计技术来估计模型参数。,44,非线性最小二乘估计根据参数 的估计值 b 选择最小化残差平方和。最小化的一阶条件是:,其中 G(b) 是 f (X, b) 关于b 的导数。 估计协方差矩阵为:,关于非线性估计的详细讨论,参见Pindick和Rubinfe
22、ld (1991, 231 - 245页) 或Davidson和MacKinon(1993)。,即,令,45,估计非线性最小二乘模型很简单,对于任何系数非线性的方程,EViews自动应用非线性最小二乘估计,会使用迭代算法估计模型。,1. 说明非线性最小二乘估计,对于非线性最小二乘模型,必须使用直接包含系数约束的EViews表达式以方程形式来说明。可以使用缺省系数向量C中的元素(例如,c(1), c(2), c(34), c(87) ) ,也可以定义使用其它系数向量。例如: Y=c(1)+c(2)*(Kc(3)+Lc(4) 就是缺省系数向量C的4个元素从c(1)到c(4)。,46,例4.6:如果
23、设定例3.1中的消费函数为非线性形式: (4.3.11) 其中:cst 是实际居民消费,inct 是实际可支配收入。利用我国1978年2006年的年度数据估计此非线性方程,由于用迭代法计算,首先要赋初值,比如可以设 3 的估计值 b3 初值是1,则可以利用OLS估计值(例3.1中,b1 =449.07,b2 = 0.7345 ) 作为b1 ,b2 的初值。经过迭代,得到的非线性消费方程为 (4.3.12) t= (0.49) (3.999) (37.92) R2=0.998,47,非线性形式的边际消费倾向为 即 MPCt = c(2)c(3)inct (C(3)-1) = 1.4210.934
24、8inc(0.9348-1),48,图4.3 动态的边际消费倾向,因此,非线性情况下的MPC是时变的,根据式(4.3.11)计算得到的边际消费倾向序列如图4.3所示。注意,inc 的平均值(7424.254 )对应的边际消费倾向为 MPC=1.421 0.9348 7424.254(0.9348-1) =0.743 近似等于线性模型估计值,因为线性模型的参数反映的是变量之间平均意义上的影响关系。,49,2.估计方法选项,(1)初始值 迭代估计要求模型系数有初始值。选择参数初始值没有通用的法则。越接近于真值越好,因此,如果你对参数值有一个合理的猜测值,将是很有用的。在某些情况下,可以用最小二乘法
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 04 其他 回归 方法
链接地址:https://www.31doc.com/p-2985785.html