第三章多元线性回归.ppt

高等学校经济学类核心课程,计 量 经 济 学,Econometrics,云南财经大学数量经济系,第三章 多元线性回归模型,§ 3.1 多元线性回归模型 § 3.2 多元线性回归模型的参数估计 § 3.3 多元线性回归模型的统计检验 § 3.4 多元线性回归模型的预测 § 3.5 可线性化的多元非线性回归模型 § 3.6 受约束回归,§3.1 多元线性回归模型,一、模型形式 二、基本假定,一、模型形式,注意：（1）解释变量X的个数：k 回归系数 j的个数：k1 （2）j：偏回归系数，表示了Xj对Y的净影响 （3）X的第一个下标 j 区分变量（j1，2，k） 第二个下标 i 区分观测（i1，2，n）,总体回归函数（PRF）,样本回归函数（SRF）,样本回归模型（SRM）,其中：ei 称为残差 (residuals)，可看成是随机误差项 i的近似替代。,2、于是，总体回归模型可以表示为：,总体回归模型的矩阵表示,1、总体回归模型表示了n个随机方程，引入如下矩阵记号：,2、于是，样本回归模型和函数可以表示为：,样本回归模型和函数的矩阵表示,1、同理，采用如下矩阵记号：,二、多元线性回归模型的基本假设,假设1：解释变量是非随机的或固定的，且各X之间互不相关（无多重共线性）。 假设2：随机误差项具有零均值、同方差和无序列相关性： E(i)=0 Var (i)=2 i=1,2, ,N Cov(i, j)=0 ij i,j= 1,2, ,N 假设3：随机误差项与解释变量X之间不相关： Cov(Xji, i)=0 i=1,2, ,N 假设4：服从零均值、同方差、零协方差的正态分布 iN(0, 2 ) i=1,2, ,N,基本假设的矩阵表示,假设1: n(k+1)矩阵X是非随机的，且X的秩=k+1，即X列满秩。 假设2:,假设4: 向量 有一多维正态分布，即,暗含假设,假设5：样本容量趋于无穷时，各解释变量的方差趋于有界常数，即n时，,假设6：回归模型是正确设定的,或,其中：Q为一非奇异固定矩阵，矩阵x是由各解释变量的离差为元素组成的nk阶矩阵,§3.2 多元线性回归模型的参数估计,一、普通最小二乘估计 二、参数估计量的性质 三、样本容量问题,参数估计的任务和方法,1、估计目标：回归系数j、随机误差项方差2 2、估计方法：OLS、ML或者MM,* OLS：普通最小二乘估计 * ML：最大似然估计 * MM：矩估计,一、普通最小二乘估计,基本思想：残差平方和最小 基于取得最小值的条件获得系数估计）,残差平方和：,取得最小值的条件：,正规方程组：,解此（k1）个方程组成的正规方程组，即可求得（k+1)个未知参数j 的估计 。,最小二乘估计的矩阵表示,1、正规方程组的矩阵形式,2、由于XX满秩(其逆矩阵存在），故有,OLSE的矩阵估计过程,矩阵有关定理,残差平方和的矩阵表示为：,#参数估计的实例,例3.2.1：在例2.1.1的家庭收入-消费支出例中，,误差方差2的估计,1、基于OLS下，随机误差项 的方差的无偏估计量为,注意：分母的形式：n-k-1 = n-(k+1)。 k：解释变量X的个数； k+1：回归系数的个数,2、 称为估计标准误或者回归标准误（S.E of regression）,*最大似然估计* （Maximum Likelihood Estimate）,1、基本原理：样本观测值出现的概率最大。 2、似然函数：,3、最大似然估计MLE：,参数的MLE与参数的OLSE相同,*矩估计* （Moment Method，MM）,1、OLS估计是通过得到一个关于参数估计值的正规方程组,并对它进行求解而完成的。,2、该正规方程组可以从另外一种思路来导出:,两侧求期望 :,矩条件,*矩条件和矩估计量*,3、由此得到正规方程组：,解此正规方程组即得参数的MM估计量。,MM估计量与OLS、ML估计量等价。,*关于矩估计*,矩方法是工具变量方法(Instrumental Variables,IV)和广义矩估计方法(Generalized Moment Method, GMM)的基础,在矩方法中关键是利用了：E(X)=0 如果某个解释变量与随机项相关，只要能找到1个工具变量，仍然可以构成一组矩条件。这就是IV。 如果存在k+1个变量与随机项不相关，可以构成一组包含k+1方程的矩条件。这就是GMM。 OLS只是GMM的一个特例,二、最小二乘估计量的性质,高斯马尔可夫定理(Gauss-Markov theorem): 在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量，即最佳线性无偏估计量（BLUE）。,1、线性：,其中,C=(XX)-1 X 为一仅与固定的X有关的行向量,2、无偏性:,这里利用了假设: E(X)=0,3、有效性:,其中利用了:,参数估计量的概率分布,1、由参数估计量的上述性质和基本假设，易知：,线性性基本假设 正态分布 无偏性 期望为 有效性的证明 方差表达式,2、记 C=(XX)-1 的第 j 个主对角元素为 Cjj（j=0,1,k)，则：,三、样本容量问题,最小样本容量 满足基本要求的样本容量,1、最小样本容量,所谓“最小样本容量”，即从最小二乘原理和最大或然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。 样本最小容量必须不少于模型中解释变量的数目（包括常数项）,即：n k+1 因为，无多重共线性要求：秩(X)=k+1,2、基本样本容量,从统计检验的角度： n30 时，Z检验才能应用； n-k 8时, t分布较为稳定,一般经验认为: 当n30或者至少n3(k+1)时，才能说满足模型估计的基本要求。,模型的良好性质只有在大样本下才能得到理论上的证明,§3.3 多元线性回归模型的统计检验,一、拟合优度检验 二、方程显著性检验 三、变量显著性检验,一、拟合优度检验,目的：测定样本回归函数对样本观测值的拟合紧密程度 指标：R2、Adj(R2),可决系数R2 (coefficient of determination),0R21，该统计量越接近于1，模型的拟合优度越高。,1、定义：,2、问题： 在模型中增加一个解释变量， R2往往增大 但是：增加解释变量个数往往得不偿失，不重要的变量不应引入。 增加解释变量使得估计参数增加，从而自由度减小。如果引入的变量对减少残差平方和的作用很小，这将导致误差方差2的增大，引起模型精度的降低。 因此：R2需调整。,调整的可决系数Adj(R2) （adjusted coefficient of determination）,1、调整思路:将残差平方和与总离差平方和分别除以各自的自由度，以剔除变量个数对拟合优度的影响。,2、自由度：统计量可自由变化的样本观测值的个数，记为df,TSS：dfn1 ESS：df k RSS：df nk1,注意： df（TSS)=df(ESS)+df(RSS),3、定义：,# Adj(R2)的作用,1、消除拟合优度评价中解释变量的多少对拟合优度的影响 2、对于因变量Y相同，而自变量X个数不同的模型，不能用R2直接比较拟合优度，而应使用Adj（R2） 。 3、可以通过Adj（R2）的增加变化，决定是否引入一个新的解释变量。,Adj（R2）= R2，即：调整可决系数不大于未经调整的可决系数。随着解释变量的增加，二者的差异越来越大。,# Adj(R2)与R2的关系,*赤池信息准则和施瓦茨准则* (AIC&SC),用于比较因变量相同，解释变量个数不同的多元回归模型的拟合优度 赤池信息准则（Akaike information criterion, AIC）, 施瓦茨准则（Schwarz criterion，SC）,这两准则均要求仅当所增加的解释变量能够减少AIC值或AC值时才在原模型中增加该解释变量。,二、方程的显著性检验（F检验）,目的：检验Y与所有X的线性关系在总体上是否成立 方法：F检验,1、原假设和备择假设,检验模型中的参数j是否至少有一个显著不为0。 Yi=0+1X1i+2X2i+ +kXki+i i=1,2,n,原假设与备择假设：,H0： 0=1=2= =k=0 H1： j不全为0,2、检验统计量,可以证明，在原假设H0成立的条件下：,F F (k , n-k-1),其中：k为模型中解释变量个数,3、检验步骤,（1）提出原假设和备择假设：,H0： 0=1=2= =k=0 H1： j不全为0,（2）在H0成立的条件下，计算检验统计量的值：,（3）给定显著性水平，可得到临界值：F(k,n-k-1),右侧检验,（4）如果 F F(k,n-k-1)，拒绝原假设，总体线性关系成立 如果 F F(k,n-k-1)，接受原假设，总体线性关系不成立, 拟合优度和方程显著性检验,在中国居民人均收入-消费一元模型中，,在中国居民人均收入-消费二元模型中，,可见：一个显著的模型并不意味着拟合优度一定很高,注意到F检验是一个严格的统计检验，因此实际中要多参考这一检验的结果。,示例：,三、变量的显著性检验（t检验）,目的：检验Y与某个Xj的线性关系在总体上是否成立或者 说Xj对Y是否存在显著影响 方法： t检验,1、原假设和备择假设,检验模型中Xj对应的系数j是否显著不为0。 Yi=0+1X1i+2X2i+ +jXji +kXki+i,原假设与备择假设：,H0： j=0 H1： j0,2、检验统计量,2为随机误差项的方差，在实际计算时，用它的估计量代替:,可构造t统计量:,参数估计量的概率分布：,（1）建立原假设和备择假设： H0：j0 H1：j0,（3）给定显著性水平，可得到临界值t/2(n-k-1),3、检验步骤：,（2）在原假设成立的条件下计算t统计量的值,（4）如果|t| t/2(n-k-1)，拒绝原假设，Xj对Y存在显著影响 如果|t| t/2(n-k-1)，接受原假设，Xj对Y不存在显著影响,双侧检验,对t检验的说明,1、在一元线性回归模型中，变量的显著性t检验与方程的F检验是一致的 一方面，二者检验的假设一致：10 另一方面，从检验统计量来看：Ft2 2、在多元线性回归模型中，二者的作用不同，并不等价 3、在多元回归模型中，对各个变量的进行t检验时，显著性水平应该一致 4、t检验未通过，说明在给定的显著性水平下，变量对Y没有显著性影响，但不要简单的剔除变量，关键仍然是考察变量在经济关系上是否对因变量有影响以及变量在模型及应用中的作用，显著性检验起到验证的作用,三、参数的置信区间,j (j=0,1,2,k）的置信区间,在变量的显著性检验中已经知道：,给定置信度（1-），对于临界值t/2 (n-2)，t值处在(-t/2, t/2)的概率是1-。表示为：,于是得到:(1-)的置信度下, j 的置信区间是,§3.4 多元线性回归分析的预测,一、均值E(Y0)的置信区间 二、个值Y0的置信区间,预测的理解,1、预测类型：,实际个值Y0的点预测,条件均值E(Y0)的点预测,实际个值 Y0的区间预测,条件均值E(Y0)的区间预测,点预测,区间预测,3、它可以是总体均值E(Y0)或个值Y0的点预测。 4、为了进行科学预测，还需求出预测值的置信区间，包括E(Y0)和Y0的置信区间。,2、对于模型,，给定样本以外的解释变量的观测值：,X0=(1,X10,X20,Xk0)，可以得到被解释变量的预测值：,1、总体均值E(Y0|X=X0)的置信区间,容易证明,于是，得到(1-)的置信水平下E(Y0)的置信区间：,其中，t/2为(1-)的置信水平下的临界值。,2、总体个值Y0的置信区间,如果已经知道X=X0处的实际个值Y0，那么预测误差为：,容易证明,e0服从正态分布，即:,构造t统计量:,可得给定(1-)的置信水平下Y0的置信区间：,置信区间宽度：个值均值,回归分析的预测实例：,中国居民人均收入-消费支出二元模型例中：2001年人均GDP：4033.1元,于是人均居民消费的预测值为 2001=120.7+0.2213×4033.1+0.4515×1690.8=1776.8（元）,实测值（90年价）=1782.2元，相对误差：-0.31%,预测的置信区间 ：,E(2001）的95%的置信区间为:,（1741.8，1811.7）,2001的95%的置信区间为:,（1711.1, 1842.4）,§3.5 可线性化的多元非线性回归模型,线性模型的本质含义 解释变量的非线性变量代换法 回归参数的非线性函数变换法,实际中的非线性模型,1、恩格尔曲线(Engle curves)：消费者的收入与某类商品需求量之间的函数关系。幂函数,2、菲利普斯曲线（Pillips cuves）：通货膨胀率（货币工资率）与失业率之间的关系。双曲线函数,线性模型的本质含义,1、被解释变量Y与解释变量X之间为线性关系,2、被解释变量Y与参数之间为线性关系,3、更重要的在于后者,例如：拉弗曲线：描述税收与税率关系 S = a + b R + cR2 c0 （抛物线）,令：X1 = r，X2 = r2， 则原方程变换为： S = a + b X1 + c X2 c0,1、解释变量的非线性问题变量代换,适用于倒数模型、多项式模型等,例如：Cobb-Dauglas生产函数： Q = AKL（幂函数）,方程两边取对数： ln Q = ln A + ln K + ln L 令：Q*=lnQ，0lnA，K*=lnK，L*=lnL 则： Q*= 0 K* L*,2、回归参数的非线性问题函数变换,适用于幂函数、指数函数模型等,方程两边取对数后，得到：,(1+2=1),例如：常替代弹性CES生产函数,将式中ln(1K- + 2L-)在=0处展开台劳级数,取关于的线性项，即得到一个线性近似式。,如取0阶、1阶、2阶项，可得,3、复杂函数模型级数展开,