《计量经济学01.ppt》由会员分享,可在线阅读,更多相关《计量经济学01.ppt(1021页珍藏版)》请在三一文库上搜索。
1、第一章 绪论,1.1 计量经济学 1.2 经典计量经济学模型的建模步骤 1.3 计量经济学模型的应用,关于绪论,绪论是课程的纲。 学好绪论,可以说学好了课程的一半。 绪论课的目的:了解课程的性质和在课程体系中的地位;了解课程完整的内容体系和将要讲授的内容;了解课程的重点和难点;了解课程的学习方法;介绍课程中不讲的但是必须了解的课程内容。,1.1 计量经济学,一、计量经济学 二、计量经济学模型 三、计量经济学的内容体系 四、计量经济学是一门经济学科,一、计量经济学,经济学的一个分支学科 20世纪20年代末30年代初诞生 1926年挪威经济学家R.Frish提出Econometrics 1930年
2、成立世界计量经济学会 1933年创刊Econometrica 20世纪40、50年代的大发展和60年代的扩张 20世纪70年代的批评和反思 20世纪70年代末以来非经典(现代)计量经济学的发展,名称 Econometrics 计量经济学 经济计量学,定义 “用数学方法探讨经济学可以从好几个方面着手,但任何一个方面都不能和计量经济学混为一谈。计量经济学与经济统计学绝非一码事;它也不同于我们所说的一般经济理论,尽管经济理论大部分具有一定的数量特征;计量经济学也不应视为数学应用于经济学的同义语。经验表明,统计学、经济理论和数学这三者对于真正了解现代经济生活的数量关系来说,都是必要的,但本身并非是充分
3、条件。三者结合起来,就是力量,这种结合便构成了计量经济学。”,消费=346+0.728收入,数据来自统计学,线性关系来自经济学,数量关系来自数学。三者结合建立了计量经济学模型。,简单的例子,在经济学科中占据极重要的地位 克莱因(R.Klein):“计量经济学已经在经济学科中居于最重要的地位”,“在大多数大学和学院中,计量经济学的讲授已经成为经济学课程表中最有权威的一部分”。 萨缪尔森(P.Samuelson) :“第二次大战后的经济学是计量经济学的时代”。,中国经济类本科生核心课程 计量经济学与微观经济学、宏观经济学一起成为各国高校经济类学生的核心课程。 1998年7月,教育部高等学校经济学学
4、科教学指导委员会成立,在第一次会议上,讨论并确定了高等学校经济学门类各专业的8门共同核心课程,其中包括计量经济学。 将计量经济学首次列入经济类专业核心课程,是我国经济学学科教学走向现代化和科学化的重要标志,对我国经济学人才培养质量产生了重要影响。,课程深受学生欢迎 被历年毕业生(本、研)列为“最受欢迎”的课程 高校调查:被重点大学经济类学生列为“最重要”的课程 人才深受社会欢迎,应用研究广泛开展 以经济研究发文数量对比为例,19842006年3143篇论文的统计分析,应用研究广泛开展 以经济研究发文数量对比为例,应用领域广阔 以经济研究发文为例,为什么? 科学研究 观察(偶然、个别、特殊) 假
5、设(理论、模型) 检验(实验、预测、回归) 发现(必然、一般、普遍),计量经济学,计量经济学,为什么? 方法论 实证方法 经验方法 回归方法 “实事求是”,二、计量经济学模型,模型 物理模型 几何模型 数学模型 模拟模型 数学模型 经济数学模型 ,经济数学模型 理论模型 经验模型 经验模型 计量经济学模型 投入产出分析模型 经济控制论模型 ,计量经济学模型(Econometric Model) 截面数据模型(Cross Sectional Data Model) 时间序列数据模型(Time Series Data Model) 综合截面和时序数据模型(Panel Data Model) 计量经
6、济学模型在经济分析中的地位 经济理论分析(行为分析)数理分析 数量分析(主要是计量经济分析),三、计量经济学的内容体系,各种分类 广义计量经济学和狭义计量经济学 初、中、高级计量经济学 理论计量经济学和应用计量经济学 经典计量经济学和非经典计量经济学 微观计量经济学和宏观计量经济学,广义计量经济学和狭义计量经济学,广义计量经济学是利用经济理论、数学以及统计学定量研究经济现象的经济计量方法的统称,包括回归分析方法、投入产出分析方法、时间序列分析方法等。 狭义计量经济学,也就是我们通常所说的计量经济学,以揭示经济现象中的因果关系为目的,在数学上主要应用回归分析方法。 本课程中的计量经济学模型,就是
7、狭义计量经济学意义上的经济数学模型。, 初、中、高级计量经济学,初级以计量经济学的数理统计学基础知识和经典的线性单方程模型理论与方法为主要内容; 中级以用矩阵描述的经典的线性单方程模型理论与方法、经典的线性联立方程模型理论与方法,以及传统的应用模型为主要内容; 高级以非经典的、现代的计量经济学模型理论、方法与应用为主要内容。 本课程定位于中级水平上,适当引入高级的内容。, 理论计量经济学和应用计量经济学,理论计量经济学是以介绍、研究计量经济学的理论与方法为主要内容,侧重于理论与方法的数学证明与推导,与数理统计联系极为密切。除了介绍计量经济模型的数学理论基础、普遍应用的计量经济模型的参数估计方法
8、与检验方法外,还研究特殊模型的估计方法与检验方法,应用了广泛的数学知识。 应用计量经济学则以建立与应用计量经济学模型为主要内容,强调应用模型的经济学和经济统计学基础,侧重于建立与应用模型过程中实际问题的处理。 本课程是二者的结合。, 经典计量经济学和非经典计量经济学,经典计量经济学(Classical Econometrics)一般指20世纪70年代以前发展并广泛应用的计量经济学。 R.Frish创立 T.Haavelmo建立了它的概率论基础 L.R.Klein成为其理论与应用的集大成者,经典计量经济学模型包括: 单方程模型(Single Equation Model) 联立方程模型(Simu
9、ltaneous Equations Model) 以线性模型为主要形式,经典计量经济学模型设定理论可以概括为: 依据某种已经存在的经济理论或者已经提出的对经济行为规律的某种解释设定模型的总体结构和个体结构,即模型是建立在已有的经济理论和经济行为规律假设的基础之上的; 引进概率论思想作为模型研究的方法论基础,选择随机联立线性方程组作为模型的一般形式; 模型的识别、参数的估计、模型的检验是主要的技术问题; 以模型对样本数据的拟合优度作为检验模型的主要标准。,对经典计量经济学模型的批判Lucas批判 Lucas(1976)、Sarget(1976)、Sims(1980) Lucas(1976):
10、使用计量经济模型预测未来经济政策的变化所产生的效用是不可信的。其实质是提出了结构模型模型参数是否随时间变化的问题。 Sarget(1976):以货币政策为例,重新解析了Lucas批判。结构模型对于评价政策似乎是无能为力的。 Sims(1980):为使结构方程可以识别而施加了许多约束,这些约束是不可信的。建议采用向量自回归(VAR)模型而避免结构约束问题。 关于模型设定:经济学理论不足以指导如何设定模型,以及保证模型设定的正确性。,对经典计量经济学模型的批判的背景 20世纪70年代的世界经济 滞涨 石油危机 利率自由化 管理浮动汇率 关于宏观经济政策有效性的争论 以弗里德曼为代表货币主义的固定规
11、则 以卢卡斯、萨金特、华莱士等为代表新古典宏观经济学第一代的货币政策无效 以基德兰德、普利斯科特等为代表新古典宏观经济学第二代的财政政策无效 新凯恩斯主义的货币政策连续性,非经典计量经济学一般指20世纪70年代末以来发展的计量经济学理论、方法及应用模型,也称为现代计量经济学。 非经典计量经济学主要包括: 微观计量经济学(Microeconometrics) 非参数计量经济学(Nonparametric Econometrics) 时间序列计量经济学(Time-Series Econometrics ) Panel Data Econometrics 动态计量经济学(Dynamic Econom
12、etrics),本课程以经典计量经济学为主,适当引入一些简单的、应用较多的现代计量经济学理论方法。理由: 一方面,从理论方法角度,经典计量经济学理论方法是非经典计量经济学理论方法的基础; 另一方面,从应用的角度,经典计量经济学模型仍然是目前应用最为普遍的计量经济学模型。,经济研究1984-2004年发表的计量经济学应用研究论文中,经典单方程模型占64%,AER 1984-2004年发表的计量经济学应用研究论文中,经典单方程模型占80%, 微观计量经济学和宏观计量经济学,微观计量经济学 于2000年诺贝尔经济学奖公报中正式提出。 集中于“对个人和家庭的经济行为进行经验分析”。 “原材料是微观数据
13、”,微观数据表现为截面数据和penal数据。 赫克曼(J.Heckman)和麦克法登(D.McFaddan) 作出原创性贡献。 内容主要包括penal数据模型的理论方法、离散选择模型的理论方法、选择性样本模型的理论方法。,宏观计量经济学名称由来已久,但是它的主要内容和研究方向发生了变化。 经典宏观计量经济学:利用计量经济学理论方法,建立宏观经济模型,对宏观经济进行分析、评价和预测。 现代宏观计量经济学的主要研究方向:单位根检验、协整理论以及动态计量经济学。,四、计量经济学是一门经济学科,从计量经济学的定义看 从计量经济学在西方国家经济学科中的地位看 从计量经济学与数理统计学的区别看 从建立与应
14、用计量经济学模型的全过程看 从诺贝尔经济学奖看,诺贝尔经济学奖与计量经济学,61位获奖者中10位直接因为对计量经济学发展的贡献而获奖 1969 R. Frish J. Tinbergen 1973 W. Leotief 1980 L. R. Klein 1984 R. Stone 1989 T. Haavelmo 2000 J. J. Heckman D. L. McFadden 2003 R. F. Engle C. W. J. Granger 近20位担任过世界计量经济学会会长 30余位左右在获奖成果中应用了计量经济学,经典计量经济学,创立,建立第1个应用模型,建立概率论基础,发展数据基础
15、,发展应用模型,Tinbergen,Frisch,Haavelmo,Stone,Klein,建立投入产出模型,Leontief,非 经典计量经济学,微观计量: 选择性样本模型,微观计量: 离散选择模型,时间序列: 协整理论现代宏观计量,时间序列: ARCH现代金融计量,Engle,Heckman,McFadden,Granger,1.2 建立计量经济学模型的步骤和要点,一、理论模型的设计 二、样本数据的收集 三、模型参数的估计 四、模型的检验 五、计量经济学模型成功的三要素,一、理论模型的建立,建立理论模型包括4项任务: 确定模型包含的变量 确定模型的数学形式 确定随机扰动项的概率分布特性 拟
16、定模型中待估计参数的理论期望值区间 Y为被解释变量(explained or dependent variable) X为解释变量(explanatory or independent variables), 确定模型包含的变量 在确定了被解释变量后,如何选择和选择哪些解释变量? 依据经济学理论理论导向。 经济学理论的“理性” 、“最优”实际经济活动的非理性、非最优。 经济学理论强调“简单”计量经济学模型强调“一般” 。 对于同一个研究对象,不同的研究者依据不同的先验理论,就会设定不同的模型。 模型具有结构关系不变性。 破坏了模型随机扰动项的“源生性” 。,在时间序列数据样本下可以应用协整检验
17、、Granger因果统计检验等方法数据导向。 例如,消费总额和GDP之间的协整分析,金融深化与经济发展之间的因果关系。 经济关系与数据关系的不对称性:数据关系只是经济关系的必要条件,不是充分条件。 分析经济活动中的动力学关系关系论导向。 从关系论的角度看,主体的任何行为,都应在主体和其身处的环境之间寻找原因。 经济主体与其身处的环境之间的动力学过程,是真正的数据生成过程。,不遗漏显著的变量。 从“一般”开始,逐渐剔除不显著变量; 从“简单”开始,逐渐引入其它变量。 前者思路正确,后者容易遗漏显著的变量。 考虑数据的可得性。 注意因素和变量之间的联系与区别。 考虑入选变量之间的关系。 要求变量间
18、互相独立。, 确定模型的数学形式 利用经济学和数理经济学的成果 根据样本数据作出的变量关系图 选择可能的形式试模拟 拟定模型中待估计参数的理论期望值区间 符号、大小、 关系 例如:ln(人均食品需求量)=+ln(人均收入) +ln(食品价格) +ln(其它商品价格)+ 其中 、的符号、大小、 关系,以下的讨论仅以经典多元线性回归模型(Classical Multiple Linear Regression Model)为对象:,二、样本数据的收集, 几类常用的样本数据 Cross-sectional Data Time-series Data Panel Data,Cross-sectiona
19、l Data,Stochastic Sampling Data 经典计量模型理论以该类数据为基础 Limited Sampling Data Selective Sampling Data Truncation Data Censored Data Duration Data Discrete Data Discrete Choice Data Count Data,对于这些类型的数据,经典模型不再适用。导致微观计量经济学模型方法的发展。,Time-series Data,Stationary Time Series 适合于经典计量模型 Nonstationary Time Series 实际
20、的时间序列往往是非平稳的。 不进行平稳性检验而采用经典模型是主要的错误类型。 导致现代时间序列计量经济学的发展,Panel Data,只有在特殊情况下适合采用经典计量模型。 不经过检验而滥用经典模型是主要的错误类型之一。 形成了独立的计量经济学分支。, 数据质量 完整性 准确性 可比性 一致性,三、模型参数的估计, 各种模型参数估计方法 LS, Least Squares Estimation OLS, GLS, 2SLS, 3SLS NLS ML, Maximum Likelihood Estimation ML, LIML, FILM MM, Method of Moments IV, G
21、MM, 如何选择模型参数估计方法 需要对模型进行识别和检验,然后确定估计方法 关于应用软件的使用 课堂教学结合Eviews 能够熟练使用一种,四、模型的检验, 经济意义检验 根据拟定的符号、大小、关系,对参数估计结果的可靠性进行判断。例如: ln(人均食品需求量)=2.00.5ln(人均收入)4.5ln(食品价格) +0.8ln(其它商品价格) ln(人均食品需求量)=2.0+0.5ln(人均收入)4.5ln(食品价格)+0.8ln(其它商品价格) ln(人均食品需求量)=2.0+0.5ln(人均收入)0.8ln(食品价格) +0.8ln(其它商品价格),错! 为什么?, 统计检验 由数理统计
22、理论决定。包括: 拟合优度检验(Coefficient of Determination) 总体显著性检验(Overall Significance of Regression) 变量显著性检验(Significance of Variables) 计量经济学检验 由计量经济学理论决定。包括: 异方差性检验(Heteroskedasticity) 序列相关性检验(Serial Correlation) 共线性检验(Multi-collinearity), 模型预测检验 由模型的应用要求决定。包括: 稳定性检验:扩大样本重新估计 预测性能检验:对样本外一点进行实际预测,五、计量经济学模型成功的三
23、要素,理论 数据 方法,1.3 计量经济学模型的应用,一、结构分析 二、经济预测 三、政策评价 四、理论检验与发展,一、结构分析,经济学中的结构分析是对经济现象中变量之间相互关系的研究。 结构分析所采用的主要方法是弹性分析、乘数分析与比较静力分析。 计量经济学模型的功能是揭示经济现象中变量之间的相互关系,即通过模型得到弹性、乘数等。 前提是模型设定和统计推断都是正确的。,二、经济预测,计量经济学模型作为一类经济数学模型,是从用于经济预测,特别是短期预测而发展起来的。 计量经济学模型是以模拟历史、从已经发生的经济活动中找出变化规律为主要技术手段。 对于非稳定发展的经济过程,对于缺乏规范行为理论的
24、经济活动,计量经济学模型预测功能失效。 模型理论方法的发展以适应预测的需要。 经济预测不应该成为计量经济学模型的主要应用领域。,三、政策评价,经济政策不能实验,计量经济学模型的“经济政策实验室”的功能所能够产生的效用是巨大的。 只要求“相对性”结果,模型系统性偏差并不出现在比较的结果中。 政策评价应该成为计量经济学模型的主要应用领域。,四、理论检验与发展,实践是检验真理的唯一标准。 任何经济学理论,只有当它成功地解释了过去,才能为人们所接受。 计量经济学模型提供了一种检验经济理论的好方法。 对理论假设的检验可以发现和发展理论。 正确理解“证伪”和“证实”的不对称性。,从经济研究发文看计量经济学
25、模型方法的应用:结构分析是其最主要的功能,从经济研究发文看计量经济学模型方法的应用:结构分析是其最主要的功能,第二章 经典单方程计量经济学模型: 一元线性回归模型 The Classical Single Equation Econometric Model: Simple Linear Regression Model,本章内容,回归分析概述 一元线性回归模型的基本假设 一元线性回归模型的参数估计 一元线性回归模型的检验 一元线性回归模型的预测 实例及时间序列问题,2.1 回归分析概述 (Regression Analysis),一、变量间的关系及回归分析的基本概念 二、总体回归函数 三、随
26、机扰动项 四、样本回归函数,一、变量间的关系及回归分析 的基本概念,1、变量间的关系,确定性关系或函数关系:研究的是确定性现象非随机变量间的关系。,统计依赖或相关关系:研究的是非确定性现象随机变量间的关系。,对变量间统计依赖关系的考察主要是通过相关分析(correlation analysis)或回归分析(regression analysis)来完成的。 相关分析适用于所有统计关系。 相关系数(correlation coefficient) 正相关(positive correlation) 负相关(negative correlation) 不相关(non-correlation) 回归
27、分析仅对存在因果关系而言。,注意: 不存在线性相关并不意味着不相关。 存在相关关系并不一定存在因果关系。 相关分析对称地对待任何(两个)变量,两个变量都被看作是随机的。 回归分析对变量的处理方法存在不对称性,即区分应变量(被解释变量)和自变量(解释变量),前者是随机变量,后者不一定是。,2、回归分析的基本概念,回归分析(regression analysis)是研究一个变量关于另一个(些)变量的具体依赖关系的计算方法和理论。 其目的在于通过后者的已知或设定值,去估计和(或)预测前者的(总体)均值。 两类变量; 被解释变量(Explained Variable)或应变量(Dependent Va
28、riable)。 解释变量(Explanatory Variable)或自变量(Independent Variable)。,关于变量的术语 Explained Variable(被解释变量) Explanatory Variable(解释变量) Dependent Variable(因变量, 应变量) Independent Variable(自变量) Endogenous Variable(内生变量) Exogenous Variable(外生变量) Response Variable(反应变量, 应变量) Control Variable(控制变量) Predicted Variable
29、(被预测变量) Predictor Variable(预测变量) Regressand(回归值) Regressor(回归因子),回归分析构成计量经济学的方法论基础,其主要内容包括: 根据样本观察值对经济计量模型参数进行估计,求得回归方程; 对回归方程、参数估计值进行显著性检验; 利用回归方程进行分析、评价及预测。,二、总体回归函数 Population Regression Function, PRF,1、条件均值(conditional mean),例2.1.1:一个假想的社区有99户家庭组成,欲研究该社区每月家庭消费支出Y与每月家庭可支配收入X的关系。 即如果知道了家庭的月收入,能否预测
30、该社区家庭的平均月消费支出水平。 为达到此目的,将该99户家庭划分为组内收入差不多的10组,以分析每一收入组的家庭消费支出。,由于不确定因素的影响,对同一收入水平X,不同家庭的消费支出不完全相同; 但由于调查的完备性,给定收入水平X的消费支出Y的分布是确定的,即以X的给定值为条件的Y的条件分布(Conditional distribution)是已知的,例如:P(Y=561|X=800)=1/4。 因此,给定收入X的值Xi,可得消费支出Y的条件均值(conditional mean)或条件期望(conditional expectation):E(Y|X=Xi)。 该例中:E(Y | X=80
31、0)=605,描出散点图发现:随着收入的增加,消费“平均地说”也在增加,且Y的条件均值均落在一根正斜率的直线上。,2、总体回归函数,在给定解释变量Xi条件下被解释变量Yi的期望轨迹称为总体回归线(population regression line),或更一般地称为总体回归曲线(population regression curve)。 相应的函数称为(双变量)总体回归函数(population regression function, PRF)。,含义:回归函数(PRF)说明被解释变量Y的平均状态(总体条件期望)随解释变量X变化的规律。 函数形式:可以是线性或非线性的。 例2.1.1中,将居
32、民消费支出看成是其可支配收入的线性函数时:,为线性函数。其中,0,1是未知参数,称为回归系数(regression coefficients)。,三、随机扰动项 Stochastic Disturbance,总体回归函数说明在给定的收入水平Xi下,该社区家庭平均的消费支出水平。 但对某一个别的家庭,其消费支出可能与该平均水平有偏差。 称为观察值围绕它的期望值的离差(deviation),是一个不可观测的随机变量,又称为随机干扰项(stochastic disturbance)或随机误差项(stochastic error)。,例2.1.1中,给定收入水平Xi ,个别家庭的支出可表示为两部分之和
33、: 该收入水平下所有家庭的平均消费支出E(Y|Xi),称为系统性(systematic)或确定性(deterministic)部分; 其他随机或非确定性(nonsystematic)部分i。,称为总体回归函数(PRF)的随机设定形式。表明被解释变量除了受解释变量的系统性影响外,还受其他因素的随机性影响。由于方程中引入了随机项,成为计量经济学模型,因此也称为总体回归模型(PRM)。,随机误差项主要包括下列因素: 在解释变量中被忽略的因素的影响; 影响不显著的因素 未知的影响因素 无法获得数据的因素 变量观测值的观测误差的影响; 模型关系的设定误差的影响; 其它随机因素的影响。,关于随机项的说明:
34、 将随机项区分为“源生的随机扰动”和“衍生的随机误差”。 “源生的随机扰动”仅包含无数对被解释变量影响不显著的因素的影响,服从极限法则(大数定律和中心极限定理),满足基本假设。 “衍生的随机误差”包含上述所有内容,并不一定服从极限法则,不一定满足基本假设。 在9.3中将进一步讨论。,四、样本回归函数 Sample Regression Function, SRF,1、样本回归函数,问题:能否从一次抽样中获得总体的近似信息?如果可以,如何从抽样中获得总体的近似信息? 在例2.1.1的总体中有如下一个样本,能否从该样本估计总体回归函数?,回答:能,该样本的散点图(scatter diagram):
35、,画一条直线以尽好地拟合该散点图,由于样本取自总体,可以该直线近似地代表总体回归线。该直线称为样本回归线(sample regression lines)。,样本回归线的函数形式为:,称为样本回归函数(sample regression function,SRF)。,注意:这里将样本回归线看成总体回归线的近似替代,则,2、样本回归模型,样本回归函数的随机形式:,由于方程中引入了随机项,成为计量经济模型,因此也称为样本回归模型(sample regression model)。,回归分析的主要目的:根据样本回归函数SRF,估计总体回归函数PRF。,2.2 一元线性回归模型的基本假设 (Assum
36、ptions of Simple Linear Regression Model),一、关于模型设定的假设 二、关于解释变量的假设 三、关于随机项的假设,说明,为保证参数估计量具有良好的性质,通常对模型提出若干基本假设。 实际上这些假设与所采用的估计方法紧密相关。 下面的假设主要是针对采用普通最小二乘法(Ordinary Least Squares, OLS)估计而提出的。所以,在有些教科书中称为“The Assumption Underlying the Method of Least Squares”。 在不同的教科书上关于基本假设的陈述略有不同,下面进行了重新归纳。,1、关于模型关系的假
37、设,模型设定正确假设。The regression model is correctly specified. 线性回归假设。The regression model is linear in the parameters。,注意:“linear in the parameters”的含义是什么?,2、关于解释变量的假设,确定性假设。X values are fixed in repeated sampling. More technically, X is assumed to be nonstochastic. 注意:“in repeated sampling”的含义是什么? 与随机项不相
38、关假设。The covariances between Xi and i are zero.,由确定性假设可以推断。,观测值变化假设。X values in a given sample must not all be the same. 无完全共线性假设。There is no perfect multicollinearity among the explanatory variables. 适用于多元线性回归模型。 样本方差假设。随着样本容量的无限增加,解释变量X的样本方差趋于一有限常数。,时间序列数据作样本时间适用,3、关于随机项的假设,0均值假设。The conditional me
39、an value of i is zero.,同方差假设。The conditional variances of i are identical.(Homoscedasticity),由模型设定正确假设推断。,是否满足需要检验。,序列不相关假设。The correlation between any two i and j is zero.,是否满足需要检验。,4、随机项的正态性假设,在采用OLS进行参数估计时,不需要正态性假设。在利用参数估计量进行统计推断时,需要假设随机项的概率分布。 一般假设随机项服从正态分布。可以利用中心极限定理(central limit theorem, CLT)
40、进行证明。 正态性假设。The s follow the normal distribution.,5、CLRM 和 CNLRM,以上假设(正态性假设除外)也称为线性回归模型的经典假设或高斯(Gauss)假设,满足该假设的线性回归模型,也称为经典线性回归模型(Classical Linear Regression Model, CLRM)。 同时满足正态性假设的线性回归模型,称为经典正态线性回归模型(Classical Normal Linear Regression Model, CNLRM)。,2.3 一元线性回归模型的参数估计 (Estimation of Simple Linear R
41、egression Model),一、参数的普通最小二乘估计(OLS) 二、参数估计的最大或然法(ML) 三、最小二乘估计量的性质 四、参数估计量的概率分布及随机干 扰项方差的估计,一、参数的普通最小二乘估计(OLS),1、最小二乘原理,根据被解释变量的所有观测值与估计值之差的平方和最小的原则求得参数估计量。,为什么取平方和?,2、正规方程组(标准方程组),该关于参数估计量的线性方程组称为正规方程组(normal equations),或标准方程组。,3、参数估计量,求解正规方程组得到结构参数的普通最小二乘估计量(ordinary least squares estimators)及其离差形式
42、:,分布参数的普通最小二乘估计量,4、“估计量”(estimator)和“估计值” (estimate)的区别,如果给出的参数估计结果是由一个具体样本资料计算出来的,它是一个“估计值”,或者“点估计”,是参数估计量的一个具体数值; 如果把上式看成参数估计的一个表达式,那么,则是Yi的函数,而Yi是随机变量,所以参数估计也是随机变量,在这个角度上,称之为“估计量”。,二、参数估计的最大似然法(ML),1、最大似然法,最大似然法(Maximum Likelihood,ML),也称最大或然法,是不同于最小二乘法的另一种参数估计方法,是从最大或然原理出发发展起来的其它估计方法的基础。 基本原理:当从模
43、型总体随机抽取n组样本观测值后,最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。 ML必须已知随机项的分布。,2、估计步骤,Yi的分布,Yi的概率函数,Y的所有样本观测值的联合概率似然函数,对数似然函数,对数似然函数极大化的一阶条件,结构参数的ML估计量,3、讨论,在满足一系列基本假设的情况下,模型结构参数的最大似然估计量与普通最小二乘估计量是相同的。 但是,分布参数的估计结果不同。,三、最小二乘估计量的性质,1、概述,当模型参数估计出后,需考虑参数估计值的精度,即是否能代表总体参数的真值,或者说需考察参数估计量的统计性质。 准则: 线性性(linear),即它是否是另一随机
44、变量的线性函数; 无偏性(unbiased),即它的均值或期望值是否等于总体的真实值; 有效性(efficient),即它是否在所有线性无偏估计量中具有最小方差。 这三个准则也称作估计量的小样本性质。拥有这类性质的估计量称为最佳线性无偏估计量(best liner unbiased estimator, BLUE)。,当不满足小样本性质时,需进一步考察估计量的大样本或渐近性质(asymptotic properties): 渐近无偏性,即样本容量趋于无穷大时,是否它的均值序列趋于总体真值; 一致性,即样本容量趋于无穷大时,它是否依概率收敛于总体的真值; 渐近有效性,即样本容量趋于无穷大时,是否
45、它在所有的一致估计量中具有最小的渐近方差。,2、高斯马尔可夫定理(Gauss-Markov theorem),在给定经典线性回归的假定下,最小二乘估计量是具有最小方差的线性无偏估计量。 下面分别对最小二乘估计量的线性性、无偏性和有效性进行证明,作为不熟悉的同学的自学内容。,证:,易知,故,同样地,容易得出,(2)证明最小方差性,其中,ci=ki+di,di为不全为零的常数 则容易证明,由于最小二乘估计量拥有一个“好”的估计量所应具备的小样本特性,它自然也拥有大样本特性。,四、参数估计量的概率分布及随机干扰项方差的估计,1、参数估计量的概率分布,2、随机误差项的方差2的估计,2又称为总体方差。
46、由于随机项i不可观测,只能从i的估计残差ei出发,对总体方差进行估计。,可以证明,2的最小二乘估计量为:,它是关于2的无偏估计量。,在最大或然估计法中,求解似然方程:,2的最大或然估计量不具无偏性,但却具有一致性。,2.4 一元线性回归模型的统计检验 Statistical Test of Simple Linear Regression Model,一、拟合优度检验 二、变量的显著性检验 三、参数的置信区间,说 明,回归分析是要通过样本所估计的参数来代替总体的真实参数,或者说是用样本回归线代替总体回归线。 尽管从统计性质上已知,如果有足够多的重复 抽样,参数的估计值的期望(均值)就等于其总体
47、的参数真值,但在一次抽样中,估计值不一定就等于该真值。 那么,在一次抽样中,参数的估计值与真值的差异有多大,是否显著,这就需要进一步进行统计检验。 主要包括拟合优度检验、变量的显著性检验及参数的区间估计。,一、拟合优度检验 Goodness of Fit, Coefficient of Determination,1、回答一个问题,拟合优度检验:对样本回归直线与样本观测值之间拟合程度的检验。 问题:采用普通最小二乘估计方法,已经保证了模型最好地拟合了样本观测值,为什么还要检验拟合程度?,2、总离差平方和的分解,Y的i个观测值与样本均值的离差,由回归直线解释的部分,回归直线不能解释的部分,离差分
48、解为两部分之和,对于所有样本点,则需考虑离差的平方和:,记,总体平方和(Total Sum of Squares),回归平方和(Explained Sum of Squares),残差平方和(Residual Sum of Squares ),TSS=ESS+RSS,Y的观测值围绕其均值的总离差(total variation)可分解为两部分:一部分来自回归线(ESS),另一部分则来自随机势力(RSS)。,在给定样本中,TSS不变, 如果实际观测点离样本回归线越近,则ESS在TSS中占的比重越大,因此 拟合优度:回归平方和ESS/Y的总离差TSS,3、可决系数R2统计量,是一个非负的统计量。取
49、值范围:0,1 越接近1,说明实际观测点离回归线越近,拟合优度越高。 随着抽样的不同而不同。为此,对可决系数的统计可靠性也应进行检验,这将在第3章中进行。,二、变量的显著性检验 Testing Significance of Variable,说明,在一元线性模型中,变量的显著性检验就是判断X是否对Y具有显著的线性性影响。 变量的显著性检验所应用的方法是数理统计学中的假设检验。 通过检验变量的参数真值是否为零来实现显著性检验。,1、假设检验(Hypothesis Testing),所谓假设检验,就是事先对总体参数或总体分布形式作出一个假设,然后利用样本信息来判断原假设是否合理,即判断样本信息与原假设是否有显著差异,从而决定是否接受或否定原假设。 假设检验采用的逻辑推理方法是反证法。先假定原假设正确,然后根据样本信息,观察由此假设而导致的结果是否合理,从而判断是否接受原假设。 判断结果合理与否,是基于“小概率事件不易发生”这
链接地址:https://www.31doc.com/p-2992217.html