三章回归分析概要.ppt
《三章回归分析概要.ppt》由会员分享,可在线阅读,更多相关《三章回归分析概要.ppt(58页珍藏版)》请在三一文库上搜索。
1、第三章 回归分析概要 第一节、经典线性回归模型 第二节、普通最小二乘估计和最大似然估计 第三节、假设检验 第四节、置信区间 1 第一节 经典线性回归模型 一、函数关系和统计关系 (一)函数关系是一一对应的确定性关 系。(举例见教材) (二)统计关系是不完全一致的对应关 系。(举例见教材) 二、理论模型和回归模型 Y=f(X1,X2,Xp) Y=f(X1,X2,Xk; ) 2 三、随机误差和系统误差 1、随机误差:是由随机因素形成的误差。 所 谓随机因素,是指那些对被解释变量的作用不 显著,其作用方向不稳定(时正时负),在重 复试验中,正作用与负作用可以相互抵消的因 素。 2、系统误差:由系统因
2、素形成的误差。所谓 系统因素,是指那些对被解释变量的作用较显 著,其作用方向稳定,重复试验也不可能相互 抵消的因素。 3 四、线性回归模型和非线性回归模型 分类的标准:回归模型的期望函数关于 参数的倒数是否与参数有关。即期望函 数的一阶导函数是否仍然是关于参数的 函数。如果导函数不是关于参数的函数 ,即参数是线性的,则称该回归模型是 线性回归模型;反之,则称该回归模型 是非线性回归模型。 4 五、回归模型的矩阵方法和随 机矩阵 5 6 7 8 9 六、经典线性回归模型及其 假设条件 一、有正确的期望函数。 它要求在线性回归模型中没有遗漏任何重 要的解释变量,也没有包含任何多余的解释变 量。 二
3、、被解释变量等于期望函数与随机干扰项之 和。 三、随机干扰项独立于期望函数。即所有解释 变量Xj与随机干扰项u不相关。 四、解释变量矩阵X是非随机矩阵,且其秩为 列满秩的,即rank(X)k。 10 五、随机干扰项服从正态分布。该假设 给出了被解释变量的概率分布。 六、随机干扰项的期望值为0。即: E(u)0 七、随机干扰项具有方差齐性。即: 八、随机干扰项相互独立。 11 第二节 模型参数的估计 一、普通最小二乘法 (OLS估计) 通过协方差或相关系数证实变量之间存在关系,仅仅 只是知道变量之间线性相关的性质正(负)相关 和相关程度的大小。 既然它们之间存在线性关系,接下来必须探求它们之 间
4、关系的表现形式是什么? 最好用数学表达式将这种关系尽可能准确、严谨的表 示出来y=a+bx+u把它们之间的内在联系挖掘 出来。也就是直线中的截距a=?;直线的斜率b=? 消费支出=基本生存+边际消费倾向可支配收入+随机 扰动 12 解决问题的思路可能性 寻找变量之间直线关系的方法多多。于是,再接下 来则是从众多方法中,寻找一种优良的方法,运用 方法去求出线性模型y=a+bx+u中的截距a=?; 直线的斜率b=?正是是本章介绍的最小二乘法。 根据该方法所得,即表现变量之间线性关系的直线 有些什么特性? 所得直线可靠吗?怎样衡量所得直线的可靠性? 最后才是如何运用所得规律变量的线性关系? 13 最
5、小二乘法产生的历史 最小二乘法最早称为回归分析法。由著 名的英国生物学家、统计学家道尔顿( F.Gallton)达尔文的表弟所创。 早年,道尔顿致力于化学和遗传学领域 的研究。 他研究父亲们的身高与儿子们的身高之 间的关系时,建立了回归分析法。 14 最小二乘法的地位与作用 现在回归分析法已远非道尔顿的本意 已经成为探索变量之间关系最重要的方 法,用以找出变量之间关系的具体表现 形式。 后来,回归分析法从其方法的数学原理 误差平方和最小(平方乃二乘也) 出发,改称为最小二乘法。 15 父亲们的身高与儿子们的身高之间 关系的研究 1889年F.Gallton和他的朋友K.Pearson收 集了上
6、千个家庭的身高、臂长和腿长的 记录 企图寻找出儿子们身高与父亲们身高之 间关系的具体表现形式 下图是根据1078个家庭的调查所作的散 点图(略图) 16 160 165 170 175 180 185 140150160170180190200 Y X 儿子们身高向着平均身高“回归”,以保持种族的稳定 17 “回归”一词的由来 从图上虽可看出,个子高的父亲确有生出个子 高的儿子的倾向,同样地,个子低的父亲确有 生出个子低的儿子的倾向。得到的具体规律如 下: 如此以来,高的伸进了天,低的缩入了地。他 百思不得其解,同时又发现某人种的平均身高 是相当稳定的。最后得到结论:儿子们的身高 回复于全体男
7、子的平均身高,即“回归”见 1889年F.Gallton的论文普用回归定律。 后人将此种方法普遍用于寻找变量之间的规律 18 最小二乘法的思路 1为了精确地描述Y与X之间的关系,必须使 用这两个变量的每一对观察值,才不至于以点 概面(作到全面)。 2Y与X之间是否是直线关系(协方差或相关 系数)?若是,将用一条直线描述它们之间的 关系。 3在Y与X的散点图上画出直线的方法很多。 任务?找出一条能够最好地描述Y与X( 代表所有点)之间的直线。 4什么是最好?找出判断“最好”的原则。 最好指的是找一条直线使得这些点到该直线的 纵向距离的和(平方和)最小。 19 三种距离 y x 纵向距离 横向距离
8、 距离 A为实际点,B为拟 合直线上与之对应 的点 20 距离是度量实际值与拟合值 是否相符的有效手段 点到直线的距离点到直线的垂直线 的长度。 横向距离点沿(平行)X轴方向到直 线的距离。 纵向距离点沿(平行)Y轴方向到直 线的距离。也就是实际观察点的Y坐标减 去根据直线方程计算出来的Y的拟合值。 这个差数以后称为误差残差(剩余 )。 21 最小二乘法的数学原理 纵向距离是Y的实际值与拟合值之差,差 异大拟合不好,差异小拟合好,所以又 称为拟合误差或残差。 将所有纵向距离平方后相加,即得误差 平方和,“最好”直线就是使误差平方和 最小的直线。 于是可以运用求极值的原理,将求最好 拟合直线问题
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 章回 分析 概要
链接地址:https://www.31doc.com/p-2626001.html