最小二乘法线性详细说明.ppt
《最小二乘法线性详细说明.ppt》由会员分享,可在线阅读,更多相关《最小二乘法线性详细说明.ppt(45页珍藏版)》请在三一文库上搜索。
1、1,最小二乘法线性详细说明,2,在处理数据时,常要把实验获得的一系列数据点描成曲线表反映物理量间的关系。为了使曲线能代替数据点的分布规律,则要求所描曲线是平滑的,既要尽可能使各数据点对称且均匀分布在曲线两侧。由于目测有误差,所以,同一组数据点不同的实验者可能描成几条不同的曲线(或直线),而且似乎都满足上述平滑的条件。那么,究竟哪一条是最曲线呢?这一问题就是“曲线拟合”问题。一般来说,“曲线拟合”的任务有两个:,3,一 是物理量y与x间的函数关系已经确定,只有其中的常数未定(及具体形式未定)时,根据数据点拟合出各常数的最佳值。 二 是在物理量y与x间函数关系未知时,从函数点拟合出y与x函数关系的
2、经验公式以及求出各个常数的最佳值。,4,解决问题的办法,寻找变量之间直线关系的方法很多。于是,再接下来则是从众多方法中,寻找一种优良的方法,运用方法去求出线性模型y=a+bx+u中的截距a= ?;直线的斜率b= ? 正是是本章介绍的最小二乘法。 所得直线可靠吗?怎样衡量所得直线的可靠性? 最后才是如何运用所得规律变量的线性关系?,5,最小二乘法产生的历史,最小二乘法最早称为回归分析法。由著名的英国生物学家、统计学家道尔顿(F.Gallton)达尔文的表弟所创。 早年,道尔顿致力于化学和遗传学领域的研究。 他研究父亲们的身高与儿子们的身高之间的关系时,建立了回归分析法。,6,父亲的身高与儿子的身
3、高之间关系的研究,1889年F.Gallton和他的朋友K.Pearson收集了上千个家庭的身高、臂长和腿长的记录 企图寻找出儿子们身高与父亲们身高之间关系的具体表现形式 下图是根据1078个家庭的调查所作的散点图(略图),7,从图上虽可看出,个子高的父亲确有生出个子高的儿子的倾向,同样地,个子低的父亲确有生出个子低的儿子的倾向。得到的具体规律如下: 如此以来,高的伸进了天,低的缩入了地。他百思不得其解,同时又发现某人种的平均身高是相当稳定的。最后得到结论:儿子们的身高回复于全体男子的平均身高,即“回归”见1889年F.Gallton的论文普用回归定律。 后人将此种方法普遍用于寻找变量之间的规
4、律,8,最小二乘法的地位与作用,现在回归分析法已远非道尔顿的本意,已经成为探索变量之间关系最重要的方法,用以找出变量之间关系的具体表现形式。 后来,回归分析法从其方法的数学原理误差平方和最小出发,改称为最小二乘法。,9,最小二乘法的思路,1为了精确地描述Y与X之间的关系,必须使用这两个变量的每一对观察值,才不至于以点概面。 2Y与X之间是否是直线关系(协方差或相关系数)?若是,将用一条直线描述它们之间的关系。 3什么是最好?找出判断“最好”的原则。 最好指的是找一条直线使得这些点到该直线的纵向距离的和(平方和)最小。,第一节 一元线性拟合,11,1.已知函数为线性关系,其形式为: y=a+bx
5、 (1) 式中a, b为要用实验数据确定的常数。此类方程叫线性回归方程,方程中的待定常数a, b叫线性回归系数。 由实验测得的数据是 x= x1, x2,. xn 时, 对应的y值是y= y1,y2,.yn,1. 函数形式已知,数学推证过程,12,由于实验数据总是存在着误差,所以,把各组数据代入(1)式中,两边并不相等。相应的作图时,数据点也并不能准确地落在公式对应的直线上,如图所示。由图一还可以看出第i个数据点与直线的偏差为: (1) 如果测量时,使x较之y的偏差很小,以致可以忽略(即xi很小 )时,我们可以认为x的测量是准确的,而数据的偏差,主要是y的偏差,因而有: ,13,我们的目的是根
6、据数据点确定回归常数a和b,并且希望确定的a和b能使数据点尽量靠近直线能使v尽量的小。由于偏差v大小不一,有正有负,所以实际上只能希望总的偏差( )最小。 所谓最小二乘法就是这样一个法则,按照这个法则,最好地拟合于各数据点的最佳曲线应使各数据点与曲线偏差的平方和为最小。,14,首先,求偏差平方和,将式两边平方后相加,得: 显然, 是a, b的函数。按最小二乘法,当a, b选择适当,能使为最小时y=a+bx才是最佳曲线。,由最小二乘法确定a和b,15,根据二元函数求极值法,把式对a和b分别求出偏导数。得:,16,令等于零,得: 解方程,得: ,17,公式式中: 从不难求出对a, b的二阶偏导数为
7、:,18,所以式求出的a, b可使为极小值。因而由a, b所确定的曲线y=a+bx就是用最小二乘法拟合的最佳曲线。 由于已知函数形式为非线性时,可用变量代换法“曲线改直”使函数变为线性关系,因而最小二乘法就有更普遍的意义。,19,2. 经验公式的线性回归函数形式未知,由于经验公式的函数形式是未知的,因而恰当地选择经验公式的函数形式就成了曲线拟合中的重要问题。 在进行经验公式的回归时,必须先确定函数的形式。确定函数形式一般是根据理论的推断或者从实验数据的变化趋势来推测判断。 如根据实验得到的一组数据 (或其在x y坐标上的数据点)初步判断经验公式为线性关系时,即可用最小二乘法按,式求出b, a值
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 最小二乘法 线性 详细 说明
链接地址:https://www.31doc.com/p-3408934.html