模式识别课程讲义(李君宝)3. 概率密度函数估计-3学时.ppt
《模式识别课程讲义(李君宝)3. 概率密度函数估计-3学时.ppt》由会员分享,可在线阅读,更多相关《模式识别课程讲义(李君宝)3. 概率密度函数估计-3学时.ppt(70页珍藏版)》请在三一文库上搜索。
1、,哈尔滨工业大学,主讲人:李君宝,第3章 概率密度函数估计,主要内容,引言 参数估计 正态分布的参数估计 非参数估计 EM算法(期望最大化算法) 本章小结,引言,【引言】,【引言】,【引言】,【引言】,【引言】,【引言】,参数估计,【参数估计】,【最大似然估计】,【最大似然估计】,【最大似然估计】,【最大似然估计】,【最大似然估计】,【最大似然估计】,【最大似然估计】,【最大似然估计】,例子(梯度法不适合):,不成功!,【贝叶斯估计】,【贝叶斯估计】,【举例】,假设,结论:,【贝叶斯估计】,【贝叶斯学习】,【三种方法总结】,【三种方法总结】,正态分布的参数估计,【最大似然估计】,【最大似然估计
2、】,单元正态分布:,多元正态分布:,【贝叶斯估计】,【贝叶斯估计】,非参数估计,【基本思想】,令R是包含样本点x的一个区域,其体积为V,设有n个训练样本,其中有k个落在区域R中,则可对概率密度作出一个估计:,相当于用R区域内的平均性质来作为一点x的估计,是一种数据的平滑。,【基本思想】,当n固定时,V的大小对估计的效果影响很大,过大则平滑过多,不够精确;过小则可能导致在此区域内无样本点,k=0。,此方法的有效性取决于样本数量的多少,以及区域体积选择的合适。,构造一系列包含x的区域R1, R2, ,对应n=1,2,,则对p(x)有一系列的估计:,当满足下列条件时,pn(x)收敛于p (x):,P
3、arzen窗法:区域体积V是样本数n的函数,如:,K-近邻法:落在区域内的样本数k是总样本数n的函数,如:,【 Parzen窗法和K-近邻法】,【 Parzen窗法和K-近邻法】,定义窗函数,【 Parzen窗法】,超立方体中的样本数:,【 Parzen窗法】,概率密度估计:,上述过程是一个内插过程,样本xi距离x越近,对概率密度估计的贡献越大,越远贡献越小。 只要满足如下条件,就可以作为窗函数:,【 Parzen窗法】,【 Parzen窗法】,窗函数,hn称为窗的宽度,【 Parzen窗法】,【 Parzen窗法】,保存每个类别所有的训练样本; 选择窗函数的形式,根据训练样本数n选择窗函数的
4、h宽度; 识别时,利用每个类别的训练样本计算待识别样本x的类条件概率密度: 采用Bayes判别准则进行分类。,【 Parzen窗法】,EM (期望最大化)算法,1 EM算法的介绍,2 EM算法依据的理论,3 EM算法的不足和改进的算法,4 EM算法举例,【EM算法】,EM英文叫expectation-maximization,是一种聚类算法。 (即根据给定观察数据自动对数据进行分类) EM算法是Dempster,Laird和Rubin(DLR)三个人在1977年正式提出的,主要是用于在不完全数据的情况下计算最大似然估计。 在EM算法正式提出以来,对EM算法的性质有更加深入的研究,并且在此基础上
5、,提出了很多改进的算法。 EM算法在数理统计,数据挖掘,机器学习以及模式识别等领域有广泛的应用。,【1 EM算法的介绍】,极大拟然估计法 引例:某位同学与一位猎人外出打猎,一只野兔从前方窜过,只听一声枪响,野兔应声倒下,如果要你推测,这一发命中的子弹是谁打的?你就会想,只发一枪便打中,由于猎人命中的概率一般大于这位同学命中的概率,看来这一枪是猎人命中的。 这个例子所作的推断就体现了极大拟然法的基本思想。,【2 EM算法的理论依据】,极大拟然法的定义 观测变量X,针对n个观测样本为( x1,x2,xn),它们之间满足独立同分布 ,参数变量为模型的一系列参数,但是在某些问题中由于存在隐含的随机变量
6、Z,所以,【2 EM算法的理论依据】,EM收敛到最大似然的2种证明,第一种证明是通过不断提高下界的思路来证,更能表达EM的本质;而第二种证明却是我们常在实际中应用EM的思路。 (1) 拆分 (2) 等式两边同乘以q(Z),并对Z求和(积):,【2 EM算法的理论依据】,(3) 由于Z与 独立.且 , 于是, (4) 引入两个函数: 这时, 可以简化为:,【2 EM算法的理论依据】,2、Expectation:依次取观察数据x,比较x在K个高斯函数 中概率的大小,把x归类到这K个高斯中概率最大的一个。,1、用随机函数初始化K个高斯分布的参数,同时保证,EM算法过程:,【2 EM算法的理论依据】,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 模式识别课程讲义李君宝3. 概率密度函数估计-3学时 模式识别 课程 讲义 李君宝 概率 密度 函数 估计 学时
链接地址:https://www.31doc.com/p-3059110.html