第四部分贝叶斯决策理论教学课件.ppt
《第四部分贝叶斯决策理论教学课件.ppt》由会员分享,可在线阅读,更多相关《第四部分贝叶斯决策理论教学课件.ppt(57页珍藏版)》请在三一文库上搜索。
1、第四章 贝叶斯决策理论,贝叶斯分类器 正态分布决策理论 关于分类的错误率分析 最小风险Bayes分类器,Bayes分类器算法和例题 聂曼皮尔逊判别准则 最大最小判别准则 决策树 序贯分类,对x再观察:有细胞光密度特征 ,有类条件概率密度: P(x/ ) =1,2,。如图所示 利用贝叶斯公式 : 通过 对细胞的再观察,就可以把先验概率转化为后验概率,利用后验概率可对未知细胞x进行识别 。,第四章 贝叶斯决策理论,4-1 Bayes分类器最优分类器、最佳分类器 一、两类问题 例如:细胞识别问题 1正常细胞,2异常细胞 某地区,经大量统计获先验概率P(1),P(2)。若取该地区 某人细胞x属何种细胞
2、 ,只能由 先验概率决定。,设N个样本分为两类1,2。每个样本抽出n个特征, x =(x1, x2, x3, xn)T,通过 对细胞的再观察,就可以把先验概率转化为后验概率,利用后验概率可对未知细胞x进行识别 。,1、判别函数: 若已知先验概率P(1),P(2),类条件概率密度P(x/ 1), P(x/ 2)。 则可得贝叶斯判别函数四种形式 :,2、决策规则:,3、决策面方程: x为一维时,决策面为一点,x为二维时决策面为曲线,x为三维时,决策面为曲面,x大于三维时决策面为超曲面。 例:某地区细胞识别; P(1)=0.9, P(2)=0.1 未知细胞x,先从类条件概率密度分布曲线上查到: 解:
3、该细胞属于正常细胞还是异常细胞,先计算后验概率:,P(x/ 1)=0.2, P(x/ 2)=0.4,4、分类器设计:,二、多类情况:=(1,2,m),x=(x1,x2,xn) 1.判别函数:M类有M个判别函数g1(x), g2(x), gm(x).每个判别函数有上面的四种形式。 2.决策规则:,另一种形式:,3、决策面方程: 4、分类器设计:,4-2 正态分布决策理论 一、正态分布判别函数 1、为什么采用正态分布: a、正态分布在物理上是合理的、广泛的。 b、正态分布数学上简单,N(, ) 只有均值和方差两个参数。 2、单变量正态分布:,3、(多变量)多维正态分布 (1)函数形式:,(2)、性
4、质: 、与对分布起决定作用P()=N(, ), 由n个分量组成,由n(n+1)/2元素组成。多维正态分布由n+n(n+1)/2个参数组成。 、等密度点的轨迹是一个超椭球面。区域中心由决定,区域形状由决定。 、不相关性等价于独立性。若xi与xj互不相关,则xi与xj一定独立。 、线性变换的正态性Y=AX,A为线性变换矩阵。若X为正态分布,则Y也是正态分布。 、线性组合的正态性。,判别函数:,最小距离分类器:未知x与i相减,找最近的i把x归类,如果M类先验概率相等:,讨论:,未知x,把x与各类均值相减,把x归于最近一类。最小距离分类器。,2、第二种情况:i 相等,即各类协方差相等。,讨论:针对1,
5、2二类情况,如图:,3、第三种情况(一般情况):为任意,各类协方差矩阵不等,二次项xT x与i有关。所以判别函数为二次型函数。,4-3 关于分类器的错误率分析 1、一般错误率分析:,2、正态分布最小错误率(在正态分布情况下求最小错误率),4-4 最小风险Bayes分类器 假定要判断某人是正常(1)还是肺病患者(2),于是在判断中可能出现以下情况: 第一类,判对(正常正常) 11 ;第二类,判错(正常肺病) 21 ; 第三类,判对(肺病肺病) 22;第四类,判错(肺病正常) 12 。 在判断时,除了能做出“是” i类或“不是” i类的动作以外,还可以做出“拒识”的动作。为了更好地研究最小风险分类
6、器,我们先说明几个概念:,在整个特征空间中定义期望风险, 期望风险:,行动i:表示把模式x判决为i类的一次动作。 损耗函数ii=(i/i)表示模式X本来属于i类而错判为i所受损失。因为这是正确判决,故损失最小。 损耗函数ij=(i/j)表示模式X本来属于j类错判为i所受损失。因为这是错误判决,故损失最大。 风险R(期望损失):对未知x采取一个判决行动(x)所付出的代价(损耗) 条件风险(也叫条件期望损失):,条件风险只反映对某x取值的决策行动i所带来的风险。期望风险则反映在整个特征空间不同的x取值的决策行动所带来的平均风险。,最小风险Bayes决策规则:,二类问题:把x归于1时风险: 把x归于
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 四部 分贝 决策 理论 教学 课件
链接地址:https://www.31doc.com/p-2566712.html