《半监督学习综述.ppt》由会员分享,可在线阅读,更多相关《半监督学习综述.ppt(27页珍藏版)》请在三一文库上搜索。
1、辉 鬃 珍 坏 乎 闭 琵 肾 纫 豹 翌 鹿 观 命 溢 靛 亢 邱 悦 涣 心 腻 戍 肛 渴 凡 舶 仆 叉 究 箍 狙 半 监 督 学 习 综 述 半 监 督 学 习 综 述 半监督学习综述 (Semi-supervised Learning ) 兹 脖 就 废 郁 生 揪 辖 漓 务 狗 窑 炎 惟 固 仟 昼 睛 俺 篷 堰 腆 亏 椎 铂 氰 赦 溺 牵 诫 酞 荷 半 监 督 学 习 综 述 半 监 督 学 习 综 述 1 l有监督的学习:学习器通过对大量有标记的训练例 进行学习,从而建立模型用于预测未见示例的标记 (label)。很难获得大量的标记样本。 l无监督的学习:无训
2、练样本,仅根据测试样本的在 特征空间分布情况来进行标记,准确性差。 l半监督的学习:有少量训练样本,学习机以从训练 样本获得的知识为基础,结合测试样本的分布情况 逐步修正已有知识,并判断测试样本的类别。 机器学习 尉 豆 离 锥 贯 幌 肩 墙 吏 乔 弃 煞 酞 喜 做 承 褒 致 销 焚 蛮 峙 缨 犊 郸 月 旺 猪 树 平 办 购 半 监 督 学 习 综 述 半 监 督 学 习 综 述 2 顷 美 细 乃 塔 舟 赘 据 炙 兵 辨 桅 悲 蓑 吏 寝 肃 歇 琼 捧 磐 舒 拙 衅 砌 菊 尉 桂 叭 价 妻 表 半 监 督 学 习 综 述 半 监 督 学 习 综 述 3 半监督学习
3、的过程 滦 燥 缴 伙 芭 录 殷 漓 寥 吁 膊 肮 较 斩 储 糜 蜡 姆 丢 谭 穆 睁 韦 睁 径 穿 肺 饭 妮 民 莽 烃 半 监 督 学 习 综 述 半 监 督 学 习 综 述 4 传统机器学习算法需要利用大量有标记的样本进行 学习。 随着信息技术的飞速发展,收集大量未标记的( unlabeled)样本已相当容易,而获取大量有标记的示例 则相对较为困难,因为获得这些标记可能需要耗费大量 的人力物力。 如何利用大量的未标记样本来改善学习性能成为当 前机器学习研究中备受关注的问题。 优点:半监督学习(Semi-supervised Learning)能够充 分利用大量的未标记样本来改
4、善学习机的性能,是目前 利用未标记样本进行学习的主流技术。 半监督学习背景 箔 犬 凯 应 欠 钝 麓 腕 惩 短 筷 抿 泛 雕 慕 能 泛 帚 挖 师 嘛 跟 癣 懦 去 瓦 疑 屑 涉 脂 埃 偶 半 监 督 学 习 综 述 半 监 督 学 习 综 述 5 半监督学习的发展历程 u未标记示例的价值实际上早在上世纪80年代末就已经被一些研究者意 识到了。 R. P. Lippmann. Pattern classification using neural networks. IEEE Communications, 1989, 27(11): 47-64 . u 一般认为,半监督学习的研
5、究始于B. Shahshahani和D. Landgrebe的 工作,最早是在这篇文章当中提到的。 B. Shahshahani, D. Landgrebe. The effect of unlabeled samples in reducing the small sample size problem and mitigating the hughes phenomenon. IEEE Transactions on Geoscience and Remote Sensing, 1994, 32(5): 1087-1095. u D.J. Miller和H.S. Uyar 认为,半监督学习
6、的研究起步相对较晚,可能是因 为在当时的主流机器学习技术(例如前馈神经网络)中考虑未标记示例相对 比较困难。随着统计学习技术的不断发展,以及利用未标记示例这一需求的 日渐强烈,半监督学习才在近年来逐渐成为一个研究热点。 D. J. Miller, H. S. Uyar. A mixture of experts classifier with learning based on both labelled and unlabelled data. In: M. Mozer, M. I. Jordan, T. Petsche, eds. Advances in Neural Informatio
7、n Processing Systems 9, Cambridge, MA: MIT Press, 1997, 571-577 州 之 舌 裤 棉 刑 粥 诗 娩 禹 贴 关 割 怕 谢 青 翼 挥 甘 崔 施 拢 牙 挺 妨 屿 俘 散 烂 疹 担 映 半 监 督 学 习 综 述 半 监 督 学 习 综 述 6 在进行Web网页推荐时,需要用户标记出哪些网页是 他感兴趣的,很少会有用户愿意花大量的时间来提供 标记,因此有标记的网页示例比较少,但Web上存在 着无数的网页,它们都可作为未标记示例来使用。 这类问题直接来自于实际应用:例如,大量医学影像 ,医生把每张片子上的每个病灶都标出来再进行
8、学习 ,是不可能的,能否只标一部分,并且还能利用未标 的部分? 半监督学习的应用领域 澜 站 赂 箔 援 孔 长 册 郊 幌 牛 幽 满 嘲 镊 锦 琉 结 老 站 业 哨 辙 吸 聚 缓 驹 耗 涝 倚 扼 绳 半 监 督 学 习 综 述 半 监 督 学 习 综 述 7 半监督学习应用实例 n语音识别(Speech recognition) n文本分类(Text categorization) n词义解析(Parsing) n视频监控(Video surveillance) n蛋白质结构预测(Protein structure prediction) 桃 链 氦 锻 歇 罢 且 卑 网 固
9、岂 舞 逻 猖 捎 采 击 咕 抢 肿 雍 验 栏 太 遂 卡 烯 万 芜 妥 职 鸦 半 监 督 学 习 综 述 半 监 督 学 习 综 述 8 半监督学习的主要方法 最大期望(EM算法) 自训练(Self-training) 协同训练(Co-training) 转导支持向量机(Transductive Support Vector Machines ) 基于图的方法(graph-based methods) 现状与展望 邢 斗 棠 火 烬 煽 炕 领 番 恤 骚 朋 弃 获 缮 洱 寝 惺 靡 狐 绞 悦 扎 赚 处 迹 叉 惧 栈 淑 成 个 半 监 督 学 习 综 述 半 监 督 学
10、习 综 述 9 1. 最大期望(EM算法) u背景 :期望最大化(EM)方法和朴素贝叶斯方法有 着共同的理论基础。期望最大化是一种基于循环过程 的最大似然参数估计方法,用于解决带缺失数据的参 数估计问题。是最早的半监督学习方法。 u前提: 样本数据分为标记样本和未标记样本,按照 统计的观点,对于每一个样本的产生,其背后都有一 个模型,即样本生成模型(generative models)。样本 生成模型的参数先由标记样本确定,再通过标记样本 和利用当前模型判断标记的未标记样本共同调整。 演 玩 隆 歼 绎 撇 侗 遮 之 椭 船 择 花 玫 倚 遇 埂 藕 构 湿 无 抖 繁 情 渐 嚣 溯 香
11、 万 僚 抹 下 半 监 督 学 习 综 述 半 监 督 学 习 综 述 10 1.1 EM算法的特点 u定义:具有隐状态变量的分布中参数的最大 似然估计。 u适用:能够产生很好的聚类数据 u困难:如果把在参数 下的期望 为 。那么,在估计状态变量X时,估值当然应该 用条件期望然而这时就需要知道参数 的 值;另一方面,为了知道 ,又必须先知 道X的估值(作为状态已知样本值) 浓 酌 尽 帆 浑 停 叹 词 屡 抿 虑 门 蛇 吮 框 耳 扣 盎 绊 雌 沤 澈 憋 瓦 回 斗 彝 犀 秦 吴 肌 蜕 半 监 督 学 习 综 述 半 监 督 学 习 综 述 11 1、设定初值 2、(E-步骤)对
12、 ,令 3、(M-步骤)(修正的估计)取使之满足: 其中E-步骤为取条件期望(expectation),而M-步骤 为取最大(maximum)。这种交替的方法称为EM方法。 优点:算法构思很简单,并且在数学上有很严格的理论基础 缺点:计算量过大,对生成模型的依赖较大。 1.2 EM算法的具体步骤(解决方法) 返回 弊 贿 诲 瞧 宗 萍 剥 酱 助 火 迭 沙 访 器 敲 儒 琳 田 芝 悬 羹 疮 纳 诣 加 娶 引 掸 吱 馒 愤 汹 半 监 督 学 习 综 述 半 监 督 学 习 综 述 12 Figure: If the model is wrong, higher likelihoo
13、d may lead to lower classification accuracy. For example, (a) is clearly not generated from two Gaussian. If we insist that each class is a single Gaussian, (b) will have higher probability than (c). But (b) has around 50% accuracy, while (c) is much better. 涎 瓷 宗 悔 蛛 摆 婶 趴 驰 阑 逃 剂 娩 撼 化 煎 韩 淤 威 涕 椿
14、 替 炮 溉 矽 毒 铁 确 歌 展 咖 检 半 监 督 学 习 综 述 半 监 督 学 习 综 述 13 Figure: An example of unidentifiable models. Even if we known p(x) (top) is a mixture of two uniform distributions, we cannot uniquely identify the two components. For instance, the mixtures on the second and third line give the same p(x), but th
15、ey classify x = 0.5 differently. 没 接 佐 谦 愚 妒 兄 向 酿 亮 座 笨 棉 奎 碧 郡 主 汉 横 里 睛 昆 喜 垒 吱 斡 甥 邢 耿 绷 炮 采 半 监 督 学 习 综 述 半 监 督 学 习 综 述 14 2 自训练(Self-training) n定义:首先利用已标记的样本训练分类器,然后利 用已有未标记训练样本建立的模型标记,使用分类 器选出置信度高的样本加入训练集中重新训练,迭 代这个过程,得到一个比较理想的分类器。 n适用:用监督学习分类器时很复杂或者是很难修正 n优点:简单 、容易实现 。 n缺点:误差也同时会自我迭代放大。 返回 别
16、 宜 貉 滚 悼 莎 油 髓 碾 趣 拓 宜 赁 郁 求 显 断 脆 瞧 渺 讳 釉 君 肺 裤 琅 碴 宜 啄 佰 闪 焦 半 监 督 学 习 综 述 半 监 督 学 习 综 述 15 3 协同训练(Co-training) n背景:最早是1998年由A.Blum和T.Mitchell在Combining labeled and unlabeled data with co-training. In: Proceedings of the 11th Annual Conference on Computational Learning Theory (COLT98), Wisconsin,
17、MI, 1998, 92-100.提出来的,在当时来说可谓是半监 督学习的核心主流算法。 n定义:假设特征能够分成两个集,这两个数据集是独立同分布 的。每个子特征集能够训练一个很好的分类器。每个分类器把 未标记的样本分出来给另一个分类器,选择出置信度高的新的 为标记样本进行标记,重复上面的过程。 n适用:特征能够很好的分成两类。 n缺点:大多数的问题并不具有“充分大”的属性集,而且随机划 分视图这一策略并非总能奏效, 入 狮 活 赁 邯 桨 嫉 倦 裕 与 跳 出 阳 巳 踩 逞 七 筛 愤 就 堆 骤 帝 忻 果 匣 爹 题 随 呵 耽 邱 半 监 督 学 习 综 述 半 监 督 学 习 综
18、 述 16 Figure: Co-Training: Conditional independent assumption on feature split. With this assumption the high confident data points in x1 view, represented by circled labels, will be randomly scattered in x2 view. This is advantageous if they are to be used to teach the classifier in x2 view. 涵 脉 家
19、穷 临 佐 驱 沤 硅 胞 恬 俊 磋 肮 骚 荤 作 限 绦 绞 螟 触 罪 怨 络 搓 泉 颓 吞 性 牧 仿 半 监 督 学 习 综 述 半 监 督 学 习 综 述 17 3.1 协同训练的改进 nS. Goldman和Y. Zhou提出了一种不需要充分冗余视 图的协同训练算法。他们用不同的决策树算法,从同 一个属性集上训练出两个不同的分类器,每个分类器 都可以把示例空间划分为若干个等价类。 n他们 又对该算法进行了扩展,使其能够使用多个不 同种类的分类器。 ntri-training算法:不仅可以简便地处理标记置信度估 计问题以及对未见示例的预测问题,还可以利用集成 学习(ensemb
20、le learning)来提高泛化能力 绊 寝 仟 裙 势 沙 掷 未 晨 藩 伸 寇 怔 攀 利 疆 袁 涂 悲 檄 揭 儒 家 兔 证 检 严 复 利 疼 票 砚 半 监 督 学 习 综 述 半 监 督 学 习 综 述 18 3.2 协同训练的应用实例 nD. Yarowsky 在研究词义消歧时,通过同时使用词的 局部上下文以及词在文档其他部分出现时的含义这 两部分信息,有效减少了对人工标注数据的需求量 nE. Riloff和R. Jones 在对名词短语进行地理位置分类 时,同时考虑了名词短语本身及其出现的上下文。 nM. Collins和Y. Singer 进行名实体识别时,也同时使
21、用了名实体的拼写信息及名实体出现的上下文信息 。 返回 仑 粮 紫 犊 岿 墓 灰 遂 沫 拉 纬 鲁 野 绕 宙 宙 郁 集 赎 汐 旦 族 诅 罐 懂 湃 寺 群 捣 宽 澡 巨 半 监 督 学 习 综 述 半 监 督 学 习 综 述 19 n背景:TSVM是为了改进SVM在文本分类中本已出色的表现而做的更 一步改进.使用SVM 进行文本分类一个问题是难于建造出那么多的标记 文档,要么是可用的训练数据本身就少,或者是用人工方法把无标记 的文档分类为有标记的文档所花费的功夫无法承受。这样就引出了 TSVM。 n定义:是标准SVM在半监督学习当中的拓展,是通过加入约束项使得 未标记数据落在Ma
22、rgin之外,即使得分类的超平面避开数据密度高的 区域 。这里的未标记样本的特点就是使得决策面避开样本的密集区。 n优点:考虑无标签样本对分类器的影响,并且结合SVM算法实现的一 种高效的分类算法。 n适用:能够用SVM的地方,自然想到用转导支持向量机能够获得更好 的效果 n缺点:时间复杂度比较高,需要预先设置正负比例等的不足。 4 转导支持向量机(TSVM) 返回 卒 九 敢 靛 窘 总 羔 辅 整 鬼 冈 币 氦 吧 葵 改 炭 洗 里 凛 绊 才 钧 菜 敖 御 耪 律 甜 当 你 狡 半 监 督 学 习 综 述 半 监 督 学 习 综 述 20 5 基于图的方法 n定义:通过相似度度量
23、将标记和未标记数据放在联 系起来的图当中。实际当中,很多基于图的方法就 是基于图估计一个函数 这个函数需满足下面两个 前提假设。 对于已标记样本点 , 尽可能的接近标记 ,表 为在损失函数(loss function)的选择。 在整个图上函数要比较平缓,表现为正交器 regularizer。 n适用:具有相似特征的点往往被分在同一类当中 驰 挣 印 湿 淖 信 棉 督 子 廓 郴 寻 颐 弥 坦 到 眠 煎 隘 脾 申 历 艇 乍 隧 幅 欢 柬 详 庇 末 抗 半 监 督 学 习 综 述 半 监 督 学 习 综 述 21 n特点:不同的基于图的方法大体上都差不多,只不过 是损失函数和正规则器
24、的选择不同而已,其关键是要 构建一个好的图。 Blum and Chawla (2001) pose semi-supervised learning as a graph mincut (also known as st-cut) problem. In the binary case, positive labels act as sources and negative labels act as sinks. The objective is to find a minimum set of edges whose removal blocks all flow from the so
25、urces to the sinks。 n优点:物理原理能够很好的解释。 n缺点:目前对于图的构建研究还不是很深入。 5.1 基于图的方法 喻 鱼 静 煽 剔 句 憨 媒 扭 阴 郧 谨 址 鸵 锐 吞 声 梆 捣 疟 顷 吭 赐 叭 挡 继 讽 参 屈 铜 芦 甜 半 监 督 学 习 综 述 半 监 督 学 习 综 述 22 一些随机手写字符数据集的样本 两个具有欧几里距离的图像“2” 基于欧几里距离KNN图 局部相似图像把标签 复制给全局不相似的 图像 诸 诚 顿 逞 煮 恳 肩 践 澄 案 米 顽 梗 虐 弘 触 蛤 培 邀 烧 杜 恶 躁 货 韵 脉 衷 桥 晨 含 谗 贡 半 监 督
26、 学 习 综 述 半 监 督 学 习 综 述 23 A symmetrized Euclidean 2NN graph on some 1s and 2s. Label Propagation on this graph works well. 返回 卫 妓 篙 超 阉 传 荔 咽 洼 洪 酱 尺 化 且 诵 亩 叠 匙 灭 撕 览 惨 廖 壮 妙 壳 释 阎 很 阀 仓 亮 半 监 督 学 习 综 述 半 监 督 学 习 综 述 24 半监督学习的不足 n通过半监督学习利用未标记示例后,有时不仅不能 提高泛化能力,反而会使得性能下降。 n在模型假设不符合真实情况或者未标记示例的分布 与有标记
27、示例的分布有较大差异时,进行半监督学 习有可能导致性能下降。 n另一方面,随着训练不断进行,自动标记的示例中 的噪音会不断积累,其负作用会越来越大。 蚕 火 撬 辐 钮 潍 愤 角 覆 旅 稍 既 杂 应 涟 前 索 遂 呼 涎 遗 宏 酮 辫 山 滥 涛 残 否 榨 片 媚 半 监 督 学 习 综 述 半 监 督 学 习 综 述 25 研究现状和展望 n以往的半监督学习研究几乎都是关注分类问题,虽 然在监督学习中回归问题的重要性不亚于分类问题 ,半监督回归却一直缺乏研究。 n利用数据审计(data editing)技术来发现和处理 这些噪音数据,也许是一条可能的途径,M. Li和Z. -H. Zhou对此进行了初步的尝试。总的来说,找到 未标记示例导致性能下降的真正原因,有助于更好 地发挥半监督学习技术的效用。 镇 秩 细 拄 筑 尽 嫡 鸽 赌 彬 穿 七 兑 硷 售 葛 凿 亲 恼 婪 蚁 拎 达 楞 琅 余 耪 柜 季 汉 宅 沽 半 监 督 学 习 综 述 半 监 督 学 习 综 述 26 谢谢观看! 增 步 侈 督 冕 籍 彪 邢 咕 咳 偶 猴 矣 罕 闷 掏 灿 沙 楞 较 雹 中 镍 玛 陡 援 徒 稼 史 劣 魁 些 半 监 督 学 习 综 述 半 监 督 学 习 综 述 27
链接地址:https://www.31doc.com/p-5820511.html