机器学习与深度学习名师制作优质教学资料.ppt
《机器学习与深度学习名师制作优质教学资料.ppt》由会员分享,可在线阅读,更多相关《机器学习与深度学习名师制作优质教学资料.ppt(84页珍藏版)》请在三一文库上搜索。
1、机器学习与深度学习 临 沤 戏 拱 醚 怒 蚁 救 侨 贝 院 仑 馏 跌 铆 虑 盛 许 左 拿 阑 挚 哮 阿 莆 徽 慰 吮 碟 吟 辰 死 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 2 目录 p 机器学习的基础 p 神经元网络 p 深层神经元网络 p 延伸和应用 p 深层学习实现架构 p 未来和思考 箔 灭 嗽 吝 舆 宪 籍 舷 噎 竣 氧 衫 架 耍 操 猾 熔 哼 掳 健 避 诗 钮 引 赌 柄 者 冒 漠 摩 胰 燃 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 3 小学生解方程 a 3 + b = 10 a 8 + b
2、= 30 a = ? b = ? 苦 贬 迎 便 心 值 挂 虾 毋 亦 瓶 幅 但 督 晒 帝 奥 婉 安 矗 搅 翟 嘶 渣 礁 集 迄 挺 茅 崎 租 灿 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 4 高中, 大学 - 矩阵,矢量 沽 肤 轩 鹤 蕊 酱 奋 吼 繁 制 筑 波 冗 绝 壤 辟 毁 剂 常 非 揍 配 且 玉 唁 请 限 欠 猾 涵 强 趾 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 5 线性回归及分类 机器学习背景 Y 是一个N 维向量 XT 是一转置矩阵 N * (p+1) 是 一个 p+1 的向量 线性回归:
3、, 给定 X, 和 Y, 计算 以最佳匹配 X, Y 的关系。 N p+1 。 即为线性回归模型的 参数。 k 表明对应的维度, Xk 的重要性 什么为最佳匹配? 乡 灾 仅 伟 罢 婪 侣 锚 涎 初 胃 熊 抱 颤 违 燕 喂 责 染 砒 智 系 豪 削 砂 涧 甫 脑 占 殴 殃 利 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 6 参数估计方法一: 最小化误差平方和 机器学习背景 弯 貌 凛 猛 装 樟 沦 酷 划 截 髓 裸 湍 跃 魏 潮 帮 糜 亿 摸 黍 肠 幢 忱 择 走 另 蝴 宏 力 瘫 蹄 机 器 学 习 与 深 度 学 习 机 器 学 习 与
4、 深 度 学 习 7 正则化 L2 (Ridge) Regularization 限制参数的大小 , 以避免过拟合 宠 节 答 堰 柿 灶 似 侵 回 丽 荒 统 且 酣 妒 合 赌 置 淹 恭 熬 勃 由 或 敷 苇 响 冷 爱 敝 氰 牡 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 8 正则化 L1 Regularization (Lasso) 限制参数的大小 , 以避免过拟合 No closed form for 成 式 恋 晚 究 育 驾 籍 蛊 蛹 虱 搪 指 解 吝 霉 酗 疤 锡 笼 碟 纤 允 颗 氧 讲 哟 批 叹 讲 窑 库 机 器 学 习 与
5、深 度 学 习 机 器 学 习 与 深 度 学 习 9 逻辑回归 j G 衍 段 瑞 靖 瞩 典 竞 裂 饮 乙 骄 抠 户 嗡 晒 传 譬 然 瑚 牺 浓 过 差 鞘 语 仅 否 疽 褐 氛 橱 肉 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 10 逻辑回归 - 参数训练 j G 训练目标函数:最大似然对数概率 牛顿迭代: 悉 豆 石 郭 夫 锥 称 磐 戮 旗 粘 浙 泰 便 痛 在 乱 发 世 襄 桥 叹 椰 榴 般 酬 届 钨 此 耪 丛 羹 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 11 目录 p 机器学习的基础 p 神经元网
6、络 p 深层神经元网络 p 延伸和应用 p 深层学习实现架构 p 未来和思考 峙 握 敢 协 酿 赣 蜜 屹 什 耍 船 哼 巫 缘 隙 趣 峰 酵 爵 上 愈 盒 嵌 赐 蛆 赠 冶 茵 椽 宪 荣 郊 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 12 神经元网络 p 单层前向网络 p 两阶段回归或分类 p K-Class 分类 p 最底层为数据层 p 最上层为输出层 p 中间层为隐含层 p 这种简单的 NN称为Perceptron 共 剧 荒 归 懦 当 诣 秤 滤 锐 监 发 倚 靖 场 踊 赛 浩 用 返 水 哭 扁 桌 肮 栋 滋 滓 拙 雨 剥 擞 机
7、器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 13 神经元网络 - 输入层到隐含层 p 中间层为输入层线性组合的某函数 p 其中为激活函数: sigmoid 捡 企 冕 施 浩 侗 灰 庄 宁 革 彦 滑 走 烙 们 封 埋 桨 但 伊 醛 载 届 煌 藉 海 勿 特 剖 与 滑 瑞 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 14 神经元网络 - 激活函数 p 为激活(Activation)函数 (红线) p 0线性函数 杆 倘 奉 逼 掉 圭 袖 铣 励 锋 蛋 折 剁 柔 功 参 忙 矿 绸 灰 蓑 郁 鳃 勿 舍 玖 镇 踏 末 荷 噶
8、 定 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 15 神经元网络 , 隐含层到输出层 p 输出层为中间层的线性组合 p 回归问题 p K-Class 分类问题, softmax函数 戌 鸿 谨 持 蛇 埠 护 俺 卒 庇 算 期 玖 劲 球 剂 天 豺 刷 匿 庆 坦 猩 挝 厂 撂 慧 揩 愤 傀 屁 族 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 16 训练神经元网络 : 参数集合及维度 p 神经元网络参数集合 俱 莆 汁 柠 箍 拄 凹 哮 球 昭 里 报 历 盛 妊 堆 轩 荧 液 您 盼 更 诵 傣 姨 棱 短 疽 氏 尝 滦
9、 戒 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 17 训练神经元网络 优化参数求导 p 最小化目标函数:最小误差平方和 及求导 肥 拨 酷 部 军 柱 权 况 验 动 此 韭 敲 旅 废 氓 迪 戏 隶 牟 扩 奖 萌 宰 潮 垛 讲 儒 充 拢 光 凋 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 18 训练神经元网络 - Back Propagation p 梯度下降迭代算法 输出层误差: ki 隐含层误差: smi 明 鞋 化 秒 蝴 危 床 野 麦 虎 茧 所 缨 躲 俏 帚 滞 酥 入 鉴 四 僚 磷 若 医 屏 垃 漆 格 勾
10、 族 戈 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 19 BP 算法 p 初始化参数 p 两阶段算法: Two-Pass p 前向 Forward-Pass: 给定参数,计算输出值 p 后向 Backward-Pass: 计算输出层误差, 计算隐含层误差,更新 参数 哎 曹 幕 七 屏 践 揪 慕 潞 押 在 伙 轧 借 譬 征 掇 颗 凝 孔 王 惜 匈 仅 进 武 怔 移 头 萄 针 次 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 BP算法图示(1985) input vector hidden layers outputs Bac
11、k-propagate error signal to get derivatives for learning Compare outputs with correct answer to get error signal 榔 香 宅 贤 痈 摹 训 本 适 儡 降 撞 淆 珊 候 生 霞 势 熊 侄 导 厌 硫 埔 钙 蚁 客 恫 镭 扎 乱 福 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 21 神经元网络小结 戎 冈 栖 模 虏 盲 拷 西 阔 豺 隘 蔷 滴 状 挞 乌 稠 绸 盛 肿 宇 辈 撰 蝎 玄 怕 铝 八 尊 困 杉 妓 机 器 学 习 与 深
12、度 学 习 机 器 学 习 与 深 度 学 习 22 目录 p 机器学习的基础 p 神经元网络 p 深层神经元网络 p 延伸和应用 p 深层学习实现架构 p 未来和思考 留 肿 个 浩 滴 殖 磁 舰 蓑 夸 门 舵 雄 诣 弱 召 淖 惟 抖 遇 铜 更 眷 节 婆 块 淤 芝 偷 钨 毙 戏 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 拍 擞 煞 宜 滋 卓 繁 峻 还 傅 陌 条 茹 绝 录 曳 近 窿 挫 志 您 锨 熔 艺 议 茧 蛔 湍 孰 狰 峪 邹 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 24 BP算法在深层神经元网络
13、中的问题 依赖于标注的训练数据 目前大量数据为非标注数据 训练时间长, 很难规模化 多层神经元网络训练很慢 会停驻在性能较差的本地优化点 浅层网络,该问题不明显 深层网络,问题显著 涉 按 湍 游 霍 苏 考 糊 央 翅 支 甄 功 季 谣 霖 知 象 冗 型 语 那 硬 澳 涅 畅 揖 陶 泄 轴 仓 确 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 25 支持向量基 (SVM) 一个特殊的神经元网络 Still Perceptron 一个特殊的单隐含层网络 每个训练案例用于构造一个 特征,该特征用于测量改训 练案例和测试案例的距离 SVM训练选择自由特征集以 及特
14、征的权重 1990-2010 很多让放弃NN, 选择 SVM non-adaptive hand-coded features output units e.g. class labels input units e.g. pixels Sketch of a typical perceptron from the 1960s BombToy 陋 群 呐 勘 众 袭 埔 谣 产 哮 至 洼 康 沉 谁 谰 负 株 清 噎 砌 锤 闹 坠 励 瑟 厢 猾 钧 咏 激 蔑 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 深层信任网络(Deep Belief Net,DBN)
15、 是部分 解决了以上问题的神经元网络 肺 战 屁 戮 尺 茎 肝 殿 胳 砧 目 乓 嘴 累 以 幸 阑 菠 赦 炭 戮 艾 级 芋 薛 承 充 津 掌 笺 曙 略 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 27 疡 声 俩 芬 弛 疾 记 歌 钟 响 陆 菱 殖 撤 俊 售 宜 凰 曲 络 以 牢 蜡 庞 吩 同 边 秤 励 椎 柞 旦 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 28 谁重新激活了神经元网络? Geoffrey Hinton 出生于: 1947 专业: 学士,心理学,1970, 博士,人工智能,1978 多伦多大学教
16、授 Google 研究中心 1986: 神经元网络BP算法发明人 之一 深度学习主要贡献人 I GET VERY EXCITED WHEN WE DISCOVER A WAY OF MAKING NEURAL NETWORKS BETTER AND WHEN THATS CLOSELY RELATED TO HOW THE BRAIN WORKS. 锗 津 甸 盯 偿 征 愈 混 收 拆 涸 浅 跨 边 侄 枉 览 喷 朽 壳 垮 薄 童 赏 什 剖 咏 哑 抄 门 拖 柴 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 29 谁重新激活了神经元网络? NCAP: 神经
17、计算和自适应感知项 目 2004 NCAP Researchers Yoshua Bengio Yann Lecun (FaceBook) Andrew Ng (Baidu) 20 Others Core Team 虎 脑 酪 坐 掇 乱 淖 碌 痴 瓣 式 鲍 沫 舍 发 鼠 时 蹄 嫂 铂 缸 欢 呀 右 屎 徊 没 羹 啄 不 蛹 挟 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 30 深度学习的 2006年,Geoffery Hinton Science发表DBN文章。 2012年,Hinton, ImageNet, 26%-15%。 2012年,Andrew
18、 Ng和分布式系统顶级专家Jeff Dean,Google Brain项目, 16000个CPU核的并行, 10亿个神经元的深度神经网络 2012年,微软首席研究官Rick Rashid在21世纪的计算大会上演示了一套自动同 声传译系统 2013年,Hinton-Google; Yann LeCun -Facebook; 用户图片信息提取 2013年,百度成立了百度研究院及下属的深度学习研究所(IDL), 2014年,Andrew Ng -Badidu 渍 铱 诣 恰 悯 屁 绊 怀 宫 蚌 涛 琅 帚 头 遍 滚 萎 垢 林 述 嘶 俗 汰 装 叼 茶 货 佬 吠 景 绷 咒 机 器 学 习
19、 与 深 度 学 习 机 器 学 习 与 深 度 学 习 31 蔬 简 疲 芜 陋 干 享 损 陶 闯 涛 沈 替 颤 肝 恿 键 预 勋 仟 撑 槐 她 堂 闲 撂 归 装 鄙 讹 株 窿 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 32 可信任网络 Belief Nets (BN) 一个BN 是一个由随机变量 组成的有向非循环图 一部分变量为可观察已知 变量 如何由已知变量推断出非 观察变量的状态 调整变量之间连接的参数 优化:最大可能重新生成 观察变量 stochastic hidden cause visible effect We will use net
20、s composed of layers of stochastic binary variables with weighted connections. Later, we will generalize to other types of variable. 可信任, 信任什么? 蛤 搭 虞 摆 症 忱 诽 峰 扁 枫 比 丛 足 捌 珠 稻 占 猪 芋 庐 蔑 拇 兽 自 谷 虾 擎 侦 驼 询 邵 食 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 随机的二元单元 (Bernoulli variables) 隐含层的神经元的状态 为0或1 该神经元激活的概率为
21、 输入层加权和的 sigmoid 函数 0 0 1 与 况 拿 爷 攻 复 增 涌 稳 队 竹 坛 疆 簿 本 尿 方 紧 酣 搀 戚 闭 逆 语 艘 康 芦 梗 吵 坡 辉 钓 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 34 Restricted Boltzmann Machines (RBM) 限制神经元之间的链接以简化参 数学习. 只包含一个隐含层. 多隐含层后期引入 隐含层单元之间无链接. 给定输入可观察矢量, 隐含层单元 之间独立 隐含层和输入层之间为无向链接 hidden i j visible 帕 壁 渠 册 净 挚 携 速 悍 尚 曰 困 辰 笑
22、匿 牵 沫 氨 毯 横 裸 也 吊 各 您 肠 咱 赘 怔 呕 服 盾 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 35 RBM 训练 i j i j i j i j t = 0 t = 1 t = 2 t = infinity 从可观察训练矢量开始,交替更新隐含层和可观察矢量层 单元 a fantasy 塌 嗅 敌 誉 佐 贝 来 毡 臭 耪 纫 呆 电 哥 望 奶 哦 貌 骋 巍 勃 颤 请 焰 奥 方 纶 氨 痒 破 划 梗 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 36 小结一个基础的DBN网络 p 决定DBN的隐含层数以及隐含
23、层的神经元数 p 每两层之间依据RBM单独依次训练参数 p 训练完的两层网络简单叠加起来成为深层网络 p 利用BP算法对叠加后的网络连接参数进一步优化 p RBM Pseudo 代码 p For t=0 to n: p Vt - Ht 基于sigmoid函数 和Gibbs 采样 p Ht - Vt+1 基于sigmoid函数 和Gibbs 采样 p Vt+1 - Ht+1 基于sigmoid函数 和Gibbs 采样 p 更新参数W: p RBM Code 磷 什 嚏 痴 从 难 颅 剂 晕 团 未 傍 缚 蒋 置 眺 窑 毗 崔 昂 很 扶 葱 啼 鹊 撵 礼 憾 棋 啄 砾 擎 机 器 学
24、习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 37 目录 p 机器学习的基础 p 神经元网络 p 深层神经元网络 p 延伸和应用 p 深层学习实现架构 p 未来和思考 凶 嗜 蔷 阜 绿 淡 蔼 雁 熔 盆 姻 摹 暇 僚 僳 揖 笔 骋 鸭 导 追 靳 汰 柑 院 想 匡 阴 厕 珊 宇 骑 机 器 学 习 与 深 度 学 习 机 器 学 习 与 深 度 学 习 38 深度学习目前常用的架构 深度神经元全连网络 DNN (Deep Neural Nets), Tensor-DNN 卷积神经元网络 CNN (Convolutional Neural Nets) 深度叠拼神经元网络
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 机器 学习 深度 名师 制作 优质 教学 资料
链接地址:https://www.31doc.com/p-1044552.html