深度学习之word2vecP.ppt
《深度学习之word2vecP.ppt》由会员分享,可在线阅读,更多相关《深度学习之word2vecP.ppt(22页珍藏版)》请在三一文库上搜索。
1、深度学习之word2vec,学习、分享与交流 报告人:黄宇鹏,目录,基本概念 模型与方法 实战与应用,词向量,自然语言中的词语在机器学习中表示符号 One-hot Representation 例如: “话筒”表示为 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 . “麦克”表示为 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 . 实现时就可以用0,1,2,3,.来表示词语进行计算,这样“话筒”就为3,“麦克”为8. 存在两个问题 维度比较大,尤其是用于 Deep Learning 的一些算法时 词汇鸿沟:任意两个词之间都是孤立的,不能体现词和词之间的关系,
2、词向量,Distributional Representation 词表示为: 0.792, 0.177, 0.107, 0.109, 0.542, .,常见维度50或者100 解决“词汇鸿沟”问题 可以通过计算向量之间的距离(欧式距离、余弦距离等)来体现词与词的相似性 如何训练这样的词向量 没有直接的模型可训练得到 可通过训练语言模型的同时,得到词向量,语言模型,判断一句话是不是正常人说出来的,用数学符号描述为 给定一个字符串“w1,w2,.,wt“,计算它是自然语言的概率 ,一个很简单的推论是 例如,有个句子“大家,喜欢,吃,苹果“ P(大家,喜欢,吃,苹果)=p(大家)p(喜欢|大家)p
3、(吃|大家,喜欢)p(苹果|大家,喜欢,吃) 简单表示为 计算 问题,语言模型,现有模型 N-gram模型 N-pos模型 . Bengio的NNLM C&W 的 SENNA M&H 的 HLBL Mikolov 的 RNNLM Huang 的语义强化 .,word2vec原理,两种模型,两种方法,CBOW模型+Hierarchical Softmax方法,CBOW模型 INPUT:输入层 PROJECTION:投影层 OUTPUT:输出层 w(t):当前词语(向量) w(t-2),w(t-1),w(t+1),w(t+2):当前词语的上下文 SUM:上下文的累加和,CBOW模型+Hierarc
4、hical Softmax方法(续),CBOW模型+Hierarchical Softmax方法(续),为什么建哈夫曼树?,非叶子结点 为LR分类器,叶子结点对应 词典中的一个词,目标:,CBOW模型+Hierarchical Softmax方法(续),句子:我,喜欢,观看,巴西,足球,世界杯 w=足球,CBOW模型+Hierarchical Softmax方法(续),正类概率: 负类概率: “足球“ 叶子节点经过4次二分类,每次分类结果对应的概率为 由Context(“足球“)预测“足球“出现的概率,CBOW模型+Hierarchical Softmax方法(续),对于词典中的每个词w有,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 深度 学习 word2vecP
链接地址:https://www.31doc.com/p-2658257.html