1、贝叶斯学叶斯学习岳岳伟超超小样本下的类机器学习Sample：BigdataSample：smallmountn深度学习是基于大数据通过多层网络实现机器自动识别有效的特征，显然数据越多其效果相对就会越好。n在没有大数据情况下，深度学习的效果将会显著下降。对于人类来说，没有知识的积累，没有相应的专业知识，依然能够模仿学习，因为人类面对陌生环境依然能够通过学习做出适应变化。n“小小样本本机机器器学学习”作作为机机器器学学习的的另另一一条条途途径径，由由相相关关领域域内内的的专家家人人工工提提取取出出有有用用的的特特征征，配配合合少少量量的的数数据据进行行机机器器学学习。在在此此主主要要以以Bayes
2、ian学学习方法方法为核心。核心。1、小样本机器学习Bayesian频率学派VS贝叶斯学派2、Bayesian基础知识n频率派把需要推断的参数看做是固定的未知常数，是确定的一个值，同时样本X是随机的，所以频率派重点研究样本空间，大部分的概率计算都是针对样本X的分布；n贝叶斯派的观点则截然相反，他们认为参数是随机变量，而样本X是固定的，由于样本是固定的，所以他们重点研究的是参数的分布。n例如：只看下面有什么牌来决策的就是频率学派除了看下面有什么牌，还考虑了这个牌是谁打出的，什么时候打出的，这个人打出所有牌友什么联系等一系列问题的就是贝叶斯学派；概率论B ay es i an an d p rob
3、 ab i l i t y2.1可以根据可以根据观察察到的每个到的每个训练样例能例能够增量增量增量增量地地地地降低或升高某假降低或升高某假降低或升高某假降低或升高某假设设的估的估的估的估计计概率概率概率概率。先先先先验验知知知知识识可以与可以与可以与可以与观观察数据一起决定假察数据一起决定假察数据一起决定假察数据一起决定假设设的最的最的最的最终终概率概率概率概率；贝叶斯方法可允叶斯方法可允许假假设做出做出不确定性的不确定性的不确定性的不确定性的预测预测；新的新的实例分例分类可由多个假可由多个假设一起做出一起做出预测，用它用它用它用它们们的概率来加的概率来加的概率来加的概率来加权权；010203
4、0405在在贝叶斯方法叶斯方法计算复算复杂度度较高高时，它，它们仍可作仍可作为一个最一个最优的决策的决策标准衡量其准衡量其他方法；他方法；2、Bayesian基础知识2.2贝叶斯学习方法的特性2、Bayesian基础知识2.2贝叶斯学习应用领域2、Bayesian基础知识2.3贝叶斯学习方法的难度n难度之一：度之一：获取先取先验知知识需需需需要要要要概概概概率率率率的的的的先先先先验验知知知知识识，当当概概率率预先先未未知知时，可可以以基基于于背背景景知知识、预先先准准备好好的的数数据据以以及及基准分布的假定来估基准分布的假定来估计这些概率；些概率；n难度之二：度之二：计算复算复杂度度一一般般
5、情情况况下下，确确确确定定定定贝贝叶叶叶叶斯斯斯斯最最最最优优假假假假设设的的的的计计算算算算代代代代价价价价比比比比较较大大大大（在在某某些些特特定定情情形形下下，这种种计算算代代价可以大大降低）。价可以大大降低）。2、Bayesian基础知识2.4理论知识先验概率VS后验概率n先验概率是指根据以往经验和分析得到的概率，它往往作为“由因求果”问题中的“因”出现。n后验概率是指在得到“结果”的信息后重新修正的概率，是基于新的信息，修正原来的先验概率后所获得的更接近实际情况的概率估计。先验概率和后验概率是相对的。如果以后还有新的信息引入，更新了现在所谓的后验概率，得到了新的概率值，那么这个新的概
6、率值被称为后验概率2、Bayesian基础知识2.4理论知识贝叶斯法则n用用P(h)表表示示在在没没有有训练数数据据前前假假设h拥有有的的先先验概概率率，反反映映了了h是是正正确确假假设的的机机会的背景会的背景知知识，如果没有，如果没有P(h)，可以，可以简单地先地先赋予相同的先予相同的先验概率概率n类似地，似地，P(D)表示表示训练数据数据D的先的先验概率，概率，P(D|h)表示假表示假设h成立成立时D的概率的概率n机器机器学学习中，关心的是中，关心的是P(h|D)，即，即给定定D时h的成立的概率，称的成立的概率，称为h的的后后验概率概率2、Bayesian基础知识2.4理论知识贝叶斯的简单
7、应用Google基于基于贝叶斯方法叶斯方法的拼写的拼写检查nP(c)表示某个正确的词的出现“概率”，它可以用“频率”代替。nP(w|c)表示在试图拼写c的情况下，出现拼写错误w的概率。ByBayesianTheoremthisisequivalentto:SinceP(w)isthesameforeverypossiblec,wecanignoreit,giving:朴素贝叶斯分类器2.5朴素贝叶斯分类器n朴素贝叶斯分类模型（NaveBayes或SimpleBayesian）假定特征向量的各分量间相对于决策变量是相对独立的，各分量独立地作用于决策变量。n朴素贝叶斯的思想基础：对于给出的待分类项
8、求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。2、Bayesian基础知识2.5.1朴素贝叶斯分类器数学定义2、Bayesian基础知识1.1.设为一个待分一个待分类项，而，而 为F 的一个特征属性的一个特征属性2.2.有有类别集合集合3.3.朴素朴素贝叶斯分叶斯分类器是器是计算出概率最大的那个分算出概率最大的那个分类，即求下面算式，即求下面算式的最大的最大值：4.4.如果如果则由于各个特征属性是条件独立：2.5.1朴素贝叶斯分类器流程图2、Bayesian基础知识输出：特征属性和出：特征属性和训练样本本输入：特征属性和入：特征属性和训练样本本输出：分出：
9、分类器器输入入：分：分类器和待分器和待分类项输出出：待：待分分类项与与类别的映射关系的映射关系2.5.2朴素贝叶斯分类器应用检测SNS社区中不真社区中不真实账号号2、Bayesian基础知识设C=0表示真实账号，C=1表示不真实账号特征属性：a1：日志数量/注册天数，a2：好友数量/注册天数，a3：是否使用真实头像。1确定确定特征属性及特征属性及划分划分划分：a1：a=0.05,0.05a=0.2，a1：a=0.1,0.1a=0.8，a3：a=0（不是）,a=1（是）使用运维人员曾经人工检测过的1万个账号作为训练样本2获取取训练样本本3计算算训练样本中每个本中每个类别的的频率率用训练样本中真实
10、账号和不真实账号数量分别除以一万，得到：P(C=0)=8900/10000=0.89;P(C=1)=110/10000=0.114计算每个算每个类别条件下各个特征属性划分的条件下各个特征属性划分的频率率5使用分使用分类器器进行行鉴别P(C=0)P(x|C=0)=P(C=0)P(0.05a10.2|C=0)P0.1a20.8|C=0)P(a3=0|C=0)=0.89*0.5*0.7*0.2=0.0623P(C=1)P(x|C=1)=P(C=1)P(0.05a10.2|C=1)P0.1a2=J(z,Q)，那么可以通过不断的最大化下界J，来使得L()不断提高，最终达到它的最大值。由Jensen不等式
11、可知=3、Bayesiannetwork3.3.2参数学习EM(ExpectationMaximization)方法方法当部分数据缺失或者无法观察到时，可采用EM方法。其核心思想是：假设要估计知道A和B两个参数，在开始状态下二者都是未知的，首先赋予A某种初值，以此得到B的估计值，然后从B的当前值出发，重新估计A的取值，这个过程一直持续到收敛为止。当Jensen不等式变成等式时，说明调整后的概率能够等价于根据Jensen不等式，要想让等式成立，需要让随机变量变成常数值，这里得到：由于至此，在固定参数后，的计算公式就是后验概率，解决了如何选择的问题这一步就是E步，建立的下界，接下来的M步，就是在给
12、定后，调整，去极大化的下界3、Bayesiannetwork3.3.2参数学习EM(ExpectationMaximization)方法方法当部分数据缺失或者无法观察到时，可采用EM方法。其核心思想是：假设要估计知道A和B两个参数，在开始状态下二者都是未知的，首先赋予A某种初值，以此得到B的估计值，然后从B的当前值出发，重新估计A的取值，这个过程一直持续到收敛为止。直直到到 不不再再变变化化，或者变化或者变化幅度很小。幅度很小。Human-levelconceptlearningthroughprobabilisticprograminduction4、Bayesianprogramlearn
13、ing贝叶斯规划学习通通过概率概率规划划归纳的人的人类层次次概念学概念学习实现效果：在少量样本情况，机器能够“只看一眼就会写字”4、Bayesianprogramlearning贝叶斯规划学习4.1背景介绍n对于自然万物，于自然万物，人人们都可以从都可以从一个或者几个例子一个或者几个例子中就中就学学习到新的到新的概念概念n机器学机器学习算法却算法却需要需要几百个几百个甚至是甚至是海量海量类似似的例子才可以达到的例子才可以达到这样的程度的程度1、人们要理解一种新颖的两轮车，只需要看1张图，机器学习都要通过海量的数据模型才可以理解概念2、除了理解，人们还可以做到更多，例如举一反三，剖析对象整体和局
14、部的关系以及在现有类别基础上再做分类人们可以从有限的数据中学习到丰富的概念，相比之下，就算是最好的分类机器也难以做到这些，通常是需要专门的算法才可以一一尝试。4、Bayesianprogramlearning贝叶斯规划学习4.2贝叶斯学习规划学习（BPL）合成性合成性1因果性因果性2学学习如何学如何学习3BPL框架特性基于合成丰富的概念，根据抽象的“因果关系”来处理，生成类别概念把简单的原语合成丰富的概念，称为“语意合成”，在这里是将笔画组合生成字符通过观察来构造程序模型，通过开发先知和根据经验来理解新概念，达到BPL的“学会学习”总之，BPL可以通过现有的碎片信息来重新加工，捕捉真实世界中的
15、因果关系，重生成多层面的结果。具体思路具体思路用一个贝叶斯模型来描述人写字的概念,就是模拟人写字的过程,并且模型已知字是由笔画组成这个概念,生成一个字的过程就是寻找笔画,并且用笔画组成这个字。整个过程大致分为两大步:生成一个字的结构(type):笔画集合、笔画间的关系生成一个字的形象(token):通过按概率采样每一个笔画的初始点以及轨迹生成最后的图像4、Bayesianprogramlearning贝叶斯规划学习4.3贝叶斯学习规划学习流程笔画笔画旋转、拉伸后的形状Sub-part的组合，书写符号从落笔到起笔，画出的东西Part的组合，书写单个符号时多次落笔起笔划出的东西对objective template加入一些随机扰动，并随机选择画布上字符的位置以二值小图片形式呈现的字符THANKS谢谢聆听
