第四部分不等式.ppt

1,第四章：不等式,不等式 有些量很难计算，不等式可以对这些量给出一个界 不等式也是下一章讨论收敛理论的基础 关于概率的不等式 Markov不等式 Chebyshev不等式 Hoeffding不等式 关于期望的不等式 Cauchy-Schwarze不等式 Jensen不等式,2,Markov不等式,4.1 定理（ Markov不等式）：令X为非负随机变量且假设 存在，则对任意 ，有 当 ， 当 k1时，表示随机变量的取值离不会期望不会太远（离期望较远的概率很小，小于 ） 当 时， ，上式总是成立表示（ ）,3,4,Markov不等式,将X换成满足条件的r(X)，上述结论也成立！ 当 ？ Chebyshev不等式：Markov不等式的应用,5,Chebyshev不等式,4.2 定理（Chebyshev不等式）：令 则 其中 X在其期望附近（t邻域）的概率与方差 有关 越大，随机变量远离期望的概率越大（方差用于度量随机变量围绕均值的散布程度） 越小，随机变量在期望附近，远离期望的概率越小 可用来证明样本均值会在其期望附件（样本数越多越接近，因为样本方差随n增大而减小）,6,7,Chebyshev不等式,X在其期望附近（t邻域）的概率与方差 有关 另外一个变形： k=2？ k=3？ 高斯分布为0.9997 这个界很松，因为Chebyshev不等式没有限定分布的形式，所以应用广泛 对某些具体的分布来说，可以得到更紧致的界，如高斯分布,Mills inequality,8,Chebyshev不等式,4.3例：假设我们在一个有n个测试样本的测试集上测试一个预测方法（以神经网络为例）。若预测错误置 预测正确则置 。则 为观测到的错误率。每个 可视为有未知均值p的Bernoulli分布。我们想知道真正的错误率p 。 直观地，我们希望 接近p 。但 有多大可能不在p的邻域内？ 由于对任意p有 ，所以当 时，边界为0.0625。,9,Hoeffding不等式,作用与Chebyshev不等式类似，但区间更紧致（增加了独立性约束） 4.4 定理（ Hoeffding不等式）：设 相互独立，且 。令 ，则对任意 4.5 定理（ Hoeffding不等式）：令 则对任意 ，有 其中,10,11,Hoeffding不等式,4.6 例：令 则根据Chebyshev不等式，有 根据Hoeffding不等式，有 结果远远小于0.0625。,12,Hoeffding不等式,可用来计算二项分布中的参数p的置信区间 对给定的 ，令 则根据Hoeffding不等式 令 ，则 则 。 称C为 置信区间。,13,Cauchy-Schwarze不等式,4.8 定理（ Cauchy-Schwarze不等式）：若X、Y是有限方差，则 例：协方差不等式,14,Jensen不等式,4.9 定理（ Jensen不等式）：如果g是凸的，则 如果g是凹的，则,15,16,凸函数,如果对所有的 ，满足 则函数 为凸函数（convex）， 为凹函数（concave） 凸：装水，如 凹：溢出水，如,17,凸函数,几何意义 连接 (a,g(a),(b,g(b)两点的弦，永远在 y=g(x) 之上 凸光滑函数上任一点的切线在曲线的下方,x,18,下节课内容：随机变量序列的收敛性,随机样本：IID样本 ， 统计量：对随机样本概述 Y为随机变量，Y的分布称为统计量的采样分布 如：样本均值、样本方差、样本中值 收敛性：当样本数量n趋向无穷大时，统计量的变化 大样本理论、极限定理、渐近理论,