以线性回归算法来对三种梯度下降法进行比较.doc
《以线性回归算法来对三种梯度下降法进行比较.doc》由会员分享,可在线阅读,更多相关《以线性回归算法来对三种梯度下降法进行比较.doc(3页珍藏版)》请在三一文库上搜索。
1、以线性回归算法来对三种梯度下降法进行比较在应用机器学习算法时,我们通常采用梯度下降法来对采用的算法进行训练。其实,常用的梯度下降法还具体包含有三种不同的形式,它们也各自有着不同的优缺点。下面我们以线性回归算法来对三种梯度下降法进行比较。一般线性回归函数的假设函数为:对应的能量函数(损失函数)形式为:下图为一个二维参数(0和 1)组对应能量函数的可视化图:01批量梯度下降法BGD批量梯度下降法(Batch Gradient Descent,简称BGD)是梯度下降法最原始的形式,它的具体思路是在更新每一参数时都使用所有的样本来进行更新,其数学形式如下:(1) 对上述的能量函数求偏导:(2) 由于是
2、最小化风险函数,所以按照每个参数的梯度负方向来更新每个 :具体的伪代码形式为:从上面公式可以注意到,它得到的是一个全局最优解,但是每迭代一步,都要用到训练集所有的数据,如果样本数目 m 很大,那么可想而知这种方法的迭代速度!所以,这就引入了另外一种方法,随机梯度下降。优点:全局最优解;易于并行实现;缺点:当样本数目很多时,训练过程会很慢。从迭代的次数上来看,BGD迭代的次数相对较少。其迭代的收敛曲线示意图可以表示如下:02随机梯度下降法SGD由于批量梯度下降法在更新每一个参数时,都需要所有的训练样本,所以训练过程会随着样本数量的加大而变得异常的缓慢。随机梯度下降法(Stochastic Gra
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 线性 回归 算法 梯度 下降 进行 比较
链接地址:https://www.31doc.com/p-3375296.html