深度学习超参数简单理解：learning rate,weight decay和momentum-白红宇

深度学习超参数简单理解：learning rate,weight decay和momentum

阅读量：3742 次

发布时间：2019-05-22

本文共 1312 字，大约阅读时间需要 4 分钟。

说到这些参数就会想到 Stochastic Gradient Descent (SGD)！其实这些参数在 caffe.proto 中对caffe网络中出现的各项参数做了详细的解释。

Learning Rate

学习率决定了权值更新的速度，设置得太大会使结果超过最优值，太小会使下降速度过慢。仅靠人为干预调整参数需要不断修改学习率，因此后面3种参数都是基于自适应的思路提出的解决方案。后面3中参数分别为：Weight Decay 权值衰减，Momentum 动量和Learning Rate Decay 学习率衰减。

$\omega_{i}\leftarrow \omega_{i} - \eta \frac{\partial E}{\partial \omega_{i}}$

$\omega_{i}\leftarrow m\cdot \omega_{i} - \eta \frac{\partial E}{\partial \omega_{i}}$

Weight decay

在实际应用中，为了避免网络的过拟合，必须对价值函数（Cost function）加入一些正则项，在SGD中加入 $\eta \lambda \omega _{i}$ 这一正则项对这个Cost function进行规范化：

$\omega_{i}\leftarrow \omega_{i} - \eta \frac{\partial E}{\partial \omega_{i}} - \eta \lambda \omega _{i}$

上面这个公式基本思想就是减小不重要的参数对最后结果的影响，网络中有用的权重则不会收到Weight decay影响。

在机器学习或者模式识别中，会出现overfitting，而当网络逐渐overfitting时网络权值逐渐变大，因此，为了避免出现overfitting,会给误差函数添加一个惩罚项，常用的惩罚项是所有权重的平方乘以一个衰减常量之和。其用来惩罚大的权值。

Momentum

动量来源于牛顿定律，基本思想是为了找到最优加入“惯性”的影响，当误差曲面中存在平坦区域，SGD就可以更快的学习。

$\omega_{i}\leftarrow m\cdot \omega_{i} - \eta \frac{\partial E}{\partial \omega_{i}}$

Learning Rate Decay

该方法是为了提高SGD寻优能力，具体就是每次迭代的时候减少学习率的大小。

$\eta \left( s \right) =\frac{\eta _{0} }{1+s\cdot \eta _{n}}$

点击这里：

接下来是我在知乎查询到的一点资料（整理了供大家参考学习）：

weight decay（权值衰减）的使用既不是为了提高收敛精确度也不是为了提高收敛速度，其最终目的是防止过拟合。在损失函数中，weight decay是放在正则项（regularization）前面的一个系数，正则项一般指示模型的复杂度，所以weight decay的作用是调节模型复杂度对损失函数的影响，若weight decay很大，则复杂的模型损失函数的值也就大。

momentum 是梯度下降法中一种常用的加速技术。对于一般的SGD，其表达式为