Tensorflow

中优化器

optimizer

参数

adam

认识

?、先理解优点

Adam优化器

2014年12?，Kingma和Lei Ba两位学者提出了Adam优化器，结合AdaGrad和RMSProp两种优化算法的优点。对梯度的?阶矩估计

（First Moment Estimation，即梯度的均值）和?阶矩估计（SecondMoment Estimation，即梯度的未中?化的?差）进?综合考

虑，计算出更新步长。

主要包含以下?个显著的优点：

1. 

实现简单，计算?效，对内存需求少

2. 

参数的更新不受梯度的伸缩变换影响

3. 

超参数具有很好的解释性，且通常?需调整或仅需很少的微调

4. 

更新的步长能够被限制在?致的范围内（初始学习率）

5. 

能?然地实现步长退?过程（?动调整学习率）

6. 

很适合应?于?规模的数据及参数的场景

7. 

适?于不稳定?标函数

8. 

适?于梯度稀疏或梯度存在很?噪声的问题

综合Adam在很多情况下算作默认?作性能?较优秀的优化器。