用于训练神经网络的自适应梯度下降优化算法 |
| |
引用本文: | 阮乐笑.用于训练神经网络的自适应梯度下降优化算法[J].哈尔滨商业大学学报(自然科学版),2024(1):25-31. |
| |
作者姓名: | 阮乐笑 |
| |
作者单位: | 安徽理工大学数学与大数据学院 |
| |
摘 要: | 由于神经网络规模的扩大,模型训练变得越来越困难.为应对这一问题,提出了一种新的自适应优化算法——Adaboundinject.选取Adam的改进算法Adabound算法,引入动态学习率边界,实现了自适应算法向随机梯度下降(SGD)的平稳过渡.为了避免最小值的超调,减少在最小值附近的振荡,在Adabound的二阶矩中加入一阶矩,利用短期参数更新作为权重,以控制参数更新.为了验证算法性能,在凸环境下,通过理论证明了Adaboundinject具有收敛性.在非凸环境下,进行了多组实验,采用了不同的神经网络模型,通过与其他自适应算法对比,验证了该算法相比其他优化算法具有更好的性能.实验结果表明,Adaboundinject算法在深度学习优化领域具有重要的应用价值,能够有效提高模型训练的效率和精度.
|
关 键 词: | 深度学习 自适应优化算法 神经网络模型 图像识别 动态学习率边界 短期参数更新 |
|
|