ArtificialIntelligence神经网络算法梯度下降RMSprop认识本页总览认识2025年02月07日柏拉文越努力，越幸运 一、认识 RMSprop（Root Mean Square Propagation） 优化算法的参数更新公式 解决 AdaGrad 学习率衰减太快的问题, 适用于非平稳损失 二、公式 Gt=βGt−1+(1−β)(∇L)2G_t = \beta G_{t-1} + (1 - \beta) (\nabla L)^2Gt=βGt−1+(1−β)(∇L)2 W:=W−αGt+ϵ∇LW := W - \frac{\alpha}{\sqrt{G_t} + \epsilon} \nabla LW:=W−Gt+ϵα∇L
