ArtificialIntelligence神经网络算法梯度下降Momentum认识本页总览认识2025年02月07日柏拉文越努力，越幸运 一、认识 动量梯度下降（Momentum）优化算法的参数更新公式 通过 惯性项 vtv_tvt 使梯度下降更加稳定, 可以减少 SGD 的震荡问题 二、公式 vt=βvt−1−α∇Lv_t = \beta v_{t-1} - \alpha \nabla Lvt=βvt−1−α∇L W:=W+vtW := W + v_tW:=W+vt
