认识

2025年02月07日

柏拉文

越努力，越幸运

一、认识

---

AdaGrad（Adaptive Gradient Algorithm） 优化算法更新公式 自适应调整学习率，但是会有学习率可能过早变小，导致停止学习的问题。

二、公式

---

$$W := W - \frac{\alpha}{\sqrt{G_t} + \epsilon} \nabla L$$