前言 这里讨论的优化问题指的是，给定目标函数fx)，我们须要找到一组參数x。使得fx)的值最小。 本文下面内容如果读者已经了解机器学习基本知识，和梯度下降的原理。 SGD SGD指stochastic … Continue reading 各种优化方法总结比較（sgd/momentum/Nesterov/adagrad/adadelta）
前言 这里讨论的优化问题指的是，给定目标函数fx)，我们须要找到一组參数x。使得fx)的值最小。 本文下面内容如果读者已经了解机器学习基本知识，和梯度下降的原理。 SGD SGD指stochastic … Continue reading 各种优化方法总结比較（sgd/momentum/Nesterov/adagrad/adadelta）