SGD（随机梯度下降算法）的缺点

虽然SGD很容易实现，到是在解决某些问题时，可能没有效率
例如：

# coding: utf-8
class SGD:
    def __init__(self, learning_rate=0.01):
        self.learning_rate = learning_rate
        
    def update(self, params, grads):
        for key in params.keys():
            params[key] -= self.learning_rate * grads[key]
            
            
"""在应用中，optimizer = SGD()
            optimizer.update(params, grads)
    深度学习的很多框架中都实现了各种优化算法，并且提供了可以简单切换这些方法的构造，直接调用即可"""