python实现随机梯度下降

梯度下降和随机梯度下降的区别是，梯度下降在每次更新时，使用所有样本来计算，这样的实现在大型数据集上运行会非常慢，会被认为是浪费资源。

随机梯度下降指的是用样本中的一个例子来代替所有的样本，对于最优化问题，凸问题，虽然不是每次迭代得到的损失函数都向着全局最优方向， 但是大的整体的方向是向全局最优解的。

SGD是训练深度神经网络时最重要的算法。mini-batch随机梯度下降是采样小批量数据来更新。

python实现随机梯度下降如下，使用常规的线性模型来测试效果。

from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report
from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt
import numpy as np
import argparse

# sigmoid 激活函数
def sigmoid_activation(x):
    return 1.0 / (1 + np.exp(-x))

# 输入X和权重，相乘再使用激活函数得到预测结果（线性模型）
def predict(X, W):
    preds = sigmoid_activation(X.dot(W))

    preds[preds <= 0.5] = 0
    preds[preds > 0] = 1

    return preds

# 下一个batch：yield相当于return，筛选出batchsize大小的样本作为mini-batch
def next_batch(X, y, batchSize):
    for i in np.arrange(0, X.shape[0], batchSize):
        yield (X[i:i+batchSize], y[i:i + batchSize])

ap = argparse.ArgumentParser()
ap.add_argument("-e","--epochs",type=float, default=100, help="# of epochs")

ap.add_argument("-a","--alpha",type=float, default=0.01, help="learning rate")

ap.add_argument("-b","--batch-size", type=int, default=32, help="size of SGD mini-batches")
args = vars(ap.parse_args())

# 生成随机的离散点，1000个
(X, y) = make_blobs(n_samples=1000, n_features=2, centers=2, cluster_std=1.5, random_state=1)
y = y.reshape((y.shape[0], 1))

# x新增一列1，表示b
X = np.c_[X, np.ones((X.shape[0]))]

(trainX, testX, trainY, testY) = train_test_split(X, y, test_size=0.5, random_state=42)

print("[INFO] training...")
W = np.random.randn(X.shape[1], 1)
losses = []

for epoch in np.arange(0, args["epochs"]):
    epochLoss = []

    # 筛选出部分样本
    for (batchX, batchY) in next_batch(X, y, args["batch_size"]):
        preds = sigmoid_activation(batchX.dot(W))
        error = preds - batchY
        epochLoss.append(np.sum(error ** 2))

        # 梯度计算
        gradient = batchX.T.dot(error)
        W += -args["alpha"] * gradient
    loss = np.average(epochLoss)
    losses.append(loss)

    if epoch == 0 or (epoch + 1) % 5 == 0:
        print("[INFO] epoch={}, loss={:.7f}".format(int(epoch + 1), loss))

print("[INFO] evaluating...")
# 根据学习到的W获得最终结果
preds = predict(testX, W)

# 根据Y和预测结果生成评价指标
print(classification_report(testY, preds ))

# 生成聚类散点图
plt.style.use("ggplot")
plt.figure()
plt.title("Data")
plt.scatter(testX[:, 0],testX[:, 1], marker="o", c=testY, s=30)

# 生成损失图
plt.style.use("ggplot")
plt.figure()
plt.plot(np.arange(0, args["epochs"]), losses)
plt.title("Training Loss")
plt.xlabel("Epoch #")
plt.ylabel("Loss")
plt.show()

结果：