批量梯度下降算法和随机梯度下降算法的代码实现

批量梯度下降算法和随机梯度下降算法的代码实现
随机梯度下降和批量梯度下降都是梯度下降方法的一种，都是通过求偏导的方式求参数的最优解。批量梯度下降算法：，。是通过对每一个样本求偏导，然后挨个更新。（对于大样本的实验，这种方法效率太低），而随机梯度下降算法则是从其中的所有样本中取出部分样本求偏导，对参数进行更新。

#include "stdio.h" 
#include<iostream>
using namespace std;

void main()
{
    float matrix[4][2] = { { 1, 4 }, { 2, 5 }, { 5, 1 }, { 4, 2 } };
    float result[4] = { 19, 26, 19, 20 };
    float theta[2] = { 2, 5 };
    float learning_rate = 0.001;
    float loss = 100.0;
    for (int i = 1; i<500 && loss>0.001; i++)
    {
        float error_sum[2] = { 0.0, 0.0 };
        for (int j = 0; j < 4; ++j)
        {
            float h = 0.0;
            for (int k = 0; k < 2; ++k)
            {
                h += matrix[j][k] * theta[k];
            }
            for (int k = 0; k < 2; ++k)
            {
                error_sum[k] += (result[j] - h)*matrix[j][k];
            }
        }
        for (int k = 0; k < 2; ++k)
        {
            theta[k] += error_sum[k] * learning_rate;
        }
        cout << "theta[2]= " << theta[0] << "," << theta[1] << endl;
        float loss = 0.0;
        for (int j = 0; j < 4; ++j)
        {
            float h = 0.0;
            for (int k = 0; k < 2; ++k)
            {
                h += matrix[j][k] * theta[k];
            }
            loss += (result[j] - h)*(result[j] - h);
        }
        cout << "error of this algorithms is" << loss << endl;
    }
    system("pause");
}