机器学习——Day1

0.什么是机器学习

机器学习（machine learning）是目前信息技术中最激动人心的方向之一，通过学习机器学习我们可以深入了解人类的本质（复读机？？）——人类学习的过程，可以在一定程度上帮助我们了解学习的机制，提升我们日常工作的效率.
机器学习的本质是通过不断学习大量知识求解一个具体问题，而这个大量的知识我们称之为训练集，再通过验证集进行评估学习（模型）的好坏，这类似于我们学习数学一样，在考试前疯狂的做题目进行训练，再通过考试验证自己是否掌握了这些知识。

1.线性回归

以房价数据为例

size	price
100	100000
200	240000
300	300000

影响房价的因素我们称之为特征（feature）
而房价我们称之为标签（target）
简化的房价求解方程如下：
$$f(x)={\theta }_0+{\theta }_1\ast x$$

代价函数（cost function）又称损失函数，用于评价模型的好坏，用于计算feature
常见的代价函数有最小二乘

1.1最小二乘

真实值y，误差值$h_{\theta }(x)$,则误差为$(y-h_{\theta }(x){)}^2$
$$\Gamma ({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(y^i-h_{\theta }(x^i){)}^2$$
使该函数最小
相关系数
我们使用相关系数去衡量线性相关性的强弱
$$r_{xy}=\frac{\sum （x_i-\bar{x}）（y_i-\bar{y}）}{\sqrt{\sum （x_i-\bar{x}{）}^2\sum （y_i-\bar{y}{）}^2}}$$
$\bar{x}$代表所有x的平均值
相关系数越接近1表示这些样本点越接近线性的关系
决定系数

总平方和(SST): ${\sum }_{i=1}^n(y_i-\bar{y}{)}^2$
回归平方和(SSR):${\sum }_{i=1}^n(y-\bar{y}{)}^2$
残差平方和(SSE):${\sum }_{i=1}^n(y_i-y{)}^2$
三者关系:SST=SSR+SSE
决定系数:$R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}$

决定系数越接近1表示变量之间越接近线性的关系

1.2梯度下降

梯度下降算法用于优化代价函数，使得代价函数不断减小达到最小值
Have some function $\Gamma ({\theta }_0,{\theta }_1)$
What ${\min }_{{\theta }_0,{\theta }_1}\Gamma ({\theta }_0,{\theta }_1)$

• 初始化 ${\theta }_0,{\theta }_1$
• 不断改变${\theta }_0,{\theta }_1$，直到$\Gamma ({\theta }_0,{\theta }_1)$到达全局最小或者局部最小
  $${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}\Gamma ({\theta }_0,{\theta }_1)(forj=0andj=1)$$
  $\alpha$为学习率
  偏导讲解

1.3梯度下降法-一元线性回归

波士顿房价预测

import numpy as np
import matplotlib.pyplot as plt

#数据载入
data = np.genfromtxt("data.csv", delimiter=",")
x_data = data[:,0]
y_data = data[:,1]
plt.scatter(x_data,y_data)
plt.show()

# 学习率
a = 0.001
# 截距
b = 0
# 斜率
feature = 0
# 最大迭代次数
MAX_ITER = 100
# 最小误差
MIN_ERROR = 0.01

# 最小二乘
def min_plus(b,feature,x_data,y_data):
    total_sum = 0
    count = len(x_data)
    for i in range(count):
        total_sum = (y_data[i]-(b+feature*x_data[i]))**2
    return 1/(2*count)*total_sum

# 梯度下降
def gradient_descent(b,feature,x_data,y_data,a=0.0001,MAX_ITER = 100,MIN_ERROR = 0.01):
    count = len(x_data)
    for c in range(MAX_ITER):
        b_grad = 0
        c_grad = 0
        for i in range(count):
            b_grad += (b+feature*x_data[i]-y_data[i])/count
            c_grad += x_data[i]*(b+feature*x_data[i]-y_data[i])/count
        b = b-a*b_grad
        feature = feature-a*c_grad
    return b,feature

print("Starting b = {0}, k = {1}, error = {2}".format(b,feature, min_plus(b, feature, x_data, y_data)))
print("Running...")
b, feature = gradient_descent(b, feature,x_data, y_data)
print("After {0} iterations b = {1}, k = {2}, error = {3}".format(100, b, feature,min_plus(b, feature, x_data, y_data)))

# 画图
plt.plot(x_data, y_data, 'b.')
plt.plot(x_data, feature*x_data + b, 'r')
plt.show()

Starting b = 0, k = 0, error = 14.286861304383226
Running...
After 100 iterations b = 0.032071915131595685, k = 1.4788617416703924, error = 1.3220628355160366