1.1 统计学习
统计学习包括监督学习、非监督学习、半监督学习及强化学习。
步骤：
1）得到一个有限的训练数据集合
2）确定包含所有可能的模型的假设空间，即学习模型的集合
3）确定模型选择的准则，即学习的策略
4）实现求解最优模型的算法，即学习的算法
5）通过学习方法选择最优模型
6）利用学习的最优模型对新数据进行预测或分析
1.2 监督学习
监督学习（supervised learning）的任务是学习一个模型，使模型能够对任意给定的输入，对其相应的输出做出一个好的预测。从训练数据中学习模型，对测试数据进行预测。
1.3 统计学习三要素
1）模型
本书中决策函数表示的模型为非概率模型
条件概率表示的模型为概率模型
2）策略
损失函数度量模型一次预测的好坏
a. 0-1损失函数 L(Y, f(X))
b. 平方损失函数
c. 绝对损失函数
d. 对数损失函数
风险函数度量平均意义下的模型预测好坏
3）算法
1.4 模型估计与模型选择
训练误差：模型关于训练数据集的平均损失
测试误差：模型关于测试数据集的平均损失
过拟合
1.5 模型选择方法：正则化与交叉验证
1）正则化是结构风险最小化策略的实现，是在经验风险上加上一个正则化项或罚项。正则化的作用是选择经验风险与模型复杂度同时较小的模型。
2）交叉验证
一种简单的模型选择方法是随机的将数据集切分为训练集、验证集和测试集，训练集用于训练模型，验证集用于模型选择，测试集用于最终对学习方法的评估。
在实际应用中，数据不是充足的，为了选择好的模型，采用交叉验证。基本思想是重复的使用数据；把给定的数据切分，将切分的数据集组合为训练集和测试集，在此基础上反复训练、测试及模型选择。
简单交叉验证、S折交叉验证、留一交叉验证。
1.6 泛化能力
学习方法的泛化能力是由该方法学习到的模型对未知数据的预测能力，是学习方法本质上重要的性质。
泛化误差是所学习到的模型的期望风险。
1.7 生成模型与判别模型
生成方法由数据学习联合概率分布P(X,Y)，然后求出条件概率分布P(Y|X)作为预测的模型，即生成模型，典型的生成模型：朴素贝叶斯法和隐马尔可夫模型。
判别方法由数据学习决策函数f(X)或者条件概率分布P(Y|X)作为预测的模型，即判别模型，典型的判别模型：k近邻法、感知机、决策树、逻辑斯谛回归模型、最大熵模型、支持向量机、提升方法、条件随机场等。
1.8 分类问题
1.9 标注问题
1.10 回归问题
练习
例题1.1 数据拟合
import numpy as np
import matplotlib.pyplot as plt
import scipy as sp
from scipy.optimize import leastsq
# 目标函数 sin2πx
def real_func(x):
return np.sin(2 * np.pi * x)
# 拟合函数 多项式
def fit_func(p, x):
f = np.poly1d(p)
return f(x)
# 残差
def residuals_func(p, x, y):
ret = fit_func(p, x) - y
return ret
x = np.linspace(0, 1, 10) #0~1之间10个数字
x_points = np.linspace(0, 1, 1000)
# 增加正态分布噪音的目标函数值
y_ = real_func(x)
y = [np.random.normal(0, 0.1) + y1 for y1 in y_] #正态分布均值0，标准差0.1
def fitting(m=0):
# m是多项式次数
# 随机初始化多项式参数
p_init = np.random.rand(m + 1) #随机生成[0,1)之间的m+1个数,返回多项式的次数就是m
# 最小二乘
p_lsq = leastsq(residuals_func, p_init, args=(x, y)) #args数据点
# 可视化
plt.plot(x_points, real_func(x_points), label='real')
plt.plot(x_points, fit_func(p_lsq[0], x_points), label='fitted curve')
plt.plot(x, y, 'bo', label='noise')
plt.legend()
plt.show()
return p_lsq
p_lsq_0 = fitting(m=0)
p_lsq_0
m=0
m=1
m=3
m=9
m=9出现了过拟合，加入正则化项，降低过拟合
regularization = 0.0001
def residuals_func_regularization(p, x, y):
ret = fit_func(p, x) - y
ret = np.append(ret,
np.sqrt(0.5 * regularization * np.square(p))) # L2范数作为正则化项
return ret
# 最小二乘法,加正则化项
p_init = np.random.rand(9 + 1)
p_lsq_regularization = leastsq(
residuals_func_regularization, p_init, args=(x, y))
plt.plot(x_points, real_func(x_points), label='real')
plt.plot(
x_points,
fit_func(p_lsq_regularization[0], x_points),
label='regularization')
plt.plot(x, y, 'bo', label='noise')
plt.legend()
plt.show()