跟李沐学AI:实用机器学习 | 第三章

3.1 8分钟机器学习介绍

机器学习算法分类

  • 监督学习:使用标注好的数据预测标号。自监督学习:标号从数据中产生得来,例如BERT、word2vec
  • 半监督学习:使用标注和未标注的数据训练,学习能够预测未标注数据的标号的模型,例如自训练
  • 无监督学习:使用未标注的数据训练,例如聚类、密度估计(GAN)
  • 强化学习:使用跟环境交互得到的数据不断调整,实现最大化,例如机器人

监督学习

  • 模型:从输入获得预测的输出
  • 损失函数:衡量真实标号和预测值之间的差异
  • 目标函数Objective:任何在训练过程中用于优化的函数
  • 优化函数Optimization:通过最小化损失学习模型参数

监督模型分类

  • 决策树:使用树做决策
  • 线性模型:使用输入的线性组合做决策
  • 核方法:使用核函数计算特征相似度
  • 神经网络:使用神经网络学习特征表示

3.2 决策树

优点:可解释、能够处理数值和类别特征(集成学习)

缺点:不稳定、复杂的树可能导致过拟合(剪枝)、不容易并行

随机森林(解决不稳定问题)

  • 训练多个决策树改善稳定性(并行):每棵树独立训练,对于分类任务使用投票,对于回归问题使用均值
  • “随机”来自于:①Bagging:可放回地对训练样本进行随机采样 ②不放回地对训练集的特征进行随机采样

Gradient Boosting Decision Trees

  • 在残差数据上按顺序训练多棵树 求和跟李沐学AI:实用机器学习 | 第三章_第1张图片

  • 残差数据:yi是第i个样本的标号,Ft(xi)是当前训练好了的树对第i个样本标号的预测值,把标号改为这两者之间的差。相当于ft预测的是真实值和预测值之间的差。
  • 残差就相当于梯度下降,所以叫做Gradient Boosting Decision Tree

3.3 线性模型

线性回归预测

给定数据x=[x1, x2, …, xp],

y=w1x1+w2x2+…+wpxp+b=+b

y_hat = (x*w).sum( )+b

  • 目标函数:最小化均方误差

跟李沐学AI:实用机器学习 | 第三章_第2张图片

线性回归分类

  • 输出是一个向量oi=+bi,第i个值表示它数据第i类的置信分数。标号y=[y1, y2, …, ym],当y=i时yi=1,否则为0
  • 最小化均方误差

  • 预测标号

                精力分散到所有类别中 不好

softmax回归

  • 把分数变成概率(非负,和为1)

  • 交叉熵损失函数

                让模型专注到在正确类别上的概率有多高

3.4 随机梯度下降

小批量随机梯度下降(Mini-batch Stochastic gradient descent(SGD))

小批量随机梯度下降几乎是整个深度学习唯一的求解方法,可以求解除了决策树外几乎所有的算法模型

w 模型参数       b batch size      nt 在时刻t的学习率

随机初始化w1

重复t=1, 2, …  直到收敛

优点:可以求解除了决策树外其他算法模型

缺点:对超参数b和nt敏感

跟李沐学AI:实用机器学习 | 第三章_第3张图片

yield可以反复地调用,然后一个一个地返回

w初始化时不能全部为0

@矩阵乘法   里面的 l 指的是loss   param-=learning_rate*param.grad

3.5 多层感知机

神经网络

手动抽取特征->神经网络学习特征

神经网络需要更多的数据和计算

用于对数据结构进行建模的神经网络架构

  • 多层感知机 Multiplayer perceptor, MLP
  • 卷积神经网络 Convolutional  neural network, CNN
  • 循环神经网络 Recurrent neural network, RNN
  • 变形金刚Transformers:既能处理时序信息,又能处理空间信息

线性方法 -> 多层感知机

单层感知机

稠密(全连接or线性)层参数W∈R(m*n),b∈R(m), 输出y=Wx+b∈R(m) 相当于m是样本数,n是特征数

  • 线性回归:1个输出的全连接层
  • softmax回归:m个输出的全连接层+softmax

多层感知机

  • 激活函数:非线性函数,形成非线性模型

  • 堆叠多个隐藏层得到更深的模型(dense+activation)

跟李沐学AI:实用机器学习 | 第三章_第4张图片 

left:有一层隐藏层的MLP(橙色标注的dense就是隐藏层)  right:有三层隐藏层的MLP

超参数:隐藏层层数、每个隐藏层的输出尺寸

跟李沐学AI:实用机器学习 | 第三章_第5张图片

 

3.6 卷积神经网络

全连接层 -> 卷积层

全连接层要学习的参数太多了

把先验信息嵌入模型架构中(translation invariance平移不变性, locality本地性 像素和邻居相关),从而实现使用更少的参数能够得到同样的模型容量

卷积层 Convolution layer

  • Locality:使用k*k的输入窗口计算输出,对结果进行求和作为输出
  • Translation invariant:输出使用相同的k*k权重(权重共享)
  • k*k的窗口被称为卷积核,学习识别模式

跟李沐学AI:实用机器学习 | 第三章_第6张图片

(cross-correlation 交叉相关)这里的*是对位乘

相当于步长为1,所以shape(Y)=[X.shape[0]-h+1, X.shape[1]-w+1]

池化层(汇聚层)Pooling layer

  • 卷积层对位置很敏感,输入的一个像素的偏移会导致输出中像素的偏移
  • 池化层计算k*k窗口中的均值/最大值作为输出(平均汇聚/最大汇聚)

跟李沐学AI:实用机器学习 | 第三章_第7张图片 

(此处代码应该写错了,应该是Y[i, j]=(X[i:i+h, j:j+w]*K).max()mean()

跟李沐学AI:实用机器学习 | 第三章_第8张图片          跟李沐学AI:实用机器学习 | 第三章_第9张图片

现代CNNs是用了不同的超参和连接层的深度神经网络:AlexNet, VGG, Inceptions, ResNet, MobileNet

3.7 循环神经网络

全连接层 -> 循环网络

语言模型:用于预测下个词

使用基本的MLP不能很好地处理序列信息

循环神经网络

跟李沐学AI:实用机器学习 | 第三章_第10张图片 

考虑历史信息

跟李沐学AI:实用机器学习 | 第三章_第11张图片 

带有门的RNNLSTM, GRU:对信息流做了一些很细致的控制

  • 忘掉输入:在计算ht的时候抑制xt,通过参数学习应该关注哪些xt、不关注哪些xt(比如句子中的符号)
  • 忘掉过去:在计算ht的时候抑制ht-1(比如新一句/新一段开始了)

跟李沐学AI:实用机器学习 | 第三章_第12张图片

 输入X是一个三维数据,num_steps是时间偏移

Bi-RNN Deep RNN

双向RNN:综合考虑上一个时刻和下一个时刻的信息输出yt

跟李沐学AI:实用机器学习 | 第三章_第13张图片 

Deep RNN:堆叠多个RNN层,其中的RNN层可以是双向的

跟李沐学AI:实用机器学习 | 第三章_第14张图片 

总结

跟李沐学AI:实用机器学习 | 第三章_第15张图片

根据不同的数据选择不同的算法

你可能感兴趣的:(跟李沐学AI,笔记整理,python)