机器学习入门笔记

机器学习入门笔记

主要资料：莫烦python机器学习教程
机器学习可以分为：

• 监督学习（大量有标签样本）
• 非监督学习（无标签样本，自行学习、总结）
• 半监督学习（少量有标签、大量无标签样本）
• 强化学习（总结经验）
• 遗传算法（适者生存，不适者淘汰）

神经网络

神经网络是一种监督学习的方式，人工神经网络神经元之间的连接是固定的，不能凭空产生新的连接（自然神经网络则是通过刺激产生新的连接，让信号能通过新的连接而形成反馈）。根据数据集的输出结果不断修改神经元强度，即，误差反向传递，将信号回传，查看神经元对于结果有无贡献。

简介

人工神经网络能在外部信息的基础上改变内部结构
结构：

• input layer
• output layer
• hidden layer x（x为未知数）
  每个神经元都有自己的刺激函数，可以用来给神经网络刺激行为，经过训练后，一部分神经元变得灵敏，另一部分变得迟钝

卷积神经网络CNN

主要用于计算机图像识别、视频分享、自然语言处理。

卷积：

对图片的一个区域进行处理，而不是对每个像素进行处理。
卷积可以简单理解为：系统的输入由当前时刻的输入和之前所以时刻的输入共同决定，卷积后的像素值由当前像素值和周围的像素共同加权决定，离中心越远影响越小（即局部加权）。将长宽压缩，高度增加。

循环神经网络RNN

主要用于语言识别
$X(t)\stackrel{s(t)}{⟶}Y(t)$
$X(t+1)\stackrel{s(t)、s(t+1)}{⟶}Y(t+1)$
迭代多次，使得后面的$Y(t+n)$由$S(t)、S(t+1)...S(t+n-1)$共同决定
多用于分类问题

LSTM RNN

long short-term memory长短期记忆，为了解决RNN的梯度消失和梯度爆炸的问题而提出，可以延缓记忆衰退。

自编码（Autoencoder）

非监督学习。
压缩与解压，提取最具代表性的信息，压缩输入的信息量，再将压缩过的信息放入神经网络中学习。
编码器（encoder）可以获得原数据的精髓，可以总结原数据每种类型数据但特征，给特征属性降维。

生成对抗网络（GAN）

$随机数\stackrel{GAN}{⟶}作品$
不断随机生产作品，进行判断，不断迭代，

梯度下降

optimization优化问题
梯度：求导求微分
误差方程$Cost=(predicted-real{)}^2=(Wx-y{)}^2$cost最小的地方就是误差曲线最低的地方，则需要向使得梯度下降的方向不断移动，直到找到最小误差，即梯度为0（全局最优解、局部最优解）

迁移学习 Transfer Learning

把已有神经网络的output layer换成新的hidden layer，训练新的数据，即迁移模型。