图像识别技术与应用第三课

一、感知机
       感知机由美国学者Frank Rosenblatt在1957年提出，它根据输入x、权重w和偏差b进行输出，输出结果是二分类（0或1） ，这和输出实数的回归以及输出概率用于多分类的Softmax不同。像与门、与非门、或门都能通过设定合适的权重和偏差实现。

• w称为权重：控制输入信号的重要性的参数
• b称为偏置：偏置是调整神经元被激活的容易程度参数
• 感知机的局限性:感知机的局限性就是只能表示由一条直线分割的空间。

二、多层感知机

1、  结构与超参数：最简单的深度神经网络，通过隐藏层和激活函数构建非线性模型。隐藏层大小是超参数，影响模型复杂度。

•     隐藏层数量,多少层隐藏层
•     每层的隐藏单元数目，隐藏层神经元个数

2、激活函数

      刚才登场的h（x）函数会将输入信号的总和转换为输出信号，这种函数一般称为激活函数。激活函数的作用在于决定如何来激活输入信号的总和。
        
        
       

 

 

      激活函数在神经元中非常重要的。为了增强网络的表示能力和学习能力，激活函数需要具备以下几点性质：

• 连续并可导（允许少数点上不可导）的非线性函数。
• 激活函数及其导函数要尽可能的简单，有利于提高网络计算效率。
• 激活函数的导函数的值域要在一个合适的区间内，不能太大也不能太小，否则会影响训练的效率和稳定性。

      常见的有阶跃函数、S型（sigmoid）激活函数（挤压函数）、tanh激活函数（双曲正切）、ReLU函数（线性修正函数） 。不同激活函数特性不同，如阶跃函数以0为界切换输出，tanh函数将输入映射到 (-1, 1) ，ReLU函数是线性修正单元。多分类问题常使用Softmax函数

• 阶跃函数：以0为界，一旦输入超过0，就切换输出1，否则输出0
• S型（sigmoid）激活函数（挤压函数）：将输入投影到（0，1），是一个软的σ(x)={■(1&"if  " x>0@0&"otherwise" )
• tanh激活函数（双曲正切）：将输入映射到 (-1, 1)
• RELU函数（线性修正函数）: 线性修正单元

三、学习与训练过程

1、学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值乃至拓扑结构，以使网络的输出不断地接近期望的输出。

2、学习本质：本质是对可变权值的动态调整。

3、训练过程：包括前向传播（从输入层到输出层）和反向传播（从输出层到输入层）。反向传播用于计算神经网络参数梯度，修正各层单元权值。

四、训练误差和泛化误差
    1、训练误差：模型在训练数据集上的误差
    2、泛化误差: 模型在新数据集上的误差
五、验证数据集和测试数据集
    1、验证数据集：一个用来评估模型好坏的数据集
    2、测试数据集：评估最终模型的性能
六、K -折交叉验证
      数据不足时的有效方法，将训练数据划分为K个部分，轮流用一部分作验证集，其余训练，报告K个部分验证时的平均误差，常见K值为5或10。
七、过拟合与欠拟合
    1、过拟合：当学习器把训练样本学得"太好"了的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质
    2、欠拟合：对训练样本的一般性质尚未学好
八、模拟和数据复杂度的影响
    1、模型复杂度受参数个数和参数值选择范围影响。
    2、数据复杂度受样本数量、样本特征数量等多种因素影响。
九、总结
感知机和多层感知机是图像识别技术的重要基础，理解它们，不仅能让我们明白图像识别是怎么实现的，还能为学习更复杂的深度学习模型打开大门。

• 多层感知机使用隐藏层和激活函数来得到非线性模型
• 常用激活函数是Sigmoid，Tanh，RELU
• 使用Softmax来处理多分类
• 超参数为隐藏层数和各个隐藏层大小