神经网络学习

机器学习

作者：金簪雪里埋
链接：https://www.zhihu.com/question/68039355/answer/259147431
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

机器学习（Machine Learning）

可以被看成一项任务，
这个任务的目标就是让机器（广义上的计算机）通过在数据中学习来获得类似人类的智能。
例如人类会下围棋，AlphaGo或AlphaGo Zero就是一个掌握了围棋知识、会下围棋的计算机程序。

实现机器学习任务的方法：

神经网络（Neural Network）、线性回归、决策树、支持向量机、贝叶斯分类器、强化学习、概率图模型、聚类等多种方法。

神经网络：

可见神经网络方法只是机器学习方法中的一种。
在机器学习领域谈论神经网络，一般是指“神经网络学习”。
它是一种由许多简单元组成的网络结构，这种网络结构类似于生物神经系统，用来模拟生物与自然环境之间的交互。
神经网络是一个比较大的概念，针对语音、文本、图像等不同的学习任务，衍生出了更适用于具体学习任务的神经网络模型，如递归神经网络（Recurrent Neural Network，RNN）、卷积神经网络（Convolutional Neural Network，CNN）等。
早在上世纪80年代，神经网络就被提了出来，但在应用上一般采用很浅层的、很小的网络。现如今，随着数据量越来越大，计算资源越来越丰富，以及算法上的改进和优化，神经网络的层数变得越来越多，学习的效果变得也越来越好，
**这就是深度学习（Deep Learning），本质上就是深层的神经网络**。

机器学习定义&分类

定义

根据物理特征数据来让模型学习（训练）

分类（常见算法）

（样本有标记、无标记、部分标记）
     监督式学习（回归分析、统计分类）
     无监督式学习（关联规则的学习、聚类）
     半监督式学习
强化学习(给出的是机器的反馈，即用来判断这个决策是好还是不好)

函数&超参数

目标函数：

根据已知变量来求解未知量的函数关系式
一旦目标函数确定，机器学习算法最后归结为求解最优化的问题
让目标函数取极大极小值，从而得到机器学习算法的模型参数

激活函数：

在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数就叫做激活函数。
如果激励函数是线性函数，就是简单的感知机

参数和超参数：

参数：算法内部可以通过训练数据进行得到的参数
超参数：算法外部的参数，在训练之间需要设置好

验证

泛化问题

机器学习的主要挑战hi在未见过的数据输入上表现良好，这个能力叫做泛化能力
训练误差 、测试误差（泛化误差）

过拟合和欠拟合

评估方法

神经网络

单个神经元

b是阈值（或者偏移）

BP神经网络

前馈传播算法

反向传播算法

常见优化算法

卷积神经网络定义&特点

经典卷积神经网络结构：

AlexNet
VGGNet
ResNet(残差网络)
YOLO神经网络模型

是多层神经网路的基础上发展起来的针对图像分类和识别而特别设计的一种深度学习方法，它是一种前馈神经网络，对于大型图像处理有出色表现。

特点：稀疏连接、参数共享

隐藏层

卷积层

卷积运算（输入数据&卷积核）

由于输入数据内部参与的计算多于边缘数据的计算（像素填充&移动步长）

填充（valid&same）

池化层（经卷积层计算后的特征数量依旧很大，利用池化层来减少参数）

最大化池化过程：

全连接层