深度学习-简单部分笔记

深度学习

深度学习是机器学习的一部分

其中最重要的是特征工程:

特征工程的作用:

数据特征决定了模型的上限

预处理和特征提取是最核心的

算法与参数选择决定如何逼近这个上限

深度学习-简单部分笔记_第1张图片

神经网络就是一个黑盒子 做各种个样的变换 然后得出一个结论

对特征数据自动提取 计算机可以认识 学习的一个过程

深度学习就是计算机学习

深度学习应用

无人驾驶 高速车站 计算机视觉的识别

深度学习必须是自然语言处理以及计算机视觉

图像数据+文本数据 + 人脸识别

卡帧 医学深度学习应用很广 神经网络自动重构

李飞飞 imageNet 计算机的效果远超人类

数据规模 必须要几万几十万才需要深度学习

1万人脸 数值数据

图像分类

计算机视觉: 图像分类任务 图像在矩阵中就是一些点

0-255 weightheight颜色通道

整体思路都是跟机器学习差不多

CIFAR-10

K近邻 部分结果还是不错的 但是有的分类效果还是不行

无法确定什么是主体 什么是背景 深度学习可以自学习

不能做图像分类 无法自圆其说

图像分类 计算像素乘积得分值

正值是一个促进的作用 负值是抑制的作用

数据预处理之后 数值不变 W矩阵可以变 W会对最后的结果产生影响 选择优化方法不断改进W参数

损失函数是衡量一个事情的结果的正确

模型不要太复杂 过拟合的模型是没用的

神经网络过于强大 越强大 过拟合的风险越大 神经网络需要变弱

Softmax分类器

我们得到一个输入的得分制 概率得分是

只关注正确类别的概率值 log不让他是负值

反向传播

神经网络正则化的处罚力度:

sigmod函数 所有的梯度的函数都可以计算

函数数值较大小 会因为梯度计算直接消失0

Relu函数 市面上90%都是这个 避免大树或者小数消失

Drop-Out消除 七伤拳 全连接 为了避免过拟合

随机选择一部分不使用 重复多次每次选择一部分进行杀死

卷积神经网络的应用

深度学习

CV运用计算机视觉 远远高于人眼

检测+追踪 现在计算机视觉论文 每一年都在进行提升

只要跟图片相关 无人驾驶 也是卷积神经网络 CPUGPU

图像处理单元 lps 连接不连贯 应用实际项目就必须使用GPU

人脸重构 怎么养提取特征

卷积的作用

CNN输入原始的图像 卷积神经网络 hwc

卷积神经网络:整体架构:

输入层 卷积层 池化层 全连接层

对不同的区域 提取不同的特征

步长影响特征

边缘填充

Pad1 边缘填充 有些点对计算结果天生就有优势 边界点被利用的次数就是比较少

池化的作用

压缩 下采样

卷积神经网络的结构

两次卷积 一次池化压缩 拉长操作 是把特征值拉长

一次卷积 特征值个数明显变多

Alexnet Vgg

训练时间 以天为单位

Resnet

训练自己的数据集流程

每个都是1000个数据 必须做到3000个数据

keras实战:

TensorFlow 复杂API变简单 便捷 keras就是一个安装包

相应tensorflow也可以一起安装

flatten拉成一维的

需要验证集 序列网络 直接添加

深度学习-简单部分笔记_第2张图片

神经网络影响最大的就是学习率

加载模型进行预测

拉平操作 变成1

卷积模型

VGG RESNET 框架都是有现成的 直接使用就可以了 不需要改进

网络结构 参数学不需要自己调

所有的参数一点点试验 直接调用就可以了

如何让模型的泛化效果更平和一些

卷积层:全连接层

CNN 边角 形状: 语义

卷积为什么能提取特征???

黑白图片是由像素点构成的 0 -255 卷积核就是 【-1,1】

从特征图 构成featureMap 从卷积核可以得到边界线

卷积核就是匹配特征 匹配到了之后就是100 不匹配就是0

卷积层直接把特征交给全连接层 全连接层的工作内容就是分类

https://transcranial.github.io/keras-js/#/mnist-cnn

数据决定上线 模型决定下限

CNN 卷积 只是迭代了简单的一部分 NN神经网络判断黑白图片就很好了

RNN 图像识别相关 时间序列 考虑前后时间关系

输入的是序列数据 dense 是全连接

你可能感兴趣的:(深度学习,人工智能)