深度学习

一、简介

深度学习是包含多个隐层的机器学习模型，核心是基于训练的方式，从海量数据中挖掘有用信息，实现分类与预测。

早期的深度学习模型：编码器、循环神经网络、深度置信网络、卷积神经网络

 衍生模型：堆叠降噪自编码器、稀疏自编码器、降噪自编码器

深度学习的常用模型：卷积神经网络（CNN），深度信念网络（DBN），深度自动编码器（DAE），限制玻尔兹曼机（RBM）。CNN有全监督学习和权值共享的特点，在自然语言处理和语音图像识别领域有很强优势。其他深度学习模型大多先采用无监督方式逐层预训练，再使用有监督方式调整参数。共同之处：采取分层的结构来处理问题的思想。模型的基本元件为神经元，具有多层次结构，训练方式为梯度下降，训练过程可能出现过拟合或欠拟合的情况。

深度神经网络模型（Deep netural network,DNN）是深度学习的基础模型之一，较于浅层机器学习，DNN具有更深的层次结构，拥有更好的语音识别、图像处理（百度识图，人脸识别)、自然语言处理（基于笔法匹配识别手写文字）。

深度学习的效果优于传统的多层神经网络，最大的改进：深度学习算法结合了无监督特征学习与有监督特征学习，将多层结构中的上层输出作为下层输入，经过层与层之间的非线性组合。

 二、流程

a.问题描述：用适当方法技术，将具体问题解译为深度学习能求解的问题。

b.数据预处理：因数据量较大，易出现误差，故需据具体模型和任务要求，对数据进行预处理。

c.特征学习：数据具有复杂性和变化性，为了从原始数据中挖掘有用特征，借助机器来学习和提取特征，利于快速选定所需的深度学习模型。

d.模型选择：数据特征的差异性，要求选择合适的深度学习模型，同时要对模型优化、损失函数、激活函数、输入输出变量等的定义和选择。

e.模型训练：面向实际任务，选择最优的建模方法和参数。方式：选择多种算法进行运行，比较运行结果，在最优模型基础上进行参数调整。

f.模型评估：建立合适的评价指标。

三、基础知识

1.神经元

神经网络结构的基础单元，作用是接收信号并得到输出。神经网络的每一层含一个或数个神经元

2.感知机和梯度下降

原理：通过负梯度的训练方式，得到一组W、b使得误差函数取得最小值。

3.过拟合和欠拟合

过拟合或欠拟合都会给深度学习模型效果带来不好影响。

解决过拟合的方式：再训练或选择其他深度学习模型

解决欠拟合的方式：Early Stopping;Data augmentation(数据增强);Regularization(正则化);Dropout

 四、深度学习常用模型介绍

五、深度神经网络

1.DNN的基本结构

2.DNN前向传播算法

3.DNN反向传播算法

六、深度学习常用框架

1.Tensorflow

2.Keras

3.其他

七、DNN模型的应用

1.模型核心参数的配置

2.预测

将数据划分为训练集和测试集

模型训练：初始化参数配置，用训练集数据对模型进行训练，得到模型训练的准确率及损失。

模型预测：将测试集数据用于优化后的DNN模型，得到最终输出值，制作模型预测预测输出的数据表，绘制ROC曲线（获得AUC的值），确定阈值（获取模型此时的准确率、查准率、召回率），评估预测结果与研究区实际情况的吻合程度。

参考文献：基于深度学习的多源信息找矿模型构建及应用