第一周学习：深度学习和Pytorch基础

01-绪论：

图灵测试：人类是否能独立判断出某一任务是否为机器完成，是判断机器是否具有智能的方法之一。

人工智能的三个层面

层面	名称	表现
第一层面	计算智能	能存储、会计算
第二层面	感知智能	类似于人的视觉、听觉、触觉等感知能力
第三层面	认知智能	概念、意识、观念都是认知智能的表现

人工智能在多领域

领域	具体内容
金融	交易决策、风险控制、大数据征信、个性化保险、智能投顾、辅助交易
内容创作	技术进步、研究进展、内容创作应用
机器人	视觉处理、动作控制、语音识别

领域：人工智能>机器学习>深度学习

机器学习的应用技术领域

领域	具体内容
计算机视觉	人脸识别、图像分类、目标检测、图像搜索、图像分割、视频监控
语音技术	语音识别、语音合成、声纹识别
自然语言处理	文本分类、机器翻译、知识图谱、自动问答、信息检索、文本生成

机器学习：监督学习、无监督学习、半监督学习、强化学习

模型：参数模型：对数据分布进行假设、待求解的数据模式、映射可以用一组有限且固定数目的参数进行刻画

非参数模型：不对数据分布进行假设，数据的所有统计特性都来源于数据本身

02-深度学习概述

深度学习的能与不能

不能因素

模型层级符合程度高，参数不透明

算法输出不稳定、容易被“攻击”

端到端训练方式对数据依赖性强，模型增量性差

模型复杂度高，难以纠错和调试

专注直观感知类问题，对开放性推理问题无能为力

人类知识无法有效引入进行监督，机器偏见难以避免

神经网络的参数学习：误差反向传播

训练模型、复合线性多元函数，尽可能减小误差

深层神经网络的问题：梯度消失

自编码器和受限玻尔兹曼机：

结构上：

自编码器编码和解码函数不同：W1,W2

RBM共享权重矩阵w,两个偏置向量

原理上：

自编码器通过非线性变换学习特征，是确定的，特征值可以为任何实数；

RBM基于概率分布的定义，高层表示为底层特征的条件概率，输出只有两种状态，用二进制0/1表示

训练优化：

自编码器通过最损失函数L最小化重构输入数据，直接用BP优化求解

RBM基于最大似然，能量函数偏导无法直接计算，基于采样方法进行估计

生成\判别模型：

RBM对联合概率密度建模，是生成式模型；

自编码器直接对条件概率建模，是判别式模型

预训练的实际作用：

初衷用于无监督逐层预训练

无法本质上解决梯度消失等问题

新的激活函数+优化方法+更大量的标注训练数据>预训练很少使用

DNN DBN

DNN是前馈神经网络，训练方法是BP

隐层激活函数使用ReLU>改善梯度消失

输出层激活函数是softmax,目标函数是交叉熵+大量标注数据

不使用逐层预训练