【原创】Tensorflow+Keras 深度学习人工智能实践应用学习 Part1
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
前言
今天去图书馆想找一本Tensorflow方面的教程，结果找到了这本《Tensorflow+Keras 深度学习人工智能实践应用学习 》清华大学出版社，林大贵著。目前小白一枚，打算照着这本书进行学习，并把所学所想留在CSDN中，以便未来参照。
大家可以一同学习和监督。
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
第1章 人工智能、机器学习与深度学习简介
1.1 人工智能、机器学习与深度学习之间的关系
关键词：人工智能 Artificial Intelligence，AI
1）人工智能包括机器学习包括深度学习
2）图灵测试（Turing Testing）:人类与机器通过电传设备对话，如果人类无法根据这个对话过程判断对方是机器或者人，就认为通过了图灵测试，认定这台机器具有人工智能。
3）约翰-塞尔提出强人工智能和弱人工智能
关键词：机器学习 Machine Learning，ML
1）机器学习的根本是通过算法，使用大量数据进行训练，从而产生模型。
2）分类：有监督学习（Supervised Learning）
无监督学习 (Unsupervised Learning）
增强式学习（Reinforcement Learning）
关键词：深度学习 Deep Learning，DL
1）深度学习仿真人类神经网络的工作方式。
2）常见分类： 多层感知器（Multi-layer Perceptron，MLP）
深度神经网络（Deep Neural Network，DNN）
卷积神经网络（Convolutional Neural Network，CNN）
递归神经网络（Recurrent Neural Network，RNN）
3）应用范围：视觉识别、语音识别、自然语言处理、生物医学等
发展必备条件
1）大数据分布式存储与运算
2）GPU、TPU并行计算
GPU，图形处理器。
TPU，Tensor Processing Unit，由Google公司2016年研发，专为深度学习特定用途设计的特殊规格的逻辑芯片（IC）。
1.2 机器学习介绍
1）机器学习的训练数据由特征（features）和预测目标（Label）组成。
features：描述数据的特征类型
label：描述特征的异同
2）机器学习根本逻辑：训练=》预测
1.3 机器学习分类
有监督学习：数据具备特征和预测目标两种属性。
无监督学习：数据只有特征，但是没有预测目标属性。
增强式学习：借助定义动作（Action）、状态（States）、奖励（Rewards）的方式不断训练机器循序渐进，学会执行某项任务的算法。
1.4 深度学习分类
模仿人类神经网络工作方式，一般分为输入层、输出层和隐藏层，由于存在多个隐藏层，被称为深度学习。
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
第2章 深度学习的原理
2.1 神经元的信息传导
1）神经元基本构造：
轴突：传递信息；树突：接收信息；突触：传送机制
2）神经元的数学表达：
y=activation function（Wx+b）
W是权系数矩阵
x为输入信息
y为接收信息
b为偏差值（bias）
activation function为激活函数，用以对信息传递机制的约束，常见为Sigmoid或ReLU
3）激活函数
一般激活函数为非线性，从而让该网络具备一定的非线性问题处理能力。
4）Sigmoid激活函数
常见的Sigmoid公式为：
其值域为（0，1），有效定义域为（-5，5），可以理解为中值滤波器。
5）ReLU激活函数
小于临界值，忽略刺激；大于临界值，保留刺激，可以理解为高通或者因果滤波器。
2.4 反向传播算法进行训练
损失函数，常使用交叉熵 Cross Entropy
其中，obs表示观测数据的label，cal为预测数据的label，这也意味着利用反向传播算法是建立在有监督学习基础上的，需要给出数据的明确label值。