TensorFlow深度学习(一) - 基于TensorFlow的神经网络基础

1. TensorFlow是什么

TensorFlow是由谷歌大脑(Google Brain)团队研发的一个用于深度神经网络的非常强大的开源软件库。

• 历史
  TensorFlow自2015年11月以Apache 2.0协议开源以来，迅速发展至2022年5月，它在github上已经有了12万9千的提交量以及超过3000多的开源贡献者。

• 其它深度软件库对标产品
  PyTorch(Facebook)
  Caffe
  MXNet

• TF的特殊之处

1. 可以用很多流行语言进行开发
   eg: Python, C++, Java, R, Go等。

2. 和Keras无缝整合

3. 很好的社区支持

 

2. Keras是什么

Keras是一套高层(high level)的，美观的用于创建和训练深度学习模型的API。它简化了深度学习的代码，使得他看上去更直观易懂。

Keras可以和很多流行的深度学习引擎如Google TensorFlow，Microsoft CNTK，Amazon MXNet，Theano等完美整合。

 

3. 什么是神经网络(neural networks)

人工智能中的神经网络是根据研究哺乳动物的神经中枢系统受到启发而发明的产物，它代表了一类松耦合的机器学习模型。其中，每个人工神经网络由好多个互相连接的神经元(neuron)组成，它们之间通过层(layer)的形式进行编排组织。一个层中的神经元可以向另一个层中的神经元发送信息。这就是神经网络如何计算的原理。

• 历史
  神经网络最初的研究源于20世纪20年代的感知机(perceptron)。
  感知机(perceptron)是一个仅有2层的网络，用于简单的操作。
  20世纪60年代研究出反向传播(back propagation)算法用于多层网络。
  神经网络的正式兴起于20世纪80年代，到了2011年随着引入GPU进行大规模数值计算后繁荣起来。

 

4. 感知机(Perceptron)算法

感知机(Perceptron)是一个比较简单的算法。
它接收一个m个数量的向量(eg: (x1, x2,..., and xm))，它们被称为简单的输入特征。输出则为1(yes)或0(no)。
其数学函数如下:
(x1, x2,..., and xm)

image.png

其中，w是权重，b是偏差。

wx代表

image.png

例如，我们可以通过给定数量的RGB数值来决定该颜色是否是白色，见下图:

image.png

 

5. 如何创建模型

有如下3中在tf.keras中创建模型的方式:

sequential API, functional API, 模型继承

我们看一下最简单的方式sequential API

下面的代码片段定义了一个有10个人工神经元的单层网络。

代码如下:

import tensorflow as tf
from tensorflow import keras

NB_CLASSES = 10
RESHAPED = 784
model = tf.keras.models.Sequential()
model.add(keras.layers.Dense(NB_CLASSES,
            input_shape=(RESHAPED,), kernel_initializer='zeros',
            name='dense_layer', activation='softmax'))

• 代码释义

1. input_shape: 接收输入变量(feature)的个数。eg: 它接收784个输入变量。
2. keras.layers.Dense: 网络类型为dense意思是层中的每个神经元与上一层的所有神经元进行连接。
3. kernel_initializer: 神经元初始化的特殊权重参数。
   eg: random_uniform: 随机权重值，范围(-0.05, 0.05)
   random_normal: 根据高斯分布， 标准偏离值为0.05
   zero: 所有权重初始化为0

 

6. 多层感知机(Multi-layer perceptron)

多层感知机也叫做全连接层感知机(Multi-Layer Perceptron (MLP))。
见下图

image.png

 

7. 什么是神经网络(neural networks)

在回答这个概念之前，我们先用一句话总结一下机器学习模型。
机器学习模型是一种通过一些函数将输入映射到对应的输出的计算方法，这些函数无非是一些加减乘除的数学运算。当这些函数和一些非线性激活一级多层运算相结合的时候，它们便无所不能地能够学习任何东西了。这个时候我们需要做的就是提供足够的数据来支持模型的计算。

那么，什么又是学习呢？
简单来说，学习就是一个将数据泛化的过程，从而可以预测未来的结果。

以上两点了解之后，那么恭喜你，它就是神经网络的原理和最终结果。