Tensorflow深度学习的日常——day-2

1.定义变量，Veriable（代码演示）

Veriable

2.placeholder 传入值

placeholder

3.TensorFlow 激活函数的使用

- 激活函数activation function 运行时激活神经网络中某一部分神经元，将激活信息向后传入下一层的神经网络。

- 神经网络之所以能解决非线性问题（入语音、图像识别），本质上就是激活函数加入了非线性因素，弥补了线性模型的表达力，把“激活的神经元的特征”通过函数保留并映射到下一层。 

- 因为神经网络的数学基础是处处可微的，所以选取的激活函数要能保证数据输入与输出也是可微的。 

- 激活函数不会更改输入数据的维度，也就是输入和输出的维度是相同的。TensorFlow中有如下激活函数，这里包括平滑的非线性的激活函数。

- 如sigmoid、tanh、elu、softplus、softsign，也包括连续但不是处处可微的函数relu、relu6、crelu、relu_x，以及随机正则化函数dropout：

tf.nn.relu()

tf.nn.sigmoid()

tf.nn.tanh()

tf.nn.elu()

tf.nn.bias_add()

tf.nn.crelu()

tf.nn.relu6()

tf.nn.softplus()

tf.nn.softsign()

tf.nn.dropout()#防止过拟合，用来舍弃某些神经元

关于常用的几种激励函数，我已经在丘比特笔记本记下了，我就直接截图了：

01

02

03

04

具体的可以百度这一方面的知识，有很多。

---

今天学习的重点（构建简单的神经网络）：

important

输出结果是：

从上面结果可以看出，我们训练的次数增多时，它的误差就会越来来越小.

我们接下来把上面的结果可视化：

没训练前的结果：

经过1000次训练后的结果：

我这里用的是丘比特笔记本，不可以动态显示。但是上面图里的红线在经过无数次的训练，会无限接近的和蓝色的数据集重合。(由图可知)