深度学习 Day 15

今天同步开始deeplearning.ai上吴恩达老师的深度学习课程
做一些小笔记

神经网络(neural network)

What is neural network?

举个小例子
比较熟悉的房价预测，通过几个样本

用房屋面积x作为对神经网络的输入
然后输出价格y

小圈就是一个简单的神经元，计算这个线性方程，结果取max(0,y)，然后估算出结果

刚刚预测房价的线性方程输出结果的前部分是零，后部分是直线，这样的函数我们称为ReLu函数

线性整流函数（Rectified Linear Unit, ReLU）,又称修正线性单元, 是一种人工神经网络中常用的激活函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。

神经网络就是由多个单一神经元叠加组合而成的

下面我们为房屋预测添加一些特征值，比如卧室数量，邮政编码，街区的赋予程度

面积和卧室数量决定房子是否可以容纳我的家庭成员、邮政编码决定居住地址，生活是否便利、邮政编码和街区富裕程度又决定着房子周边的学校质量，而这些又决定了房子的价格

给定这些参数（最左一排，称为输入层），神经网络的工作就是预测价格y，中间的每个小圆圈都叫做神经网络中的 隐藏神经元(中间一层称为 全连接层，因为每一个输入特征都会连接)，其中的每一个神经元都将四个特征当作输入，然后输出y

神经网络最重要的一点就是只要给定足够多的训练样本,神经网络就能很好的拟合出一个函数来建立x和y之间的映射关系

这就是最基本的神经网络，神经网络在监督学习中是最有用，最强大的

所谓监督学习，就是需要把一个输入x和一个输出y相对应起来，就像我们上面的示例

Supervised Learning with Neural Networks

通过神经网络创建经济价值都是利用来其中一种机器学习方式----监督学习

例如房价预测，在线广告推荐，索引分类图片，语言识别，机器翻译，自动驾驶等等

之前的房价预测用到标准神经网络 SNN（Standard Neural Network）
在图像应用中，我们常常将 卷机结构 放在神经网络结构当中，简称 CNN（Convolutional Neural Network）
音频需要完整的播放才能表达其意，所以一维时间序列或一维时序序列最能代表音频的数据结构，而在这种序列号数据中，常常用到 循环神经网络 RNN（Recurrent Neural Network）
语言，比如英语中文字母等都在序列化数据中有自己出现的时序，所以语言也是能够被自然而然地表现为序列化数据，并且更复杂版本的 RNNs 经常用于上述应用当中
更复杂的应用，像自动驾驶技术，当去识别图像内容时需要对卷机神经网络CNN的结构和雷达信息有更多的的改进，直至定下完全不同于标准神经网络结构，所需要的结构也许更加定制化，或者更加复杂，混合着其他结构的神经网络结构。

Structured Data
机构化数据是基于数据库的数据

Unstructured Data
相对来说非结构化数据是类似于音频，原始音频，图片或文本这种数据，这里的特征也许是图片中的像素值或一段文本中的单词

深度学习 Day 15 | 神经网络（1）