吴恩达【神经网络和深度学习】Week1——深度学习概述

课程笔记整理按照所讲章节的标题来完成

1、What is a neural network?

以房价预测模型为例，是一个由size过渡到price的映射，即可用神经网络来表示。该神经网络的输入x是房屋面积，输出y是房屋价格，中间包含了一个神经元（neuron），即房价预测函数（蓝色折线）。该神经元的功能就是实现函数f(x)的功能。
PS…这个函数称为ReLU函数，即线性整流函数（Rectified Linear Unit）

之后我们拓展到更大的神经网络模型，由多个自变量来预测房价

在这个例子中，x是size，#bedrooms，postal code（邮编号码）和wealth这四个输入；y是房屋的预测价格。这个神经网络模型包含的神经元个数更多一些，相对之前的单个神经元的模型要更加复杂。那么，在建立一个表现良好的神经网络模型之后，在给定输入x时，就能得到比较好的输出y，即房屋的预测价格。

这就是基本的神经网络模型结构。在训练的过程中，只要有足够的输入x和输出y，就能训练出较好的神经网络模型。

2、Supervised Learning with Neural Networks

2.1、Examples

举了一些常见的例子，主要掌握其中常见的分类，比如说对于图像识别使用CNN，对于翻译用的是RNN（应用于序列数据，翻译中字母或单词一次出现一个构成序列）

2.2、The classification of data

• Structured data
• Unstructured data

Structured Data通常指的是有实际意义的数据。例如房价预测中的size，#bedrooms，price等；例如在线广告中的User Age，Ad ID等。这些数据都具有实际的物理意义，比较容易理解。而Unstructured Data通常指的是比较抽象的数据，例如Audio，Image或者Text。

3、Why is Deep Learning taking off？

性能上的优势如图所示，随着数据规模的扩大，大型神经网络性能飞升。

归结为如下三个因素的进步

• Data
• Computation
• Algorithms
  典型例子是sigmoid函数改成relu函数

  这样更改的原因是对于Sigmoid函数，在远离零点的位置，函数曲线非常平缓，其梯度趋于0，所以造成神经网络模型学习速度变得很慢。然而，ReLU函数在x大于零的区域，其梯度始终为1，尽管在x小于零的区域梯度为0，但是在实际应用中采用ReLU函数确实要比Sigmoid函数快很多。

4、Quiz

记录几个比较有意思的题目吧

1. Which of the following play a major role to achieve a very high level of performance with Deep Learning algorithms?
   
   神经网络运用隐藏层已经算出了最好的特征参数，这是其固有的属性,不属于提高的方面。

2. Recall this diagram of iterating over different ML ideas. Which of the statements below are true? (Check all that apply.)
   
   此流程图描述了目前使用神经网络的流程，从idea到写出代码，之后实验来检测。
   

3. RNNs (Recurrent Neural Networks) are good for data with a temporal component. True/False?
   
   RNN不能像传统监督学习那样来训练

4. Suppose the information given in the diagram is accurate. We can deduce that when using large training sets, for a model to keep improving as the amount of data for training grows, the size of the neural network must grow. True/False?
   
   注意理解题意：随着数据的增多，为使性能同步提高，神经网络的规模是否必然增大。此处规模可理解为图上的Small NN、Medium NN、Large NN
   

没想到每次做的题还不一样。不过第二次错的题很离谱。
5.

附：具体一点的话可以参考：Coursera吴恩达《神经网络与深度学习》课程笔记（1）-- 深度学习概述