吴恩达--深度学习笔记(2022年课程第一周)

*神经网络（深度学习算法）：
一组神经元是一层，一层可以有一个或多个神经元；他们输入相同或相似的特征，然后又反向输出一些特征。
输入层 隐藏层 输出层

4个数字（激活值） 3个数字（激活值）

隐藏层可以访问每个功能，即从上一层到输出层的每个值。当某些特征无关重要时，可以通过设置适当的参数进行适当的忽略；隐藏层在训练集中是看不到的，训练集中只有x,y，即输入层，输出层
输出层输出的概率就是神经网络预测的输出概率

x向量：输入特征组成
a向量：x计算所得的激活值组成的向量
a:概率、最终的激活、神经网络的最终预测
在一般的逻辑方程中，我们需要手动特征工程，例如预测房屋价格，我们需要已知X1X2，并手动决定如何将他们组合在一起，以提供更好地功能；
神经网络不需要手动特征工程，他可以学习其要制作的功能，即当我们从数据中训练它时，不需要明确决定还有哪些功能，神经网络会自行计算

可能会遇到多隐藏层的模型，这样的多层被称为多层感知器。
神经网络架构问题：决定有多少个隐藏层以及每个隐藏层有多少个神经元，从而选择一个好的架构

*神经网络的预测–如何构建一层神经元：


神经网络的第i层，一般用[i]表示，作为上标；
对于每一层的神经元，其参数按顺序写下标1、2、3…；
上一层i-1的输出作为向量a[i-1]，是下一层i的输入；
对于每一层输入，对其应用一堆逻辑回归单元g函数；
神经向量的输入层，一般不算在神经网络的总层数中，例如上图就是四层网络神经结构

对于每层的上标、下标，其标志规则：
为了统一，可将x向量定义为a[0]；
g函数被定义为激活向量，其作用是计算某一层的激活值

还可以用f(x)表示线性回归或逻辑回归的输出；
这种模式也叫做前向传播算法，正在传播神经元的激活；
随着靠近输出层，隐藏单元的数量会逐渐减少，直到剩一个
*如何用代码实现推理：
利用TensorFlow在神经网络中进行推理的方式

*TensorFlow中的数据形式：
先用Numpy数据形式表现，是两个[]，代表是二维数组，当只有一个[]时，表示是一个一维数组；
二维数组形式可以让TensorFlow计算更高效
在TensorFlow中表示矩阵的方式：变为tf.Tensor([],)的形式；tf.Tensor([],)的形式 也被称为张量
在NumPy中表示矩阵的方式：np.array([[]])

从TensorFlow方式变回NumPy的方式：a1.numpy()

执行顺序：NumPy以自己的方式存储二维数据，然后将数组传递给TensorFlow，传递过来时，TensorFlow喜欢将其转换为自己的内部格式–张量，然后使用张量有效运行，当读回数据时，可将数据保留为张量，或转换回NumPy数组
*构建神经网络密集负载：
顺序函数密集流的作用—>自动将两层串在一起形成一个神经网络
张量流顺序函数的新编码约定：model
然后将训练集中的数据存储在矩阵x或数组y中；
然后再运行编译功能model.compile()；
然后再把x,y数据进行模型拟合model.fit();
最后进行推理或预测，可以使用模型预测model.predict()对新给的x进行预测；
*总结：所以model是直接只取这些层，并将它们放入顺序函数中，从而得到更紧凑的代码，只是告诉张量流创建一个模型，并将这些层按顺序连在一起，其余工作方式不变
单个网络层上的前向传播：
单个网络层上更一般的前向传播：
密集函数def dense(,)：编写一个函数，来实现一个神经网络的单层，它将上一层的激活作为输入，并通过给定的当前层的参数，从而返回下一层的激活
*人工智能：
ANI:狭隘人工智能，专注于实现某一个方面
AGI:人工智能，模拟人大脑的行为

神经网络高效的原因：可矢量化，可以使用矩阵乘法有效实现