神经网络与深度学习笔记汇总一

梯度下降法:

通过最小化代价函数（成本函数）来训练的参数w和b

步骤：

1、初始化w和b 无论在哪里初始化，应该达到同一点或大致相同的点

2.朝最陡的下坡方向走一步，不断地迭代

3.直到走到全局最优解或者接近全局最优解的地方

m 个样本的梯度下降:

向量化:代替for循环

向量化实现将会非常直接计算
：z=np.dot(w,x)+b

u=np.log是计算对数函数()、 np.abs() 是计算数据的绝对值、np.maximum() 计算元素中的最大值，你也可以 np.maximum(v,0) 、 代表获得元素y每个值得平方

不用for循环做法：

广播

A.sum(axis = 0)中的参数axis。axis用来指明将要进行的运算是沿着哪个轴执行，在numpy中，0轴是垂直的，也就是列，而1轴是水平的，也就是行

ReLU激活函数

从趋近于零开始，然后变成一条直线，要尝试输入一个x，即可把它映射成y

结构化数据意味着数据的基本数据库。例如在房价预测中，你可能有一个数据库，有专门的几列数据告诉你卧室的大小和数量，这就是结构化数据

非结构化数据是指比如音频，原始音频或者你想要识别的图像或文本中的内容。这里的特征可能是图像中的像素值或文本中的单个单词

你需要训练一个规模足够大的神经网络，以发挥数据规模量巨大的优点

要么训练一个更大的神经网络，要么投入更多的数据

逻辑回归

是一个用于二分类(binary classification)的算法

y也一样

逻辑函数输出函数：

损失函数（误差函数）

# 衡量算法的运行情况

表示 y等于1的一种可能性或者是机会
如果y等于1，我们就尽可能让
变大，如果y等于0，我们就尽可能让其变小

代价函数

是对m个样本的损失函数求和然后除以m：

需要找到合适的w和b，来让代价函数J的总代价降到最低

卷积神经网络

卷积运算是卷积神经网络最基本的组成部分

在数学中*就是卷积的标准标志，是一个重载符号

Sobel的过滤器 Scharr过滤器

有一个的图像，用的过滤器做卷积，那么输出的维度就是

每次做卷积操作，你的图像就会缩小，角落边缘的像素，这个像素点只被一个输出所触碰或者使用
padding卷积：

图像pp 过滤器ff

解决方法：

1、输出减小：在卷积操作之前填充这幅图像，沿着图像边缘再填充一层像素，6×6的图像就被你填充成了一个8×8的图像，角落或图像边缘的信息发挥的作用较小的这一缺点就被削弱

Valid卷积意味着不填充p=0 Same卷积你的输出大小和输入大小是一样的

如果f是一个偶数，那么你只能使用一些不对称填充。只有f是奇数的情况下，Same卷积才会有自然的填充
卷积步长：步幅设置成了2，移动的步长（格数）是2 输出变为

如果商不是一个整数：我们向下取整。这是向下取整的符号，这也叫做对z进行地板除(floor)，这意味着向下取整到最近的整数。如果有任意一个蓝框移动到了外面，那你就不要进行相乘操作

在信号处理中或某些数学分支中，在卷积的定义包含翻转，使得卷积运算符拥有这个性质，深度神经网络来说它真的不重要，因此省略了这个双重镜像操作

往期回顾

吴恩达神经网络和深度学习笔记（广播，激活函数）.
神经网络与深度学习笔记汇总一.
神经网络与深度学习笔记汇总二.
神经网络与深度学习笔记汇总三.
神经网络与深度学习笔记汇总四.
神经网络与深度学习笔记汇总五.