神经网络与深度学习笔记汇总一

神经网络与深度学习笔记汇总一

  • 梯度下降法:
  • 向量化:代替for循环
  • 广播
  • ReLU激活函数
  • 逻辑回归
  • 损失函数(误差函数)
  • 代价函数
  • 卷积神经网络
  • 往期回顾

梯度下降法:

通过最小化代价函数(成本函数)来训练的参数w和b

步骤:

1、初始化w和b 无论在哪里初始化,应该达到同一点或大致相同的点
神经网络与深度学习笔记汇总一_第1张图片

2.朝最陡的下坡方向走一步,不断地迭代

神经网络与深度学习笔记汇总一_第2张图片
3.直到走到全局最优解或者接近全局最优解的地方

神经网络与深度学习笔记汇总一_第3张图片
m 个样本的梯度下降:
神经网络与深度学习笔记汇总一_第4张图片

向量化:代替for循环

向量化实现将会非常直接计算
:z=np.dot(w,x)+b

u=np.log是计算对数函数()、 np.abs() 是计算数据的绝对值、np.maximum() 计算元素中的最大值,你也可以 np.maximum(v,0) 、 代表获得元素y每个值得平方

不用for循环做法:

神经网络与深度学习笔记汇总一_第5张图片

广播

A.sum(axis = 0)中的参数axis。axis用来指明将要进行的运算是沿着哪个轴执行,在numpy中,0轴是垂直的,也就是列,而1轴是水平的,也就是行

ReLU激活函数

从趋近于零开始,然后变成一条直线,要尝试输入一个x,即可把它映射成y

结构化数据意味着数据的基本数据库。例如在房价预测中,你可能有一个数据库,有专门的几列数据告诉你卧室的大小和数量,这就是结构化数据

非结构化数据是指比如音频,原始音频或者你想要识别的图像或文本中的内容。这里的特征可能是图像中的像素值或文本中的单个单词

你需要训练一个规模足够大的神经网络,以发挥数据规模量巨大的优点

要么训练一个更大的神经网络,要么投入更多的数据神经网络与深度学习笔记汇总一_第6张图片

逻辑回归

是一个用于二分类(binary classification)的算法

神经网络与深度学习笔记汇总一_第7张图片y也一样

逻辑函数输出函数:
神经网络与深度学习笔记汇总一_第8张图片

损失函数(误差函数)

# 衡量算法的运行情况

表示 y等于1的一种可能性或者是机会
如果y等于1,我们就尽可能让
变大,如果y等于0,我们就尽可能让其变小

代价函数

是对m个样本的损失函数求和然后除以m:


需要找到合适的w和b,来让代价函数J的总代价降到最低

卷积神经网络

卷积运算是卷积神经网络最基本的组成部分

在数学中*就是卷积的标准标志,是一个重载符号

Sobel的过滤器 Scharr过滤器

有一个的图像,用的过滤器做卷积,那么输出的维度就是

每次做卷积操作,你的图像就会缩小,角落边缘的像素,这个像素点只被一个输出所触碰或者使用
padding卷积:

图像pp 过滤器ff

解决方法:

1、输出减小:在卷积操作之前填充这幅图像,沿着图像边缘再填充一层像素,6×6的图像就被你填充成了一个8×8的图像,角落或图像边缘的信息发挥的作用较小的这一缺点就被削弱

Valid卷积意味着不填充p=0 Same卷积你的输出大小和输入大小是一样的

如果f是一个偶数,那么你只能使用一些不对称填充。只有f是奇数的情况下,Same卷积才会有自然的填充
卷积步长:步幅设置成了2,移动的步长(格数)是2 输出变为

如果商不是一个整数:我们向下取整。这是向下取整的符号,这也叫做对z进行地板除(floor),这意味着向下取整到最近的整数。如果有任意一个蓝框移动到了外面,那你就不要进行相乘操作

在信号处理中或某些数学分支中,在卷积的定义包含翻转,使得卷积运算符拥有这个性质,深度神经网络来说它真的不重要,因此省略了这个双重镜像操作

往期回顾

吴恩达神经网络和深度学习笔记(广播,激活函数).
神经网络与深度学习笔记汇总一.
神经网络与深度学习笔记汇总二.
神经网络与深度学习笔记汇总三.
神经网络与深度学习笔记汇总四.
神经网络与深度学习笔记汇总五.

你可能感兴趣的:(深度学习,卷积,神经网络,深度学习,机器学习)