深度学习笔记（一）——什么是神经网络

生物学中的神经元的定义

神经元有很多种类，下图就是其中的一种，锥体神经元。它由三部分组成，分别是树突，胞体和轴突。树突是接受输入，轴突是用于输出的。神经元的树突在接收到特定的输入刺激后，其胞体就会被激活，并通过轴突向其它神经元或神经元群输出兴奋，从而导致更多的神经元被激活，形成此起彼伏的神经元网络激活现象，而神经元间的有序激活就是产生我们的思维和行为的根本原因。

神经元由静息态切换为发放动作电位状态，是因为其接受了来自其它神经元或神经元群或其它情况的输入，并达到或超过了必须达到的临界膜电位水平（阈值），使得神经元去极化产生动作电位最终通过树突输出神经冲动。简单来说，神经元产生输出的条件就是输入达到或超过了阈值。
阈值是神经元的重要属性。神经元是大脑的基础，而阈值就是这个基础的基础，大脑的所有功能都是由阈值来实现的。如果把神经元比作灯泡的话，阈值就是这个灯泡的开关。

类比生物学的神经元，深度学习中最基本的概念也称为神经元,流行的神经网络,几乎是由不同方式组合的神经元组成。一个完整的神经元主要由线性函数和激励函数两部分组成。

小赵笔记之什么是神经元、神经网络(个人理解，可在评论区指正)

在我看来，神经元及神经网络就是一个映射，回顾一下映射的定义，映射，或者射影，在数学及相关的领域还用于定义函数。函数是从非空数集到非空数集的映射，而且只能是一对一映射或多对一映射。神经网络不就是输入多个特征，然后得到一个预测的值（当然结果可能不一定是一个数值）

B站课程笔记

为了系统得学习深度学习的知识，我在b站找到了吴恩达教授的课程
链接：https://www.bilibili.com/video/BV1FT4y1E74V/?p=2&spm_id_from=pageDriver&vd_source=a2c7982ae383c87f637f6e36925e34ab
老师首先以预测房价为案例讲起

比方我们已知红色的点，想要根据这几个点来预测未来的房价，如果懂线性回归的话，大家就可以用这些数据拟合成一条直线，但是房价不可能是负，所以左边的部分我们就让这条线等于0，于是我们就得到一条粗的蓝色实线，这个蓝色实线代表的拟合函数就是最终的预测函数，这几乎是最简单的神经网络。

我们把房屋的面积作为神经网络的输入，称为x,通过图上所示的节点（一个小圈圈），最后输出了价格，价格用y来表示，这个小圈圈就是一个独立的神经元，它实现了左边蓝色函数的功能。这是一个规模很小的神经网络，更大的神经网络是由这样的一个个神经元堆叠而来的。

** RELU【读relv】函数**：一开始是0，然后就是一条直线，这个函数就叫做relu函数，全称是修正线性单元

规模驱动深度学习，这里所说的规模不只是神经网络的规模（我们可能需要训练一个规模足够大，有许多隐藏单元，有许多参数，有许多连接的神经网络，以发挥数据规模量巨大的优点），另外也需要大规模的数据（带标签的数据 ），在数据规模足够大的情况下，神经网络的性能远远优于其他机器学习的算法

算法、数据和算力是深度学习的三要素