Datawhale西瓜书第五章神经网络

M-P神经元

（模拟生物行为的数学模型）：接收n个输入（来自其他神经元），给各个输入赋予权重计算加权和自身特有的阙值θ进行比较（减法），经过激活函数（模拟抑制和激活）处理得到输出（传递给下一个神经元）

单个M-P神经元：感知机（sgn作激活函数），对数几率回归（signmoid作激活函数）
多个M-P神经元：神经网络

每个神经元信号不一样，权重不一样
f（x）就是一个激活函数
完全可以抽象成一个线性模型

阶跃函数

对数几率回归

感知机

（统计学习方法）–李航老师

0/1的分类 正样本=1 负样本=0 （纯输入的角度）

超平面

线性可分割数据集

二维空间超平面是一条直线

等价于异或的例子（线性不可分不能用感知机）

-θ=b （w转置x+b=0）
二维空间是一条直线

w=（1，1）转置 （w和超平面垂直）#法向量w和位移项b确定一个唯一超平面
b= -1

集合角度，求上式的超平面

模型建好后，策略如下

y hat = 0时 上式取反

如何优化损失函数
最后求的是w和θ

随机梯度下降法
只取一个样本

随机梯度下降算法的本质
最终解出来的w通常不唯一

感知机单个神经元分类能力有限；只能分类线性可分的数据集
对于线性不可分的数据集则无能为力
理论证明（通用近似定理）：只需一个包含足够多神经元的隐层，多层前馈网络就能以任意精度逼近任意复杂度的连续函数
神经网络既能做回归，也能做分类，不需要复杂的特征工程

有足够多的神经元一定可以描述出f（x）

上式为对数几率回归
感知机的函数不是阶跃函数 神经网络既可以做回归也可以做分类
决定模型上限：数据量和特征
神经网络的损失函数的计算量特别大（随着GPU性能的提升，不再是很大的问题）
面对一个具体场景，神经网络的输出结果该如何解释
*：正样本还是负样本
考虑所有可能的因素，并对每个因素的”影响“进行评估；对直觉的细度分化计算。

剩下的笔记之后补