2019-03-03

本周学习 Introduction to Neural Networks

二维分类
多维分类


感知器

添加输入值x1到xn,边缘为权重w1到wn,b对应偏置单元,那么节点计算线性方程wx+b,然后节点检查值是否大于等于0,如果是,返回值1,如果不是,返回值0。这里使用了一个隐函数,阶跃函数,如果输入为正数或0返回1,如果输入为负,阶跃函数返回0。

如何让线离点


为了使用梯度下降法,我们需要使用连续误差函数,为此还需要将离散预测转化成连续预测。


阶跃函数转变成sigmoid函数

Maximum Likelihood 最大似然法



交叉熵

如果有一系列事件及其对应的发生概率,根据这些概率,这些事件发生的可能性有多大?如果很有可能,那么交叉熵较小,如果不太可能,那么交叉熵就会很大。


交叉熵推导式1


交叉熵推导式2



最小化误差函数


非线性模型

你可能感兴趣的:(2019-03-03)