[ML] 感知机

20171202 qzd

机器学习算法入门之感知机

课时简介：

1. python基本介绍
2. 感知机算法推导
3. 简单的编程实践

一、python基本介绍

• python 3.x
• Numpy:用于数值计算的库
• Matplotlib:为了可视化，用于输出图像

二、感知机算法推导

1、大脑神经元

image

2、典型的感知机结构

image.png

•   xo w0,使用偏置的原因？
  XW不过原点，让其超平面在坐标任意位置画圈。

3、激活函数

image

• 最常见是Sigmoid
• 激活函数最主要因素是给系统引入非线性。（很多问题是非线性，而典型感知器的图中求和是线性组合，模拟不了非线性问题）
• ReLU是CNN中用到的激活函数。

4、如何确定权重（weight）？

• 首先，定义目标函数object function（误差函数error function，损失函数loss function）这里用E表示。
• 误差函数有很多定义方法，比如二乘误差、交叉熵误差。
• 有了误差以后，就是一个误差最小化的问题。我们的目的是使得最终的计算结果和实际情况的误差最小。最理想的情况就是没有误差，即E=0。

image.png

• 任务：找出E最小是的W。

• 方法：梯度下降法。

  
  
  

  image
• 需要思考的问题：蓝色的小人怎么走才会最快的到达红色爱心的方向，而避免走紫色这条偏离路线。

• 首先从二维角度进行分析。

  
  
  

  image.png
  • 任务：到达目标的点。
  • 首先任选取一点，斜率为负往正方向移动，斜率为正往反方向移动。梯度下降法原理，移动的方向是斜率的反方向。当达多维角度则运用到梯度概念，这也就是为什么叫梯度下降法的原因。

  • 如何更新权重？

    
    
    

    image.png
    
    
    

    image.png

5、感知机算法流程图

三、简单的程序实践

image