理解感知器perceptron,以及感知器如何应用

感知器是一个1958年被提出的机器学习算法,到今天仍在使用。

它是一个有监督学习的线性回归解决二分类问题。


主要解决的问题就是在给定训练集(data,label)的条件下,如何给每个数据找到一个特有的权重,使得最终的结果可以拟合训练数据各自的标签分类。

理解感知器perceptron,以及感知器如何应用_第1张图片


这个时候可以定义一个线性的模型(比如:文本情感分类中, 模型=sum(词频*权重)),将得到的结果与一个阈值(比如是0)进行比较,大于0就是正向的,小于0就是负向的。当分类出来的结果与实际的数据标签不符合的时候,我们就可以对这个权重进行增加或者减少的变化,来更好的拟合训练数据。

伪代码如下:

理解感知器perceptron,以及感知器如何应用_第2张图片

这里有几个小技巧可以提高整个训练的效果。

1,对模型进行多次训练

2,在每次训练之前,将训练数据随机

3,每次训练结束时,对得到的权重取平均值

伪代码如下:

理解感知器perceptron,以及感知器如何应用_第3张图片


在应用上,

感知器的应用很广,几乎所有二分类问题都可以用它来试一试效果。

在POS(词性标注问题)中,可以用感知器,将训练集中2gram的标注概率调整到最大(HMM无法做到的overlapping)


注:本文所有图片来源:https://sheffieldnlp.github.io/com4513-6513/lectures_reveal_js/lecture6_struct_perceptron.html

你可能感兴趣的:(nlp)