掌握这些知识点,你也能成为NLP算法工程师!

文本分类是自然语言处理核心任务之一,常见用文本审核、广告过滤、情感分析、语音控制和反黄识别等NLP领域。

文本分类任务的目标是想办法预测出文本对应的类别,是NLP的基础任务。因为数据标注成本相对于其他任务低廉很多,因此有大量的标注数据可以训练模型,这是文本分类性能目前相对较好的重要原因。

机器学习和深度学习的文本分类pipeline,可以用下面的图例表示:
掌握这些知识点,你也能成为NLP算法工程师!_第1张图片
1、机器学习提取的是如tf-idf的具体(concrete)特征;

2、深度学习提取的是如词向量的抽象(abstract)特征。

想要在NLP上进阶,需要:

  • 做好文本表示工作,可以简单理解成词向量训练,即做好“数据–>信息”的流程

  • 做好分类器,可以理解成模型的设计,即做好“信息–>知识”的流程

你可能感兴趣的:(1024程序员节)