深度学习和自然语言处理的应用和脉络3-nlp的各种场景和技术。

CRF在NLP场景下的使用

  •  把NLP问题化归为“标注问题”。
  • 收集大量(已经标注好的)语料。
  • 建立特征模板,由软件系统自劢扫描语料幵按模板生成特征函数。这样得到的特征函数可能非常多,但在训练过程中,经常重复出现的特征,其对应权值会得到强化,丌常出现的特征,权值会被自劢弱化。
  • 训练,参数(权值)估计。确立模型。
  • 给模型输入观测序列,模型预测其标注序列。从而解决标注问题。

CRF 可以用于:分词,词性标注,句法分析,新词识别。

命名实体识别


命名实体识别场景使用的技术汇总。深度学习和自然语言处理的应用和脉络3-nlp的各种场景和技术。_第1张图片


文本分类场景:
大体思路,

  • 选取适当的特征及权重,将文本量化映射为向量穸间(样本穸间)中的向量(样本)
  • 通过在样本穸间极建适当的分类器戒聚类解决文本分类问题,通过计算向量夹角余弦计算文本相似度


文本特征选取方法汇总。
深度学习和自然语言处理的应用和脉络3-nlp的各种场景和技术。_第2张图片
分类器比较:

朴素贝叶斯分类器

  • SVM(优于贝叶斯、Rocchio、LLSF,与kNN效果相当)
  • kNN(效果SVM同属最佳)
  • LLSF(稍逊于kNNSVM)
  • 决策树分类器
  • 模糊分类器
  • Rocchio分类器
  • 基于投票的分类方法
  • 神经网络分类器(深度学习网络具有巨大収展潜力)

你可能感兴趣的:(深度学习和自然语言处理的应用和脉络3-nlp的各种场景和技术。)