NLP基础之分词、向量化、词性标注

基于HMM(隐马尔可夫模型)的分词方法

基本部分

  • 状态值序列
    B:Begin;
    M:Middle;
    E:End;
    S:Single;
  • 观察值序列
    待切分的词;
  • 初始化概率
    BMES这四种状态在第一个字的概率分布情况;
  • 状态转移矩阵
    HMM中,假设当前状态只与上一状态相关,则此关系可用转移矩阵表示;
  • 条件概率矩阵
    HMM中,观察值只取决与当前状态值(假设条件),条件概率矩阵主要建模在BMES下各个词的不同概率,和初始化概率、状态转移矩阵一样,需要在语料中计算得到对应的数据;

概率分词模型:CRF(条件随机场)

HMM描述的是已知量和未知量的一个联合概率分布,属于generative model,而CRF则是建模条件概率,属于discriminative model;且CRF特征更加丰富,可通过自定义特征函数来增加特征信息,CRF能建模的信息应该包括HMM的状态转移、数据初始化的特征;主要包括两部分特征:

  • 简单特征
    只涉及当前状态特征;
  • 转移特征
    涉及两种状态间的特征;、

基于深度学习的分词

NLP基础之分词、向量化、词性标注_第1张图片

基本步骤:

  • 首先,训练字向量,使用word2vec对语料的字训练50维的向量;
  • 然后,接入一个bi-LSTM,用于建模整个句子本身的语义信息;
  • 最后,接入一个CFR完成序列标注;

词向量

one-hot编码

每个词只在对应的index置1,其他位置均为0,难点在于做相似度计算;

LSA(矩阵分解方法)

LSA使用词-文档矩阵,矩阵常为系数矩阵,行代表词语,列代表文档;词-文档矩阵表示中的值表示词在文章中出现的次数;难点在于当语料库过大时,计算很耗费资源,且对未登录词或新文档不友好;

Word2Vec

NLP基础之分词、向量化、词性标注_第2张图片

结构

包括CBOW和Skip-gram模型;CBOW的输入为上下文的表示,然后对目标词进行预测;Skip-gram每次从目标词w的上下文c中选择一个词,将其词向量作为模型输入;
Skip-gram主要结构:

  • 输入one-hot编码;
  • 隐藏层大小为次维度大小;
  • 对常见词或词组,常将其作为当个word处理;
  • 对高频词进行抽样减少训练样本数目;
  • 对优化目标采用negative sampling,每个样本训练时只更新部分网络权重;

词性标注

  • 基于最大熵的词性标注;
  • 基于统计最大概率输出词性;
  • 基于HMM词性标注;
  • 基于CRF的词性标注;

你可能感兴趣的:(NLP)