表示学习

表示学习概述

  • one-hot
    • 分布式表示
    • 知识表示
    • 知识表示应用

one-hot

1.一个词汇表长度的向量
2.没个词的表示为【0,0,0,1,0,0,…,0】

特点(缺):默认了语义之间是无关的

分布式表示

1.对象表示为稠密、实值、低维向量
2.所有向量组成一个三维张量
3.通过向量在张量中的相对位置,体现词语之间的语义联系

特点(优):
1.解决了大数据环境中数据稀疏问题(用高频数据学习语义空间,从而利用该语义空间表达低维向量)
2.便于词、句子语义相似度计算
3.可以支持多任务学习(词性标注、命名实体识别等)

  1. word2vec
    优势:1.不用考虑词之间的顺序;2.取消神经网络非线性层,更高效
    3.利于发现词汇间隐藏关系4.对知识迁移的帮助(如将不同语言用分布式表示进行表示)
    表示学习_第1张图片
    表示学习_第2张图片
    利用优点三发现词之间的上下位关系,启发了知识表示学习。

知识表示

和社交网络不同在于边上带有不同标签
连接预测常用来对表示学习的方法进行性能比较
transE
特点(和RESCAL\SME\SE等比较):学习参数少(高效);预测准确度高

知识表示应用

融合文本与知识进行关系抽取
1.1.利用CNN进行关系抽取(仅利用文本信息)
表示学习_第3张图片
1.2.联合(通过表示学习)CNN和已有知识图谱进行分布式关系抽取(效果更好)
表示学习_第4张图片
2.融合实体描述的表示学习
优点:新的实体只需要利用一小段的描述,和已有的kg进行关系预测加入进去

3,为kg的构建寻找最好的描述节点的句子等

利用关系路径进行关系抽取
表示学习_第5张图片
1.PTransE
表示学习_第6张图片
利用远程监督多实例进行关系抽取
表示学习_第7张图片
表示学习_第8张图片

表示学习_第9张图片
推理:wanglichun等
开放关系抽取(open information extraction)[迭代抽取]

你可能感兴趣的:(NLP,表示学习)