图神经网络算法在自然语言处理的运用

1.前沿


大家好啊,我是来自武汉大学的小硕一枚,请多多关照!

我起身于武汉大学的经管学院,在校期间专注于计量经济学和统计学方向,喜欢数据建模。后几经挫折坎坷,转入人工智能领域,目前,专注于计算机视觉、自然语言处理、图神经网络和知识图谱。如有勘误,请多多指教。让我们一起加油,共同学习进步。

2.图神经网络算法概览


  随着人工智能算法的推进,嵌入式学习已经越来越流行,在自然语言处理算法领域,经过word2vec的CBOW和skip-gram、glove和ELMO以及BERT算法的探索,在计算机视觉领域,随着谷歌于2021年发表的vision transformer(简称:VIT),嵌入式学习已经越来越成熟。

图神经网络算法在自然语言处理的运用_第1张图片

  但是,在自然语言处理领域,嵌入式学习只是把文本视为sequence,忽视句子内在的逻辑语义、语法结构和词汇之间的依赖关系。在计算机视觉领域,我们的卷积神经网络把图像视为像素点的集合,而VIT算法把图像视为如同文本一样的sequence结构,忽视图像本身具备的时间和空间的关联。

  鉴于当前基于深度学习的AI存在的自身缺陷,我们可以转变一下思路,引入图神经网络算法。具体而言,图神经网络算法分为图机器学习算法和图深度学习算法。

图神经网络算法在自然语言处理的运用_第2张图片

  图机器学习算法更加强调图结构的节点重要程度、节点中心性、节点和节点之间的关系,通常采用的方式有数学方法、图论算法,比如矩阵分解和谱方法以及随机游走等。图深度学习算法采用深度神经网络的方式,自动化地学习图中的节点表示、图结构学习和图中的节点关系。同时,图神经网络算法与图像的卷积神经网络和循环神经网络以及attention机制相结合,学习图结构的特征和图节点之间的依赖关系和消息传递的机制。以下就是图神经网络算法的研究方法和不同的运用领域。具体的算法,感兴趣的读者可以进一步关注我的博客,后续继续分析具体的图神经网络算法。
图神经网络算法在自然语言处理的运用_第3张图片
图神经网络算法在自然语言处理的运用_第4张图片

3.自然语言处理算法的发展


  自然语言处理算法分为自然语言生成和自然语言理解,其中自然语言理解是学习文本的语义关系和语法结构,理解文字内在的含义以适应下游任务,如文本分类、情感分析、信息抽取和信息检索等,而自然语言生成是生成文本序列,比如写诗作词、聊天对话等。

  从连接主义的角度来说,自然语言处理算法经历了统计学习、机器学习、深度学习和attention,以及prompt学习的阶段,其中最具有代表性的算法有:前后向分词、N-gram、tf-idf、auto-encoding、word2vec(CBOW和skip-gram)、glove、ELMO和BERT。从符号主义的角度来讲,自然语言处理又和语言学、计算语言学、知识图谱、知识工程和专家系统息息相关,而语言学有分为:语义学、形态学、语音学、语用学、语法学等。其中,比较具有代表性的做法有:多角度的分词(比如加入偏旁部首、拼音、义元等)、正则化匹配、句法分析、语义分析等。

  这里要特别强调attention机制和mask机制。后续我们会继续分析attention是如何学习文本之间的关联,以及mask机制是如何起到文本理解和文本生成的作用的。
图神经网络算法在自然语言处理的运用_第5张图片
图神经网络算法在自然语言处理的运用_第6张图片

4.图神经网络如何助力自然语言处理任务


  图神经网络如何辅助自然语言处理任务呢?首先,需要明确自然语言处理领域的任务有哪些。主要来说,自然语言处理算法的子任务包括信息抽取、文本分类、情感分析、问答机器人、机器翻译、自动摘要,以及图像-文本、sql-文本、文本-文本生成任务等。

图神经网络算法在自然语言处理的运用_第7张图片

4.1 embedding词嵌入学习

4.2 文本句法结构分析

4.3 阅读理解的多跳推理

4.4 机器翻译的结构关联

4.5 基于知识图谱的问答图结构

4.6 关系抽取的结构关系分析

图神经网络算法在自然语言处理的运用_第8张图片

5.后续


  由于领域太大,后续再进行深入细致的分析,后续我们再对图神经网络算法、自然语言处理算法和二者的融合运用进行分析。写作不易,请多多关注,如有勘误,请提出建议,谢谢。

1.graph4nlp
2.图机器学习算法
3.图算法论文综述
4.计算机学会论文
5.掩码机制的实现
6.现代自然语言生成-张钹院士
7.自然语言处理综论

你可能感兴趣的:(神经网络,算法,自然语言处理)