Nvidia最新基于大规模知识库文本预测模型原理(文本知识内涵)

资讯-----关注订阅专栏,实时获得最新一手解读微软/NVIDIA等最新AI算法模型原理设计与AI落地产业应用
与世界AI同步前行——————————

NVIDIA基于大规模知识库的大规模文本生成训练模型

与普通的文本摘要技术/机器翻译模型(seq2seq)不同,要训练具有广泛内容要义的文本,精确的表达文本主题的意思,包含知识解释融合在内的模型,需要针对输入文本,借助大规模知识文库,进行文本中词汇的知识检索,譬如金融常用文本中涉及的并购/拆借/股权融资等专业知识领域,如何翻译或生成符合金融场景和内涵的文本至关重要,对于生成结果的质量和可解释性。

那么如何把大规模的知识库加入到文本训练模型中,提高翻译与生成文本的精度/内涵呢?

最新NVIDIA技术团队研究推出适用于该场景训练的模型Megatron-CNTRL AI语言模型框架:该框架有效解决了文本加入知识库,可手工调节文本生成与知识库融合生成的训练过程。

核心应用模型与设计机制原理:
GPT2
BERT模型
keyword generator
related contextrual knowledge rank generator
sentence  generator

下面我们来一图看懂整个原理模型框架的设计逻辑和思路:

                                    Megatron-CNTRL 

这是输入文本中需要索引知识库的关键词以及运用加入大规模知识库进行内涵解释和丰富文本词义的原理:

你可能感兴趣的:(人工智能技术,深度学习)