【AI视野·今日NLP 自然语言处理论文速览 第十六期】Tue, 29 Jun 2021

AI视野·今日CS.NLP 自然语言处理论文速览
Tue, 29 Jun 2021
Totally 47 papers
上期速览✈更多精彩请移步主页

Daily Computation and Language Papers

What's in a Measurement? Using GPT-3 on SemEval 2021 Task 8 -- MeasEval Authors Curt Kohler, Ron Daniel Jr 在2020年夏天，Openai将其GPT 3自回归语言模型发布到了大量粉丝。虽然该模型在几个领域的任务上显示了承诺，但在樱桃挑选的情况下或当它们是不公平的产出时，它并不总是明确。我们特别感兴趣GPT 3可以带来Semeval 2021 MEYSVAL任务识别科学文献中的测量结果及其相关属性。我们已经尝试过多转题，回答为此任务的解决方案。我们想看看我们是否可以使用GPT 3 S射击学习功能，以便更轻松地开发一个比我们的前工作更好的性能。不幸的是，我们在这项工作中没有成功。本文讨论了我们使用的方法，我们遇到的挑战，以及我们观察到的结果。我们遇到的一些问题只是由于现有技术。例如，提示的大小的限制并回答限制可以提供的训练信号的量。其他人是更基础的。我们没有意识到在保留事实信息中的生成模型。此外，提示中变化的影响是不可预测的，使其难以可靠地提高性能。

AMU-EURANOVA at CASE 2021 Task 1: Assessing the stability of multilingual BERT Authors L o Bouscarrat LIS, TALEP, QARMA , Antoine Bonnefoy, C cile Capponi LIS, QARMA , Carlos Ramisch LIS, TALEP 本文解释了我们参与案件的任务1共享任务。这项任务是关于来自新闻的多语种事件提取。我们专注于子任务4，事件信息提取。此子任务有一个小型训练数据集，我们精细调整了一个多语种伯特来解决这个子任务。我们在数据集上研究了不稳定问题，并试图减轻它。

Key Information Extraction From Documents: Evaluation And Generator Authors Oliver Bensch, Mirela Popa, Constantin Spille 从文档中提取信息通常依赖于在文本的一维序列上工作的自然语言处理方法。在某些情况下，例如，对于从半结构化文件提取关键信息，例如发票文档，文本的空间和格式信息对于了解语境含义至关重要。卷积神经网络在计算机视觉模型中已经很常见，以处理和提取多维数据中的关系。因此，自然语言处理模型已经与过去的计算机视觉模型结合在一起，受益于例如位置信息和提高这些关键信息提取模型的性能。现有模型在未发表的数据集或注释的收据集合中培训，这些收据集不会专注于像文档的PDF。因此，在本研究项目中，创建了基于模板的文档发生器，以比较用于信息提取的最先进模型的状态。现有信息提取模型CharGrid Katti等，进行了重建，并评估了边界盒回归解码器的影响，以及NLP预处理步骤的影响，以获取文件提取。结果表明，基于NLP的预处理是有益的模型性能。但是，边界盒回归解码器的使用仅增加了不遵循矩形形状的字段的模型性能。

Timestamping Documents and Beliefs Authors Swayambhu Nath Ray 我们可用的大多数文本信息都是暂时变量。在一个信息是动态的世界中，时间戳它们是一个非常重要的任务。文件是一个很好的信息来源，用于许多任务，情绪分析，评论等分类。文档的创建日期的知识促进了摘要，事件提取，时间重点信息提取等的若干任务，适用于大多数情况Web上的文档，时间戳元数据是错误的或丢失的。因此，文档约会是一个具有挑战性的问题，这需要推断文档的时间结构以及文档的上下文信息。先前的文档约会系统在很大程度上依赖于手工制作功能，同时忽略此类文档内部结构。在本文中，我们提出了Neuraldater，一种基于图的图表卷积网络GCN的文档，其以原则方式共同利用文档的句法和时间图结构。我们还指出了Neuraldater的一些局限性，并试图以更灵活和直观的方式在文件中利用文档中的所有上下文和时间信息，提出AD3注意深度文件讨论，一个基于注意的文件约会系统。据我们所知，这些是第一次应用任务的深度学习方法。通过对现实世界数据集的广泛实验，我们发现我们的模型明显优于最重要的边缘的最佳状态。

Classification of Contract-Amendment Relationships Authors Fuqi Song 在合同生命周期管理中，管理和跟踪主协议及其相关修正案至关重要，以便随时通知不同的截止日期和义务。自动解决方案可以促进日常工作，提高法律从业者的效率。在本文中，我们提出了一种基于机器学习ML和自然语言处理NLP的方法，以检测两个文件之间的修正关系。该算法采用OCR光学字符识别和NER命名实体识别的两个PDF文档作为输入，然后构建每个文档对的特征并对关系进行分类。我们在数据集上尝试了不同的配置，该数据集由英文和法语的1124对合同修正文件组成。与启发式基线相比，最佳结果获得了91分的F1分数，这优于23。

Overview of BioASQ 2020: The eighth BioASQ challenge on Large-Scale Biomedical Semantic Indexing and Question Answering Authors Anastasios Nentidis, Anastasia Krithara, Konstantinos Bougiatiotis, Martin Krallinger, Carlos Rodriguez Penagos, Marta Villegas, Georgios Paliouras 在本文中，我们概述了Bioasq挑战的第八版本，作为评估论坛Clef 2020年会议和实验室的实验室。Bioasq是旨在促进系统和方法的一系列挑战规模生物医学语义索引和问题应答。为此，自2012年自2012年自2012年以来举办共享​​任务，其中不同的团队开发在同一苛刻的基准数据集上竞争，该数据集代表生物医学领域的专家的实际信息需求。今年，在西班牙语中的医学语义索引中引入了新的任务，已经延长了挑战。总共有34支队伍，超过100个系统参加了挑战的三个任务。与往年一样，评估结果表明，顶部执行系统管理以优于强的基线，这表明艺术系统的状态通过连续改进继续推动研究前沿。

Progressive Open-Domain Response Generation with Multiple Controllable Attributes Authors Haiqin Yang, Xiaoyuan Yao, Yiqun Duan, Jianping Shen, Jie Zhong, Kun Zhang 期望包括更可控的属性以增强开放域对话系统中所产生的响应的分集。但是，现有方法可以生成只有一个可控属性的响应，或者缺少使用多个可控属性生成它们的灵活方法。在本文中，我们提出了一个逐步训练的分层编码器解码器解码器来解决这项任务。更具体地，PHED在变压器上部署条件变形AutoEncoder CVAE，以包括一个阶段的属性的一个方面。 CVAE的重要特征是将每个阶段分为两个类型的潜伏变量，捕获公共语义特征和特定变量在该阶段吸收属性信息。然后将CVAE与变压器编码器耦合，通过最小化新导出的elbBO和受控损耗来训练，以产生下一阶段的输入并根据需要产生响应。最后，我们进行了广泛的评估，以表明该控量显着优于现有神经发电模型的状态，并根据预期产生更多样化的反应。

An evaluation of template and ML-based generation of user-readable text from a knowledge graph Authors Zola Mahlaza, C. Maria Keet, Jarryd Dunn, Matthew Poulter 知识图表的典型用户友好渲染是可视化和自然语言文本。而在后者的盐酸溶液的方法，数据驱动的自然语言生成系统接收越来越多的关注，但他们往往是通过基于模板系统，由于从错误诸如内容下探，幻觉，或重复的痛苦跑赢。它是这些错误都与人类低质量的判断谁是文本的目的是为，这阻碍了寻址错误基于他们对改善人的评价影响显著关联未知。我们评估了他们可能的协会，实验利用人类创作文本，模板生成的文本和序列的专家和众群评估，以序列模型生成的文本。结果表明，没有显著的关联人之间创作的错误和自然性和质量的低人工判断文本。还有学习与掉落或幻觉插槽和自然性和质量的低人工判断产生文本机器之间没有显著关联。因此，这两种方法似乎是为设计知识图的自然语言界面可行的选择。

A Theory of Language Learning Authors Robert Worden 描述了一种语言学习理论，它使用贝叶斯诱导特征结构脚本和脚本功能。语言中的每个单词感觉都是由M脚本精神表示的，该脚本函数体现了单词的所有语法和语义。 M脚本形成一个完全简称的统一语法，可以支持成人语言。每个单词m脚本都可以从大约六个学习示例中稳健地学习。该理论已被实施为计算机模型，可以从零词汇中启动语言。贝叶斯学习机制是1个能够学习任意复杂的含义和句法结构2快速学习这些结构，这些结构从几个实施例中的一个强大的学习在存在多种无关的噪声的情况下，并且4个自我修复能够使用它来获取隐含的负证据学习例外。儿童学习语言显然是1 4，而连接主义理论失败1和2，符号理论在3和4上失败。该理论与语言习得的许多关键事实吻合良好，包括对其他理论有问题的事实。它与关于收购词典，短语结构，形态，互补和控制，助剂，动词论证结构，几乎所有案件的副词，动词论证结构，差距和运动的差异。没有额外的假设。

An Adversarial Learning based Multi-Step Spoken Language Understanding System through Human-Computer Interaction Authors Yu Wang, Yilin Shen, Hongxia Jin 大多数现有的口语理解系统可以仅基于单个舍入用户查询执行语义帧解析。它们不能将用户反馈更新，通过与用户的多机交互添加删除插槽值。在本文中，我们介绍了一种基于对冲学习的新型多步话语理解系统，可以利用多脉线用户的反馈来更新插槽值。我们在基准测试数据集上执行两个实验，并证明新系统可以在F1方面提高至少2.5的解析性能，只有一轮反馈。当反馈轮的数量增加时，改善变得更大。此外，我们还将新系统与最新的对话状态跟踪系统进行了比较，并证明新的交互式系统可以在插槽和句子级精度方面对多阵语言理解任务进行更好。

What's in a Scientific Name? Authors Henrique Ferraz de Arruda, Luciano da Fontoura Costa 在很大程度上，单词可以被理解为对应于出现的模式或类别，以表示在给定时间和空间中特别重要或有用的概念和结构。根据具体情况，不能完全一般的单词的特征是完全一般的，也不是特定的，这是与几种不同的上下文相关的。实际上，单词实例化和相关的方式表示特别有趣的方面，其可以基本上有助于更好地理解所用的背景。科学词汇也不例外。在目前的工作中，我们在不仅在若干领域经常使用的感觉中的一组特别相关的单词之间的关联，而且代表了目前与科学中一些主要抵抗挑战有关的概念。更具体地，在此报告的研究考虑到预测，模型，优化，复杂，熵，随机，确定性，模式和数据库。为了补充分析，我们还获得了代表所采用区域之间关系的网络。发现了许多有趣的结果。首先，观察到几个词在不同领域具有明显不同的关联。发现生物学与计算机科学有关，与数据库共享关联。此外，对于大多数情况，观察到复杂，模型和预测有几个强大的关联。

Neural Models for Offensive Language Detection Authors Ehab Hamdy 令人反感的语言检测是一种不断增长的自然语言处理NLP应用。这种增长主要是因为社交网络的广泛使用，这成为人民沟通，工作和享受娱乐内容的主流渠道。许多分享攻击性和令人反感的内容的事件对社会产生了负面影响，延伸。我们认为有助于改善和比较不同的机器学习模型来对抗这种有害内容是本论文的重要和具有挑战性的目标。我们针对攻击性语言检测建立高效自动模型的攻击性语言检测问题。随着NLP模型的最新进步，具体而言，变压器模型，将标准SEQ的许多缺点解决了SEQ技术。 BERT模型在许多NLP任务上显示了最先进的结果。虽然文献仍在探索NLP领域的BERT成就的原因。已经开发了其他有效的变体来改进标准伯特，例如Roberta和Albert。此外，由于社交媒体上的文本的多语言性质，这可能影响给定的补间的模型决定，可以检查多语言模型，例如100种语言培训的XLM Roberta培训，以及它与术语模型相比如何。基于Roberta的模型被证明是最有能力的模型，并为任务实现了最高的F1分数。圆圆形攻击性语言检测系统的另一个关键方面是培训型号的速度和推论。在这方面，我们考虑了模型运行时间，并进行了精细调整了快速的快速实现，称为BlazingText，从而实现了良好的结果，这比基于BERT的模型快得多。

Quantifying Social Biases in NLP: A Generalization and Empirical Comparison of Extrinsic Fairness Metrics Authors Paula Czarnowska, Yogarshi Vyas, Kashif Shah 测量偏差是更好地理解和解决NLP ML模型中不公平的关键。这通常通过公平度量来完成，这是通过一系列人口统计组来量化模型S行为的差异。在这项工作中，我们在NLP中使用的公平度量之间的差异和相似性更轻。首先，我们在三个广义公平度量下统一广泛的现有指标，揭示它们之间的联系。接下来，我们对现有度量进行了广泛的经验性比较，并证明可以通过我们的广义度量的参数选择的差异来系统地解释观察到的偏差差异。

Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU Authors Yilin Shen, Yen Chang Hsu, Avik Ray, Hongxia Jin 意图分类是语言理解SLU的主要任务。由于大多数模型都是在域名培训话题中收集的预先收集的，因此他们检测不支持的域OOOD话语的能力在实际使用中具有危重效果。最近的作品表明，使用额外数据和标签可以提高检测性能，但收集此类数据可能是昂贵的。本文建议在支持IND INTINT分类和OOD检测的同时使用IND数据训练模型。我们的方法设计了一种新型域正则化模块DRM，以减少香草分类器的过度自信现象，在这两种情况下实现更好的概括。此外，DRM可以用作任何神经网络的意图分类器中的最后一层的替代层，提供低成本策略以实现显着改进。对四个数据集的评估表明，我们在BERT和Roberta模型上构建的方法实现了针对现有方法的最新性能和我们为比较创建的强基线。

RadGraph: Extracting Clinical Entities and Relations from Radiology Reports Authors Saahil Jain, Ashwin Agrawal, Adriel Saporta, Steven QH Truong, Du Nguyen Duong, Tan Bui, Pierre Chambon, Yuhao Zhang, Matthew P. Lungren, Andrew Y. Ng, Curtis P. Langlotz, Pranav Rajpurkar 从自由文本放射学报告中提取结构化的临床信息可以使用放射学报告信息的各种关键医疗保健应用程序。在我们的工作中，我们呈现RADGRAPE，基于新颖的信息提取模式，我们在全文胸部X射线放射学报告中提供了RADGRAPT，以及我们设计用于构造放射学报告的新颖信息提取模式。我们释放了一个开发数据集，其中包含来自模拟CXR数据集14,579个实体和10,889个关系的500个放射学报告的董事会认证放射科注释，以及一个测试数据集，其中包含两个独立的电路板认证放射科学专家注释，用于100个放射学报告的分割模拟CXR和CHEXPERT数据集。使用这些数据集，我们训练并测试深度学习模型，即在模拟CXR和Chexpert测试组上的关系提取时实现0.82和0.73的微型F1。此外，我们释放了一个推理数据集，其中包含由大约600万个实体和400万个关系和400个关系的MIMIC CXR报告的RADGRAPT基准自动生成的注释，以及500个CHEXPERT报告13,783实体和9,908个与映射到相关的胸部X线片。我们自由的数据集可以促进医学自然语言处理的广泛研究，以及连接到胸部射线照片时的计算机视觉和多模态学习。

A Knowledge-Grounded Dialog System Based on Pre-Trained Language Models Authors Weijie Zhang, Jiaoxuan Chen, Haipang Wu, Sanhui Wan, Gongfeng Li 我们介绍了一个为第九对话系统技术开发的知识接地对话系统，挑战DSTC9 Track 1超越域API面向的对话模拟，具有非结构化知识访问。我们利用现有语言模型进行转移学习，以完成这一挑战轨道的任务。具体而言，我们将任务划分为四个子任务，并在每个子任务上进行微调多个变压器模型。我们采取了额外的更改，其在性能和效率中产生了增益，包括模型与传统实体匹配技术的组合，以及向语言模型的输出层添加指针网络。

Traditional Machine Learning and Deep Learning Models for Argumentation Mining in Russian Texts Authors Irina Fishcheva, Valeriya Goloviznina, Evgeny Kotelnikov 论证挖掘是一个计算语言学领域，致力于从文本提取和分类论证和它们之间的关系，以及构建争论结构。对俄语的这一领域进行了重要障碍是缺乏注释的俄语文本语料。本文探讨了使用俄语MicroText语料库argmicro的俄语版本的延伸，提高论证挖掘质量的可能性，基于有说服力的散文语料库康斯达的机器翻译。要使这两项集团组合使用，我们提出了一种基于argmicro和坚持使用的方案的联合参数注释计划。我们解决了使用传统机器学习技术SVM，袋装和XGBEROST和深神经网络BERT模型的两类PRO和OPP分类为两类PRO和OPP的问题。提出了一个XGBoost和BERT模型的集成，这表明了对既有公司的ADUS分类的最高性能。

Current Landscape of the Russian Sentiment Corpora Authors Evgeny Kotelnikov 目前，有十几个俄语语言集团进行情感分析，在情感类的文本，域，大小，数和比例的源头不同，以及注释方法。这项工作审查了公开的俄语语言集团，呈现了他们的定性和定量特征，这使得可以了解目前的语料库景观，以进行情感分析。提出了通过注释质量排名，在选择Corpora进行培训和测试时，这可能是有用的。基于使用深神经网络模型BERT，研究了训练数据集对情感分析性能的影响。有评论的实验允许我们得出结论，平均水平的质量随着培训数量的增加而增加。首次，基于BERT模型的ROMIP研讨会的评论语句获得了质量评分。此外，该研究提出了构建普遍模型的情绪分析的任务。

Efficient Dialogue State Tracking by Masked Hierarchical Transformer Authors Min Mao, Jiasheng Liu, Jingyao Zhou, Haipang Wu 本文介绍了我们对DSTC 9 Track 2交叉语言多域对话框状态跟踪的方法，任务目标是构建一个交叉语言对话状态跟踪器，其具有丰富的资源语言和低资源语言中的测试集。我们分别制定了一种共同学习插槽操作分类任务和状态跟踪任务的方法。此外，我们设计了一种用于融合关于对话的上下文信息的新型掩码机制，结果表明该建议的模型在DSTC挑战II上实现了优异的性能，分别在多发eN Zh Dataset和Crosswoz Zh en Dataset中具有62.37和23.96的联合精度。

Political Ideology and Polarization of Policy Positions: A Multi-dimensional Approach Authors Barea Sinno, Bernardo Oviedo, Katherine Atwell, Malihe Alikhani, Junyi Jessy Li 分析政治思想和极化在推进我们对社会政治背景的理解方面是至关重要的。最近的研究使得了解思想偏见的思想偏见，沿着左右频谱的新闻媒体的立场。在这项工作中，我们采取了一种新的方法，并研究了讨论戏弄的政策的意识形态，分开了立场和意识形态的细微态度。与政治学中的理论账户保持一致，我们将意识形态视为多维结构，并介绍了新闻文章的第一副历时数据集，其政治思想正在讨论被审议的政治科学家和语言学家在段落一级注释。我们展示了该框架，实现了对极化的定量分析，时间，多方面的思想距离。我们进一步提出了意识形态预测的基线模型。

A Span-Based Model for Joint Overlapped and Discontinuous Named Entity Recognition Authors Fei Li, Zhichao Lin, Meishan Zhang, Donghong Ji 重叠和不连续命名实体识别Ner的研究得到了越来越多的关注。以前的大多数工作都侧重于重叠或不连续的实体。在本文中，我们提出了一种新的基于跨度的模型，可以共同识别重叠和不连续的实体。该模型包括两个主要步骤。首先，通过遍历所有可能的文本跨度来识别实体片段，因此，可以识别重叠实体。其次，我们执行关系分类以判断给定的一对实体片段是否重叠或连续。通过这种方式，我们不仅可以识别不连续的实体，而且同时可以倍增地检查重叠的实体。总的来说，我们的模型可以被视为基本上的关系提取范式。多个基准数据集的实验结果，即谱号，Genia和Ace05表明，我们的模型对重叠和不连续的内部具有竞争力。

Integrating topic modeling and word embedding to characterize violent deaths Authors Alina Arseniev Koehler, Susan D. Cochran, Vickie M. Mays, Kai Wei Chang, Jacob Gates Foster 对来自许多域中的文本数据中的潜在模式进行升级需要升级。我们介绍了一种新方法来识别语料库中的主题，并将文档表示为主题序列。话语原子主题建模借鉴了理论机器学习的进步，集成了主题建模和单词嵌入，大写了每个的不同能力。我们首先识别一组矢量话语原子，它提供嵌入空间的稀疏表示。原子向量可以通过生成模型解释为潜在主题，原子地图到单词的分布上也可以推断出生成一系列单词的主题。我们说明了我们的方法，突出了未充分利用的文本美国国家暴力死亡报告系统NVDR。 NVDR总结了具有结构化变量和非结构化叙述的暴力死亡事件。我们在叙述中识别225个潜在主题，例如，现有结构变量未捕获死亡和物理侵略的准备，这些主题中的许多议题都不捕获。通过自杀和凶杀案中的已知模式的激励，以及最近关于语义空间中的性别偏见的研究，我们确定了我们主题的性别偏见。，关于止痛药的话题是女性化的。然后，我们将主题的性别偏见与女性与男性受害者的叙述中的盛行进行比较。结果提供了关于致命暴力报告及其性别性质的详细量化图片。我们的方法提供了一种灵活且广泛适用的方法来模拟文本数据中的主题。

Word2Box: Learning Word Representation Using Box Embeddings Authors Shib Sankar Dasgupta, Michael Boratko, Shriya Atmakuri, Xiang Lorraine Li, Dhruvesh Patel, Andrew McCallum 用于单词的学习矢量表示是NLP中最基本的主题之一，能够捕获在各种下游NLP任务中有用的句法和语义关系。然而，矢量表示可以限制，因为典型的评分，例如点产品相似性相交的空间中向量的位置和大小。代表性学习空间的令人兴奋的创新已经提出了替代的基本表现，例如分布，双曲线向量或地区。我们的模型Word2box采用基于地区的方法对词表示的问题，表示为N维矩形的单词。这些表示独立地编码位置和宽度，并提供额外的几何操作，例如交叉口和容纳，允许它们模拟CO发生模式矢量斗争。我们在各种单词相似性任务上展示了改进的性能，特别是在不太常见的单词上，并执行探索Word2box提供的额外唯一表达性的定性分析。

Draw Me a Flower: Grounding Formal Abstract Structures Stated in Informal Natural Language Authors Royi Lachmy, Valentina Pyatkin, Reut Tsarfaty 形成和解释抽象是人类通信中的核心过程。特别是，当给予和执行自然​​语言NL中规定的复杂指令时，人们可以自然地唤起抽象的构造，例如对象，环路，条件和功能，以便以有效和精确的方式传达他们的意图。然而，NLP AI中没有系统地研究了NL中所述的解释和接地抽象。为了在NL中引出自然发生的抽象，我们开发六边形六边形板上的六边形参照游戏，以及在二维六边形板上描述越来越复杂的图像，其他玩家需要遵循这些指令来重建图像。使用这款游戏我们收集了六边形数据集，其中包含164张图像和超过3000个自然发生的指示，丰富不同的抽象。我们的基线模型在执行从六边形数据集的执行任务的指令上确认NL中的更高级别抽象对当前系统进行了更具挑战性的过程。因此，该数据集公开了用于接地语义解析的新的和挑战性的维度，并为社区作为未来的基准，以便在NLP应用程序中探索更复杂和高级通信的未来基准。

A Closer Look at How Fine-tuning Changes BERT Authors Yichu Zhou, Vivek Srikumar 鉴于今天的NLP中预训练的上下文化表示的普遍性，有几点努力了解这些陈述包含的信息。使用此类表示的常见策略是为最终任务进行微调。但是，任务的精确调整如何改变底层空间的研究。在这项工作中，我们研究英语BERT系列，并使用两种探测技术来分析精细调整如何改变空间。我们的实验表明，微调改善了性能，因为它推动与远离其他标签的标签相关的点。通过比较微调之前和之后的表示，我们还发现微调不断调整不会随意更改表示，它在保留原始结构时调整到下游任务的表示。最后，使用仔细构造的实验，我们表明微调可以在表示中编码培训集，表明新类型的过度问题。

KGRefiner: Knowledge Graph Refinement for Improving Accuracy of Translational Link Prediction Methods Authors Mohammad Javad Saeedizade, Najmeh Torabian, Behrouz Minaei Bidgoli 链路预测是通过从其中包含的事实推断出来预测知识图之间的实体之间的缺失关系的任务。链路预测中最近的工作已经尝试通过在神经网络架构中使用更多层数或增加模型的计算复杂性的方法来提供一种用于增加链路预测精度的模型。本文提出了一种改进知识图的方法，这使得知识图更加丰富地，可以使用相对快速的翻译模型更准确地执行链路预测操作。平移链接预测模型，如Transe，Transh，Transd等，而不是深度学习方法的复杂性远得多。该方法使用关系层次结构以及知识图中的实体层次结构，以将实体信息添加为图形的新实体，并将其连接到包含在其层级中的该信息的节点。我们的实验表明，我们的方法可以显着提高H10，MRR，MRR先生在H 10中的翻译链路预测方法的性能。

PeCoQ: A Dataset for Persian Complex Question Answering over Knowledge Graph Authors Romina Etezadi, Mehrnoush Shamsfard 问题应答系统可能会从非结构化文本或结构化数据（如知识图形）找到答案。使用监督学习方法回答问题，包括深入学习模型需要大型训练数据集。近年来，已经提出了一些数据集，以应对知识图表的问题任务，这是本文的重点。虽然提出了许多英语数据集，但有一些问题在波斯语中回答了数据集。本文介绍了Texit PecoQ，一个数据集，用于波斯问题的回答。此数据集包含来自波斯知识图表，FarsBase的10,000个复杂的问题和答案。对于每个问题，也提供了由语言学家编写的SPARQL查询和两个释义。数据集中存在不同类型的复杂性，例如多关系，多实体，序数和时间约束。在本文中，我们讨论了数据集的特征，并描述了建立它的方法。

Persian Causality Corpus (PerCause) and the Causality Detection Benchmark Authors Zeinab Rahimi, Mehrnoush ShamsFard 识别文本中的因果因素和因果关系是自然语言处理中的具有挑战性的问题，如波斯的低资源语言。在这项研究中，我们为波斯语言制定一个因果关系人类注释语料库，其中包括4446个句子和5128个因果关系，如果为每个关系指定了可能的原因，效果和因果标记。我们使用该语料库培训用于检测因果元边界的系统。此外，我们为三种机器学习方法和基于该语料库的两个深度学习系统提供了一个因果检测基准。性能评估表明，我们通过CRF分类器获得了最佳总结果，该CRF分类器具有0.76的F度，并且通过BI LSTM CRF深度学习方法获得的最佳精度，精度等于91.4。

Effective Cascade Dual-Decoder Model for Joint Entity and Relation Extraction Authors Lianbo Ma, Huimin Ren, Xiliang Zhang 从文本中提取关系三元组是知识图形结构中的基本任务。现有方法的流行方式是共同提取使用单一模型的实体和关系，这通常会遭受重叠的三重问题。也就是说，存在多个关系三维，其中在一个句子中共享相同的实体。在这项工作中，我们提出了一种有效的级联双解码器方法来提取重叠关系三元组，其包括文本特定关系解码器和关系对应的实体解码器。我们的方法是简单的文本特定关系解码器根据其文本语义来检测与句子的关系，并将其视为额外的功能，以指导每个提取的每个提取关系，该关系与可培训嵌入，关系对应的实体解码器检测相应的头部使用基于跨度标记方案的尾部实体。以这种方式，重叠的三重问题自然地解决。两个公共数据集的实验表明，我们所提出的方法优于现有技术的方法，并在严格的评估度量下实现更好的F1分数。我们的实施提供了

Analyzing Research Trends in Inorganic Materials Literature Using NLP Authors Fusataka Kuniyoshi, Jun Ozawa, Makoto Miwa 在无机材料科学领域，通过读取大量纸张的机器提取诸如材料的物理性质和合成过程的知识需求不断增长。这是因为材料研究人员指的是许多论文，以提出有希望的材料合成实验的术语。但是，只有一些系统可以提取材料名称及其属性。本研究提出了大规模的自然语言处理NLP管道，用于从材料科学文献中提取材料名称和性质，以便在材料科学中搜索和检索结果。因此，我们提出了一种用于提取材料名称和属性的标签定义，并因此构建包含从301篇论文提取的836个注释段落的语料库，用于培训命名实体识别NER模型。实验结果证明了这种NER模型的效用，它实现了78.1分的微型F1得分的成功提取。为了证明我们的方法的功效，我们通过将我们的培训的NER模型应用于12,895种材料科学论文，对现实世界进行了彻底的评估。通过可视化NLP管道输出，我们分析了材料科学的趋势。例如，该国逐年分析表明，近年来，MOS2上的纸张数量是佩罗夫斯基特太阳能电池的材料，在中国迅速增加，但在美国逐渐减少。此外，根据该条件逐年分析，催化剂材料PEDOT PSS的加工温度在200度以下移位，并且处理时间超过5小时的报告数量略微增加。

Visual Conceptual Blending with Large-scale Language and Vision Models Authors Songwei Ge, Devi Parikh 我们询问近期大规模语言和图像生成模型在多大程度上混合了视觉概念给定任意对象，我们识别相关对象，并使用语言模型生成两个两个混合的单句描述。然后，我们使用基于文本的图像生成模型来生成混合的视觉描绘。定量和定性评估展示了语言模型在概念混合的古典方法上的优越性，以及最近的大规模图像生成模型，用于对视觉描绘的模型。

UMIC: An Unreferenced Metric for Image Captioning via Contrastive Learning Authors Hwanhee Lee, Seunghyun Yoon, Franck Dernoncourt, Trung Bui, Kyomin Jung 尽管诸如BERTSCORE的各种文本生成度量的成功，但由于描述的分集，仍然难以在没有足够参考标题的情况下评估图像标题。在本文中，我们介绍了一种新的度量UMIC，一种不需要参考标题来评估图像标题的图像标准的新度量UMIC。基于视觉和语言BERT，我们通过对比学习训练UMIC来区分负面标题。此外，我们观察到图像标题度量上的先前基准数据集的关键问题，是在图像标准下的人类注释，并在生成的标题上引入新的人类注释集合。我们在四个数据集中验证UMIC，包括我们的新数据集，并显示UMIC具有比需要多个引用的所有先前度量的相关性更高的相关性。我们释放基准数据集和预训练模型来计算UMIC。

Benchmarking Differential Privacy and Federated Learning for BERT Models Authors Priyam Basu, Tiasa Singha Roy, Rakshit Naidu, Zumrut Muftuoglu, Sahib Singh, Fatemehsadat Mireshghallah 使用人称话语的集合，可以应用自然语言处理NLP技术，以帮助诊断抑郁症等医疗条件，如抑郁症。抑郁症是一种严重的医疗疾病，可能对人们感觉，思考和行为有不利影响，这可能导致情绪和身体问题。由于此类数据的敏感性，需要采取隐私措施来处理和培训模式。在这项工作中，我们研究了差异隐私DP在集中式和联合学习的培训中的应用程序的影响，培训上下文语言模型BERT，Albert，Roberta和Distilbert。我们提供有关如何私下培训NLP模型以及哪些架构和设置提供更可观的隐私式贸易的洞察。我们设想这项工作要用于未来的医疗保健和心理健康研究，以保持医学史私有。因此，我们提供了这项工作的开源实现。

A Training-free and Reference-free Summarization Evaluation Metric via Centrality-weighted Relevance and Self-referenced Redundancy Authors Wang Chen, Piji Li, Irwin King 近年来，基于参考和监督摘要评估指标得到了广泛的探索。然而，收集人类注释的参考和评级是昂贵的且耗时的耗时。为避免这些限制，我们提出了自由培训和参考无摘要评估度量。我们的指标包括集中性加权相关评分和自引用的冗余分数。从源文档和给定摘要构建的伪参考之间计算相关性得分，其中伪参考内容由句子中心加权以提供重要的引导。除了基于F 1的相关性分数之外，我们还设计了一种基于F的Feta基于葡萄酒的变量，可以更加关注召回得分。至于摘要的冗余分数，我们将自我屏蔽的相似度分数与摘要本身计算出来，以评估摘要中的冗余信息。最后，我们结合了相关性和冗余成绩来产生给定摘要的最终评估得分。广泛的实验表明，我们的方法可以显着优于多文件和单一文件摘要评估的现有方法。

Rationale-Inspired Natural Language Explanations with Commonsense Authors Bodhisattwa Prasad Majumder, Oana Maria Camburu, Thomas Lukasiewicz, Julian McAuley 可说明的机器学习模型主要使用提取理由的预测标签，即输入功能的子集或自由文本自然语言解释为抽象理由。虽然NLES可以比提取理由更全面，但是已经显示了机器产生的NLES有时缺乏勤杂朗知识。在这里，我们表明，致致通知知识可以作为提取理性和NLE之间的桥梁，更好地渲染两种类型的解释。更确切地说，我们介绍一个统一的框架，称为rexc理由灵感解释与致辞，其中1个提取理性作为负责机器预测的一组功能，2扩展了使用可用的致辞资源的提取理由，3使用扩展知识来产生自然语言解释。我们的框架在自然语言处理和视觉语言理解的五个任务中产生了一个大型的最先进的最先进的最先进，以人为的注释者始终如一地评估REXC生成的解释，以更全面地，以巨资为基础，整体与先前的现有技术相比，优选。此外，我们的工作表明，致辞会的解释可以提高任务性能和理由提取能力。

Semantic Parsing Natural Language into Relational Algebra Authors Ruiyang Xu, Ayush Singh 在过去的几十年中，数据库NLIDB的自然接口已经研究过很多。在NLIDB的核心中，是用于将自然语言转换为SQL的语义解析器。来自传统NLP方法的解决方案专注于语法规则模式学习和通过中间逻辑形式配对。虽然这些方法在某些特定的数据库和解析任务上给出了可接受的表现，但它们很难泛化和规模。另一方面，神经深度学习的最近进展似乎为建立一般NLIDB系统提供了有希望的方向。与传统方法不同，那些神经方法将解析问题视为序列学习问题的序列。在本文中，我们在几个序列上进行了序列学习模型，并评估它们对常规数据库解析任务的性能。

Persian Rhetorical Structure Theory Authors Sara Shahmohammadi, Hadi Veisi, Ali Darzi 在过去几年中，对话语分析和话语解析的兴趣已经稳步发展，而且许多话语被注释的语料库，因此已经建成了话语解剖。在本文中，我们提出了一个关于在修辞结构理论框架内建立的波斯语的语义，以及在DPLP解析器上构建的话语解析器，是一个开源话语解析器。我们的语料库包括150个新闻文本，每个文本平均约有400个字。语料库文本使用18个话语关系并根据英语RST话语TreeBank语料库的注释指南。我们的文本级别话语解析器使用Gold Segation培训，并建立在DPLP话语解析器上，它使用大量的基于边界过渡的方法来解决话语解析的问题。在跨度S，核心N和关系R检测中，我们的话语解析器的性能分别在F1测量方面分别为78,64,44左右。

XL-Sum: Large-Scale Multilingual Abstractive Summarization for 44 Languages Authors Tahmid Hasan, Abhik Bhattacharjee, Md Saiful Islam, Kazi Samin, Yuan Fang Li, Yong Bin Kang, M. Sohel Rahman, Rifat Shahriyar 当代对抽象文本摘要的作品主要集中在英语等高资源语言上，主要是由于低中资资源的数据集可用性有限。在这项工作中，我们展示了XL总金，一个全面和多样化的数据集，包括来自BBC的100万个专业注释的文章对，用一套精心设计的启发式提取。 DataSet涵盖44种语言，范围从低到高资源，其中许多许多都没有公共数据集目前可用。 XL SUM具有高度抽象，简洁的和高质量，如人类和内在评估所示。我们精细调整MT5，这是一种艺术预用的多语言模型，具有XL和实验，在多语言和低资源总结任务上。 XL总和诱导竞争结果与使用类似的单机数据集获得的竞争结果，我们在我们基准的10种语言上显示出高于11个胭脂2分数，其中一些超过15，通过多语言训练获得。此外，对低资源语言的培训也单独提供竞争性能。据我们所知，XL SUM是从单个来源收集的样本数量和所涵盖的语言数量方面最大的抽象摘要数据集。我们正在发布我们的数据集和模型，以鼓励未来的多语言抽象摘要研究。可以在URL找到资源

A Few Brief Notes on DeepImpact, COIL, and a Conceptual Framework for Information Retrieval Techniques Authors Jimmy Lin, Xueguang Ma 信息检索的代表学习的最新进展可以在概念框架中组织，该概念框架可以组织成建立两对对比度稀疏与浓度与浓度的对比和无监督的对比。稀疏的学习表示可以进一步分解成扩展和术语加权组件。该框架使我们能够了解最近提出的技术（如DPR，ANCE，DeameCT，Deepimpact和Lock）之间的关系，此外，我们的分析点在尚未探索的技术方面对低悬垂的水果显示出来的差距。我们提出了一种新颖的unicoil，一个简单的线圈延伸，实现了我们知识的本领域本领域的当前状态在流行的MS Marco段落排名数据集上的稀疏检索。我们使用Anserini IR Toolkit的实现是在Lucene Search库中构建的，从而完全兼容标准反相索引。

Keyphrase Generation for Scientific Document Retrieval Authors Florian Boudin, Ygor Gallina, Akiko Aizawa 序列到序列模型已经导致关键正版的显着进展，但它仍然未知它们是否可靠，以便有利于文档检索。本研究提供了经验证据，即此类模型可以显着提高检索性能，并引入了一种新的外在评估框架，允许更好地理解关键酶生成模型的局限性。使用此框架，我们指出并讨论遇到文本关键词中不存在的补充文档的困难，以及跨域的概括模型。我们的代码可供选择

A new system for evaluating brand importance: A use case from the fashion industry Authors A. Fronzetti Colladon, F. Grippa, L. Segneri 今天的品牌经理和营销专家可以利用大量数据来揭示消费者看法的模式和趋势，监测品牌的正面或负面协会关于所需的主题。在这项研究中，我们应用了语义品牌得分SBS指标，以评估时装行业的品牌重要性。为此目的，我们使用SBS Business Intelligence App SBS BI测量和可视化文本数据，依赖于文本挖掘和社交网络分析的方法和工具。我们收集并分析了大约206,000名推文，提到了时尚品牌Fendi，Gucci和Prada，于3月5日至3月12日，2021年3月12日。从分析三种SBS尺寸的普遍存在，多样性和连通性，我们发现Gucci主导了话语，具有高价值的SBS。我们使用本案例研究作为示例，以呈现用于评估品牌重要性和图像的新系统，通过分析大文本数据。

Sparsely Overlapped Speech Training in the Time Domain: Joint Learning of Target Speech Separation and Personal VAD Benefits Authors Qingjian Lin, Lin Yang, Xuyang Wang, Luyuan Xie, Chen Jia, Junjie Wang 目标语音分离是根据所提供的附加扬声器标识信息过滤出某些扬声器S声音的过程。最近的作品通过直接处理时域的信号进行了相当大的改进。其中大多数是全重叠的讲话混合物进行培训。然而，由于大多数真实的生活对话随机发生并且稀疏重叠，因此我们认为具有不同重叠比率数据益处的培训。为此，不可避免的问题是普遍使用的SI SNR损失对静默来源没有定义。本文提出了加权SI SNR损失，以及联合学习目标语音分离和个人VAD。加权SI SNR损失施加了与目标扬声器S持续时间成比例的权重因因子，并且当不存在目标扬声器时返回零。同时，个人VAD产生掩码并将非目标语音设置为沉默。实验表明，我们提出的方法在完全重叠的语音上的SDR方面优于1.73 dB的基线，以及4.17 dB和0.9 dB的清洁和嘈杂的条件的稀疏重叠语音。此外，由于性能略有降级，我们的模型可以降低推理的时间成本。

A Case Study of LLVM-Based Analysis for Optimizing SIMD Code Generation Authors Joseph Huber, Weile Wei, Giorgis Georgakoudis, Johannes Doerfert, Oscar Hernandez 本文介绍了一种基于LLVM的工具的方法，可以调整针对新ARM A64FX处理器的DCA动态ClarePatimation应用程序。目标是描述新架构所需的更改，并生成有效的单个指令多个数据SIMD指令，其针对新的可伸缩矢量扩展指令集。在手动运行期间，作者使用LLVM工具通过使用OpenMP SIMD来改进代码并行化，重构代码并应用了启用SIMD优化的应用转换，并确保使用正确的库来实现最佳性能。通过应用这些代码更改，CodefefeSef在A64FX处理器上增加了1.98倍，78个GFLOPS实现了78个GFLOP。 Authorsais可以自动化OpenMP顾问工具中的部分努力，该工具内置于现有和新介绍的LLVM工具之上。

SymbolicGPT: A Generative Transformer Model for Symbolic Regression Authors Mojtaba Valipour, Bowen You, Maysum Panju, Ali Ghodsi 符号回归是识别最适合提供的输入和输出值数据集的数学表达式的任务。由于数学表达空间的丰富性，象征性回归通常是一个具有挑战性的问题。虽然基于遗传演进算法的常规方法已经使用了几十年来，但基于深度的学习方法是相对较新的和活跃的研究区域。在这项工作中，我们呈现符号，这是一种用于象征性回归的新型变压器语言模型。该模型利用了GPT等概率语言模型的优势，包括性能和灵活性的强度。通过综合实验，我们表明我们的模型与竞争模型相比，与准确性，运行时间和数据效率相比，竞争模型。

PhyCRNet: Physics-informed Convolutional-Recurrent Network for Solving Spatiotemporal PDEs Authors Pu Ren, Chengping Rao, Yang Liu, Jianxun Wang, Hao Sun 部分微分方程PDE在各种学科之间的建模和模拟问题中起着重要作用。深度学习的最新进展已经表明了物理知识神经网络的巨大潜力，以解决PDE作为数据驱动建模和逆分析的基础。然而，基于完全连接的NNS的大多数现有的Pinn方法对低维时空参数化构成内在限制。此外，由于初始边界条件I BCS通过罚款轻声施加，因此解决方案质量依赖于近双数计调谐。为此，我们提出了新的物理知识的卷积经常性学习架构，用于求解PDE，没有任何标记的数据。具体地，提出了一种编码器解码器卷积的长短路存储网络，用于低维空间特征提取和时间演进学习。损耗函数被定义为聚合离散的PDE残差，而I BC在网络中是硬编码的，以确保强制满足，例如，周期性边界填充。通过显式模拟行进时间的自动增加和残差连接，进一步增强了网络。通过求解三个非线性PDE，例如，2D Burgers方程，Lambda Omega和Fitzhugh Nagumo反应扩散方程，并与艺术基线算法的开始进行评估。数值结果证明了我们提出的方法在解决方案准确性，推出性和概括性的背景下的优越性。

Core Challenges in Embodied Vision-Language Planning Authors Jonathan Francis, Nariaki Kitamura, Felix Labelle, Xiaopeng Lu, Ingrid Navarro, Jean Oh 多式联机学习和人工智能AI领域的最新进展导致了计算机视觉，自然语言处理和体现AI的交叉点的挑战任务。然而，许多方法和先前的调查追求都表现了其中一个或两个方面，而这三个中心则没有全面分析。此外，即使考虑了这些主题的组合，还将更高的焦点描述，例如，当前的架构方法，而不是说明该领域的高水平挑战和机会。在本调查论文中，我们讨论了体现了视觉语言规划EVLP任务，这是一个突出的体现导航和操纵问题，共同使用计算机视觉和自然语言。我们提出了一个分类法，统一这些任务，并提供了新的和当前算法方法，度量，模拟环境以及用于EVLP任务的数据集的深度分析和比较。最后，我们展示了我们认为新的EVLP工作应该寻求解决的核心挑战，我们倡导能够实现普遍性和传统的现实世界部署的任务结构。

Multimodal Few-Shot Learning with Frozen Language Models Authors Maria Tsimpoukelli, Jacob Menick, Serkan Cabi, S.M. Ali Eslami, Oriol Vinyals, Felix Hill 当以足够的规模培训时，自动回归语言模型在提示时显示出于几个示例后，展示了学习新语言任务的能力。在这里，我们展示了一种简单但有效的方法，用于将这几个射击学习能力转移到多峰设置视觉和语言。使用对齐图像和标题数据，我们培训视觉编码器，将每个图像表示为连续嵌入的序列，使得使用此前缀提示的预训练的冻结语言模型生成了相应的标题。由此产生的系统是一个多模式的镜头学习者，具有令人惊讶的能力，在调节示例时学习各种新任务，表示为多个交错图像和文本嵌入的序列。我们证明它可以迅速学习新对象和新颖的视觉类别的单词，通过仅通过测量各种建立和新的基准测试的单一模型来使用少数示例的视觉问题，并利用外部知识。

Chinese Abs From Machine Translation

Papers from arxiv.org

更多精彩请移步主页

---

pic from pexels.com