【AI视野·今日NLP 自然语言处理论文速览 第二期】Mon, 7 Jun 2021

AI视野·今日CS.NLP 自然语言处理论文速览
Mon, 7 Jun 2021
Totally 52 papers
上期速览✈更多精彩请移步主页

Daily Computation and Language Papers

Neural semi-Markov CRF for Monolingual Word Alignment Authors Wuwei Lan, Chao Jiang, Wei Xu 单语对齐对于研究细粒度编辑操作是重要的，即在文本中删除，加法和替换到文本生成任务，例如释义生成，文本简化，中和偏见的语言等。在本文中，我们提出了一种新颖的神经系统Markov CRF对齐模型，它通过可变长度跨度统一字和短语对齐。我们还创建了一个新的基准，具有人类注释，涵盖四种不同的文本类型，以在更现实的设置中评估单声道词对齐模型。实验结果表明，我们所提出的模型优于单晶字对齐的所有先前方法以及以前仅应用于双语数据的基于竞争的QA基线。我们的模型展示了三个域数据集的良好普遍性，并在两个下游应用程序中显示了很大的实用程序自动文本简化和句子分类任务。

Recurrent Neural Networks with Mixed Hierarchical Structures for Natural Language Processing Authors Zhaoxin Luo, Michael Zhu 在语言学和自然语言处理NLP任务中存在分层结构。如何设计RNN学习自然语言的分层表示仍然是一个很长的挑战。在本文中，我们分别定义了两种不同类型的边界，分别称为静态和动态边界，然后使用它们来构造用于文档分类任务的多层层次结构。特别是，我们专注于具有静态词和句子层和动态短语层的三层层次结构。 LSTM细胞和两个边界检测器用于实现所提出的结构，并且所得到的网络称为EM反复性神经网络，混合分层结构MHS RNN。我们进一步向MHS RNN模型中添加了三层注意机制。纳入注意机制允许我们的模型使用更重要的内容来构建文档表示，并提高其在文档分类任务上的性能。五个不同数据集上的实验表明，所提出的体系结构优于所有五个任务的先前方法。

Great Service! Fine-grained Parsing of Implicit Arguments Authors Ruixiang Cui, Daniel Hershcovich 广泛的覆盖范围意味着NLP中的表示主要是专注于明确表达的内容。更重要的是，数据集的稀缺注释各种隐式角色将实证研究限制为其语言细微差别。例如，在Web Review优越的服务中，提供者和消费者是不同类型的隐式参数。通过小心地重新注释它，检查2020年的细粒度隐含争论Cui和Hershcovich的注释语料库，解决了几个不一致。随后，我们介绍了一种基于过渡的神经解析器，可以动态地处理隐式参数，并在改进的数据集上使用两个不同的转换系统进行实验。我们发现某些类型的隐式参数比其他类型更难以解析，并且更简单的系统在恢复隐式参数时更准确，尽管具有较低的总体解析得分，但是证明了NLP模型的当前推理限制。这项工作将促进完全理解隐式和不确定的语言，通过将其整理到意义呈现。

Do Syntactic Probes Probe Syntax? Experiments with Jabberwocky Probing Authors Rowan Hall Maudslay, Ryan Cotterell 分析神经语言模型是否编码语言信息已在NLP中流行。这样做的一种方法，该方法经常被引用，以支持BERT编码语法等模型称为探测探测器是培训的小型监督模型，以从另一个模型S输出中提取语言信息。如果探测能够预测特定结构，则认为必须隐含地学习其培训的培训的模型来对其进行编码。然而，基于探测能够学习的特定现象的模型S语言知识绘制了关于特定现象的概括可能是有问题的，我们表明训练数据中的语义线索意味着语法探测器不会正确隔离语法。我们生成一个新的语义荒谬的语料库，但句法良好的jabberwocky句子，我们用于评估在正常数据上培训的两个探测器。我们培训探针在几种流行的语言模型BERT，GPT和Roberta上，并在所有设置中发现它们在这些数据上进行评估时执行更差，一个探针平均为15.4 UUAS点绝对。虽然在大多数情况下，它们仍然优于基线，但它们的铅显着降低，例如，在一个探针的伯爵的情况下，通过53。这引出了问题构成了知道语法的原因

CLIP: A Dataset for Extracting Action Items for Physicians from Hospital Discharge Notes Authors James Mullenbach, Yada Pruksachatkun, Sean Adler, Jennifer Seale, Jordan Swartz, T. Greg McKelvey, Hui Dai, Yi Yang, David Sontag 护理的连续性至关重要，以确保从住院医院环境排放的患者的阳性健康结果，并改善信息共享可以提供帮助。要分享信息，护理人员将放电说明包含与患者及其未来的护理人员分享的动作项目，但由于文档的漫长，这些动作项目很容易丢失。在这项工作中，我们描述了我们创建了在MIMIC III上注释的临床行动项目数据集，这是真实临床笔记的最大可公布的数据集。我们称之为剪辑的数据集由医生注释，涵盖代表100k句子的718件文件。我们描述了从这些文档中提取动作项目的任务，作为多个方面的提取摘要，每个方面都表示要采取的一种动作。我们在此任务中评估了多种机器学习模型，并显示最佳模型在域语言模型中挖掘到59K未经发布的文档上的培训，并将上下文与邻近句子合并。我们还提出了一种预先培训数据选择的方法，该方法允许我们探索此任务的预训练数据集的大小和域特征之间的折衷。

Improving Computer Generated Dialog with Auxiliary Loss Functions and Custom Evaluation Metrics Authors Thomas Conley, Jack St. Clair, Jugal Kalita 虽然人们有能力在没有努力的情况下从事VAPID对话，但这可能不是一个唯一的人类特质。自1960年代的研究人员以来一直试图创造可以产生人工对话的代理商。这些程序通常称为Chatbots。随着越来越多地利用神经网络进行对话生成，一些结论是实现这一目标的实现。本研究通过创建生成经常性神经网络RNN的对话来加入任务，并通过提高该网络与辅助损耗功能和光束搜索的能力。我们的自定义损失功能通过包括最大互信息MMI和熵的计算来实现更好的凝聚力和连贯性。我们通过使用一系列受到以前研究的丰富的自定义评估度量来展示该系统的有效性，并基于自然语言处理的验证和真正的原则。

COINS: Dynamically Generating COntextualized Inference Rules for Narrative Story Completion Authors Debjit Paul, Anette Frank 尽管最近在解决推理任务方面取得了大型预培训的语言模型，但它们的推理能力仍然是不透明的。我们通过显式生成中期推断规则，并使用它们来指导任务特定文本输出的生成，可以使这些模型更加解释。在本文中，我们呈现硬币，递归推理框架，即我迭代地读取上下文句子，II动态生成上下文化推理规则，对它们进行编码，并且III使用它们来指导任务特定的输出生成。我们将硬币应用于一个叙事故事完成任务，要求模型完成丢失句子的故事，以产生具有合理的逻辑连接，因果关系和时间依赖性的连贯的故事。通过模块化推理和句子生成步骤，我们的目的是在下一个句子生成透明的推理步骤及其影响。我们的自动和手动评估表明，该模型比Sota基线产生更好的故事句，尤其是在一致性方面。我们进一步展示了在生成型号推理规则的强大预训练LMS上提高性能。硬币的递归性质具有受控较长序列的可能性。

Language Model Metrics and Procrustes Analysis for Improved Vector Transformation of NLP Embeddings Authors Thomas Conley, Jugal Kalita 人工神经网络是他们核心的数学模型。当网络受到自然语言处理的任务时，这种Truismpresents一些基本困难。一个关键问题在于测量NLP嵌入空间中的向量中的相似性或距离，因为距离的数学概念并不总是同意语言概念。我们建议使用创建它们的语言模型LM来测量向量中的语言距离的最佳方式。我们介绍了语言模型距离LMD，用于根据分布假设LMD精度测量矢量变换准确性。我们通过将其应用于一个简单的神经网络来学习用于双语单句映射的Procrustes算法来展示该指标的功效。

You Only Compress Once: Towards Effective and Elastic BERT Compression via Exploit-Explore Stochastic Nature Gradient Authors Shaokun Zhang, Xiawu Zheng, Chenyi Yang, Yuchao Li, Yan Wang, Fei Chao, Mengdi Wang, Shen Li, Jun Yang, Rongrong Ji 尽管对各种自然语言处理任务进行了卓越的性能，但是通过部署资源约束设备，诸如BERT等预训练型号。大多数现有的模型压缩方法需要在各种约束上重新压缩或微调，以适应各种硬件部署。这实际上限制了模型压缩的进一步应用。此外，现有弹性压缩范例4,27的无效训练和搜索过程防止了直接迁移到BERT压缩。通过对伯特各种约束的有效推论的必要性，我们提出了一种新颖的方法Yoco Bert，以实现一次压缩并到处部署。具体来说，我们首先构建一个具有10个13架构的庞大的搜索空间，其几乎涵盖了BERT模型中的所有配置。然后，我们提出了一种新型的随机性质梯度优化方法，以指导最佳候选架构的产生，这可以在探索和剥削之间保持均衡的贸易。当给出某个资源约束时，利用轻量分布优化方法来获得用于目标部署的最佳网络而不进行微调。与最先进的算法相比，Yoco Bert提供了更紧凑的型号，但在胶水基准测试中实现了2.1 4.5的平均准确性。此外，Yoco Bert也更有效，例如，对于N个不同的设备，训练复杂性是O 1。代码是可用的，从而获得github.com mac automl yoco bert。

Entity Concept-enhanced Few-shot Relation Extraction Authors Shan Yang, Yongfei Zhang, Guanglin Niu, Qinghua Zhao, Shiliang Pu 很少的镜头关系提取FSRE在长尾分布问题中具有重要意义，特别是在具有低资源数据的特殊领域。由于有限的样本和缺乏知识，大多数现有的FSRE算法未能基于句子的信息与所公认的实体对一起准确地分类关系。为了解决这个问题，在本文中，我们提出了一种新颖的实体概念，增强了一些射击关系提取方案的概念，其介绍了实体的固有概念，以提供关于关系预测的线索并提高关系分类性能。首先，通过计算句子和概念之间的语义相似性来开发一个概念句子注意力模块来从每个实体的多个概念中选择最合适的概念。其次，提出了一种基于自我关注的融合模块，以弥合嵌入不同语义空间的概念嵌入和句子的差距。对于FSRE基准数据集的广泛实验，但与最先进的基线相比，拟议的概念方案的有效性和优越性。代码可用

Prediction or Comparison: Toward Interpretable Qualitative Reasoning Authors Mucheng Ren, Heyan Huang, Yang Gao 定性关系说明了如何改变一个属性，例如，移动速度影响另一个，例如动能，并构成了相当大的文本知识。目前的方法使用语义解析器将自然语言输入转换为逻辑表达式或黑匣子模型，以便在一步中解决它们。前者的应用范围有限，而后者缺乏可解释性。在这项工作中，我们将定性推理任务分类为两种类型的预测和比较。特别是，我们采用了训练的神经网络模块，以结束训练以结束方式来模拟两个推理过程。在两个定性推理问题的实验回答数据集，石英和Quarel，表明了我们的方法有效性和泛化能力，以及模块提供的中间输出使得推理过程可解释。

Annotation Curricula to Implicitly Train Non-Expert Annotators Authors Ji Ung Lee, Jan Christoph Klie, Iryna Gurevych 注释研究通常需要注释器熟悉任务，注释方案和数据域。这可以在开始，精神上征税和诱导结果中的误差中占据压倒性，特别是在公民科学或人群采购方案中，其中不需要域专业知识，并且只提供注释指南。为了减轻这些问题，我们提出了注释课程，一种暗示培训注释者的新方法。我们的目标是通过订购根据学习课程注释的实例逐步将注释器引入任务。为此，我们首先将注释课程正式化为句子和段落级别的注释任务，定义订购策略，并在三个现有英语数据集中识别良好的执行启发式和培训模型。然后，我们用40名自愿参与者进行用户学习，被要求确定关于Covid 19流行的英语推文最适合最适合的误解。我们的结果表明，使用简单的启发式实例可以显着减少保留高注释质量的总注释时间。辅助课程可以提供一种改进数据收集的新方法。为了促进未来的研究，我们进一步分享了由2,400名注释组成的代码和数据。

How Good Is NLP? A Sober Look at NLP Tasks through the Lens of Social Impact Authors Zhijing Jin, Geeticka Chauhan, Brian Tse, Mrinmaya Sachan, Rada Mihalcea 近年来，在自然语言处理NLP中看到了许多突破，将其从大多数理论场转换为具有许多真实世界的应用程序。注意到其他机器学习的应用数量和AI技术具有普遍的社会影响，我们预计发展NLP技术对社会益处的重要性。受到道德哲学和全球优先考察的理论的启发，我们的目标是在NLP的背景下促进社会益处的指导方针。我们通过道德哲学的社会良好定义，提出了一个框架来评估NLP任务的直接和间接的现实影响，采用全球优先考究的方法，以确定NLP研究的优先原因。最后，我们使用我们的理论框架来为未来的NLP研究提供一些实用的社会效果准则。我们的数据和代码可供选择

cs60075_team2 at SemEval-2021 Task 1 : Lexical Complexity Prediction using Transformer-based Language Models pre-trained on various text corpora Authors Abhilash Nandy, Sayantan Adak, Tanurima Halder, Sai Mahesh Pokala 本文介绍了CS60075 Team2在Semeval 2021任务1的性能1的性能1词汇复杂性预测。本文的主要贡献是在几个文本语料库上预先培训的主要贡献，一些普通的语言模型，例如，维基百科，BookScorpus，一些是从中提取复杂数据集的语料库，而其他域名来自其他特定域名作为金融，法律等。我们进行关于选择变压器模型的消融研究以及它们的各个复杂性分数如何聚合以获得所产生的复杂性分数。我们的方法在子任务1单个单词和0.836中实现了0.784的最佳Pearson相关性。

Bi-Granularity Contrastive Learning for Post-Training in Few-Shot Scene Authors Ruikun Luo, Guanhuan Huang, Xiaojun Quan 将预先训练的语言模型应用于下游任务的主要范式是在标记的任务数据上进行微调，这在标记的示例稀缺时，通常会遭受不稳定和低性能。一种缓解这个问题的一种方法是在微调之前对未标记的任务数据进行训练，通过对比学习来调整预训练的模型，以考虑令牌级别或序列级别相似度。灵感来自序列掩蔽的成功，我们认为可以用一对蒙版序列捕获令牌水平和序列水平相似度。因此，我们提出了互补的随机掩蔽CRM，以从输入序列生成一对屏蔽序列以进行序列水平对比度学习，然后开发用于发布培训的对比屏蔽语言建模CMLM，以集成令牌水平和序列级对比度学习。经验结果表明，CMLM在很少的拍摄设置中超过了几个初期培训方法，而无需数据增强。

ERICA: An Empathetic Android Companion for Covid-19 Quarantine Authors Etsuko Ishii, Genta Indra Winata, Samuel Cahyawijaya, Divesh Lala, Tatsuya Kawahara, Pascale Fung 在过去的一年中，在各个领域的研究，包括自然语言处理NLP，已经加速了与Covid 19大流行的战斗，但这种研究刚刚开始对话系统。在本文中，我们介绍了结束对话系统，旨在缓解自检人员的孤立。我们进行控制仿真实验以评估用户界面的影响，通过视频通话称为诺拉与诺拉与android erica的基于Web的虚拟代理。实验结果表明，Android通过给予更具智能化和谈话的印象来提供更有价值的用户体验，因为它是非语言信息，例如面部表情和身体手势。

AdaTag: Multi-Attribute Value Extraction from Product Profiles with Adaptive Decoding Authors Jun Yan, Nasser Zalmout, Yan Liang, Christan Grant, Xiang Ren, Xin Luna Dong 自动提取产品属性值是电子商务平台中的重要促进技术。此任务通常使用序列标记体系结构进行建模，具有多个扩展来处理多属性提取。先前工作的一行通过单独的解码器或完全单独的模型构建属性特定模型。但是，这种方法限制了跨不同属性的知识共享。其他贡献使用单个多属性模型，具有不同的技术来嵌入属性信息。但是在所有属性中共享整个网络参数可以限制模型的捕获特定特征的容量。在本文中，我们呈现AdataG，它使用自适应解码来处理提取。我们通过Hypernetwork和专家Moe模块的混合使用预读的属性嵌入式参数化解码器。这允许单独但语义相关的解码器用于不同的属性。这种方法有助于知识共享，同时保持每个属性的特殊性。我们对真实世界的实验E Commerce数据集显示了对以前的方法的显着改进。

Retrieve & Memorize: Dialog Policy Learning with Multi-Action Memory Authors Yunhao Li, Yunyi Yang, Xiaojun Quan, Jianxing Yu 对话策略学习，确定系统响应生成内容的子批次，然后完成任务完成程度，对于面向任务的对话系统至关重要。然而，对话数据集中的系统动作的不平衡分布通常导致学习难以生成所需的行动和响应。在本文中，我们提出了一个检索和记忆框架，以增强系统动作的学习。特别是，我们首先设计一个神经背景感知检索模块，以给定对话框中的训练集检索多个候选系统操作。然后，我们提出了一种内存增强的多解码器网络，以生成在候选动作上调节的系统动作，这允许网络在候选动作中自适应地选择关键信息并忽略噪声。我们对大规模多域的实验进行实验，面向对话DataSet MultiWoz 2.0和MultiWoz 2.1。实验结果表明，我们的方法在上下文中实现了响应生成任务的若干状态的竞争性能。

AdvPicker: Effectively Leveraging Unlabeled Data via Adversarial Discriminator for Cross-Lingual NER Authors Weile Chen, Huiqiang Jiang, Qianhui Wu, B rje F. Karlsson, Yi Guan 神经方法已被证明是在命名实体识别Ner中实现高性能，但依靠昂贵的高质量标记数据进行培训，这并不总是跨语言可用。虽然以前的作品表明，目标语言中的未标记数据可用于改善交叉曲线模型性能，但我们提出了一种新的对抗方法，以更好地利用此类数据并进一步提高结果。我们设计了一种对抗的学习框架，其中编码器学习来自标记的源语言数据的实体域知识，并且通过对抗训练捕获更好的共享特征，其中判别者通过与源语言的相似性选择较少的语言依赖目标语言数据。标准基准数据集的实验结果良好证明，所提出的方法从该数据选择过程中强烈益处，并且优于现有技术的现有状态，而不需要任何额外的外部资源例如，缩进者或通过机器翻译。

Cross-language Sentence Selection via Data Augmentation and Rationale Training Authors Yanda Chen, Chris Kedzie, Suraj Nair, Petra Galu kov , Rui Zhang, Douglas W. Oard, Kathleen McKeown 本文提出了一种在低资源设置中跨语言句子选择的方法。它使用嘈杂的并行句子数据上的数据增强和负采样技术直接学习基于交叉语言嵌入的查询相关模型。结果表明，这种方法表现出以及多个艺术机器翻译单格式检索系统的多个状态，在同一并行数据上培训。此外，当应用基于基于短语的统计机器翻译模型中的基本培训次级目标时，促使模型匹配单词对准提示，在三种语言对中英语索马里，英语斯瓦希里语和英语塔尔科奇中看到一致的改进艺术基线。

Modeling the Unigram Distribution Authors Irene Nikkarinen, Tiago Pimentel, Dami n E. Blasi, Ryan Cotterell UNIGRAM分布是在语料库中找到特定单词形式的非上文概率。虽然对语言研究的核心重要性，但是在语料库中的每个单词S样本频率通常近似。这种方法高度依赖于样本大小，将零概率分配给任何词汇oov字形式。结果，它为任何OOV Word形式产生带负偏置的概率，而在语料库中具有正面偏置的概率。在这项工作中，我们争辩地支持妥善建模索取的UNIGRAM分布，声称它应该是自然语言处理中的核心任务。考虑到这一点，我们提出了一种估计它的新型模型，用于估计Goldwater等人的神经化。 S 2011模型并表明它产生了比神经字符级语言模型的NA VE使用的多种7种语言的更好的估计。

Dutch Named Entity Recognition and De-identification Methods for the Human Resource Domain Authors Cha m van Toledo, Friso van Dijk, Marco Spruit 人力资源HR域包含各种类型的隐私敏感文本数据，例如电子邮件对应和绩效评估。对这些文件进行研究会带来几个挑战，其中一个挑战是一个匿名。在本文中，我们在四个步骤中评估了HR域的当前荷兰文本识别方法。首先，通过使用最新的命名实体识别ner模型更新其中一种方法。结果是，基于Conll 2002语料库的NER模型与BERTJE变压器组合给出了抑制人员召回0.94的最佳组合，并且位置召回0.82。为了抑制性别，推断正在表现最佳召回0.53。第二个评估是基于严格的实体识别，一个人必须被抑制为一个人和第三个评估，无论什么人被抑制，只要它被抑制。在第四步和最后一步中，测试新类型的NER数据集以识别文本中的作业标题。

Decoupled Dialogue Modeling and Semantic Parsing for Multi-Turn Text-to-SQL Authors Zhi Chen, Lu Chen Hanqi Li, Ruisheng Cao, Da Ma, Mengyue Wu, Kai Yu 最近，为多转对话的SQL文本引起了极大的兴趣。这里，给定适应数据库的相应SQL查询的用户输入，给定所有先前的对话历史记录。目前的方法主要采用端到端模型，从而面临两个挑战。首先，隐式地组合对话历史建模和对SQL解析的文本，因此很难执行可解释的分析并获得有针对性的改进。其次，SQL注释的多转对话非常昂贵，导致培训数据稀疏性。在本文中，我们向SQL框架提出了一种新型解耦多转文本，其中话语重写模型首先明确地解决了对话背景的完成，然后按照SQL解析器进行单个转弯文本。还提出了一种双学习方法来说是为了解决数据稀疏问题的话语重写模型。与结束到结束方法相比，所提出的解耦方法可以实现出色的性能，而无需在域数据中注释。只需几个注释的重写案例，解耦方法优于SPARC和COSQL数据集上的最新状态到结束模型的释放状态。

AgreeSum: Agreement-Oriented Multi-Document Summarization Authors Richard Yuanzhe Pang, Adam D. Lelkes, Vinh Q. Tran, Cong Yu 我们的目标是恢复对特定的多文件摘要MDS任务的兴趣，我们称之为达成同盟协议的多文件总结。鉴于一系列文章，目标是提供意图总结，该摘要代表普通和忠于所有输入文章的信息。鉴于缺少现有数据集，我们为Agensum创建一个数据集，并提供关于DataSet中群集子集的文章摘要intailment关系的注释。我们的目标是通过将普遍存在的净化单一文件摘要模型PEGASUS应用于同议会，利用受监管损失和基于T5的有关和语言相关损失的T5的概念群，利用两个注释的集群来创建强大的基础。与其他基线相比，自动评估和人类评估都显示出更好的文章摘要和集群摘要征征在所产生的摘要中。在一个单独的票据上，我们希望我们的文章摘要有关注释有助于社区努力，从而提高抽象概括忠诚。

Knowing the No-match: Entity Alignment with Dangling Cases Authors Zequn Sun, Muhao Chen, Wei Hu 本文研究了知识图形KGS的实体对齐的新问题。由于KGS拥有不同的实体，因此可能存在无法在它们中找到对齐的实体，从而导致悬垂实体的问题。作为对此问题的第一次尝试，我们构建了一个新的数据集并为实体对齐和悬空实体检测设计了一个多任务学习框架。该框架可以选择弃权预测检测到的悬空实体的对准。我们提出了三种用于悬垂基于最近邻距离的分布的实体检测的技术，即最近的邻居分类，边际排名和背景排名。在检测和删除悬空实体之后，我们框架中的合并实体对齐模型可以为剩余实体提供更强大的对齐。综合实验和分析展示了我们框架的有效性。我们进一步发现，悬空实体检测模块又可以改善对准学习和最终性能。贡献的资源是公开的，以促进进一步的研究。

Scalable Transformers for Neural Machine Translation Authors Peng Gao, Shijie Geng, Xiaogang Wang, Jifeng Dai, Hongsheng Li 变压器已广泛采用神经电机翻译NMT，因为其序列生成的大容量和平行训练。但是，转型器的部署是具有挑战性的，因为不同的场景需要不同的复杂性和尺度的模型。在计算和存储器方面，天真地训练多个变压器是多余的。在本文中，我们提出了一种新颖的可伸缩变压器，其自然包含不同尺度的子变压器并具有共享参数。通过裁剪最大变压器的参数，可以容易地获得每个子变压器。提出了三阶段培训方案来解决培训可扩展变压器的难度，这引入了来自字水平和序列水平自蒸馏的额外监督。在WMT END和EN FR上进行了广泛的实验，以验证我们所提出的可扩展变压器。

ERNIE-Tiny : A Progressive Distillation Framework for Pretrained Transformer Compression Authors Weiyue Su, Xuyi Chen, Shikun Feng, Jiaxiang Liu, Weixin Liu, Yu Sun, Hao Tian, Hua Wu, Haifeng Wang 预先训练的语言模型如BERT采用培训范例，首先将模型普及到一般数据，然后在任务特定数据上进行造型模型，并且最近取得了巨大的成功。但是，PLMS对于他们的巨大参数和难以部署在现实生活中，PLMS非常令人讨厌。知识蒸馏一直是通过将知识从一系列数据转移到一个小型学生的知识来解决这个问题。我们认为选择三个关键组件，即老师，培训数据和学习目标，对蒸馏的有效性至关重要。因此，我们提出了四阶段的逐步蒸馏框架Ernie Tiny来压缩PLM，这逐渐从一般水平逐渐变化到任务特定水平。具体而言，第一阶段一般蒸馏进行蒸馏，以预染师，Gerenal数据和潜入蒸馏丢失引导。然后，一般增强的蒸馏改变了从佩带的老师到Finetuned老师的教师模型。之后，任务自适应蒸馏从一般数据转移到任务特定数据的训练数据。最后，任务特定蒸馏，增加了两种额外的损失，即软标签和硬标签损耗到最后阶段。经验结果表明了我们的框架和泛化增益的有效性

Language Scaling for Universal Suggested Replies Model Authors Qianlan Ying, Payal Bajaj, Budhaditya Deb, Yu Yang, Wei Wang, Bojia Lin, Milad Shokouhi, Xia Song, Yang Yang, Daxin Jiang 我们考虑将Outlook电子邮件系统的缩放自动建议回复的问题到多种语言。面对增加的计算要求和语言扩展资源的低资源，建立一个通用模型，用于提高生产系统的质量和降低运行时间成本。但是，区域中心的受限制数据流动可防止跨语言的联合培训。为此，我们提出了一个多任务持续学习框架，辅助任务和语言适配器，以学习跨区域的普通语言表示。实验结果表明，跨越语言的正交交叉转移，同时减少了跨区域的灾难性遗忘。我们在真实用户流量上的在线结果显示了CTR和Citrics的显着收益，以及每种语言模型相比的65个培训成本降低。因此，我们以多种语言缩放了包括低资源市场的特征。

Addressing Inquiries about History: An Efficient and Practical Framework for Evaluating Open-domain Chatbot Consistency Authors Zekang Li, Jinchao Zhang, Zhengcong Fei, Yang Feng, Jie Zhou 良好的开放式聊天聊天应该避免在会话会议中展示关于事实或意见的矛盾响应，称为其一致性能力。但是，评估Chatbot的一致性能力仍然具有挑战性。雇用人类法官以故意与聊天互动进行互动，以检查他们的能力是昂贵和低效的，并且难以摆脱主观偏见。在本文中，我们提出了关于历史AIH的询问，了解一致性评估的高效实际框架。在对话阶段，AIH试图解决对话历史的适当查询，以诱导聊天历史记录历史事实或意见。我们在聊天波特之间进行谈话，比人机互动更有效，也可以缓解主观偏见。通过这种方式，我们设法迅速获取一个对话会话，其中包含具有高矛盾可能性的响应。在矛盾的认可阶段，我们可以雇用人类法官或自然语言推理NLI模型，以认识到询问的答案是否与历史相互矛盾。最后，我们能够根据矛盾统计排列聊天禁令。开放式域的实验表明，我们的方法可以有效可靠地评估聊天行的一致性，并实现与人类评估的高度相关性。我们发布框架并希望帮助提高聊天禁止的一致性。脚注网址

Conversations Are Not Flat: Modeling the Dynamic Information Flow across Dialogue Utterances Authors Zekang Li, Jinchao Zhang, Zhengcong Fei, Yang Feng, Jie Zhou 如今，开放域对话模型可以根据基于大规模预培训的语言模型根据历史上下文生成可接受的响应。然而，它们通常直接将对话历史直接连接为模型输入，以预测响应，我们将其命名为平面图案并忽略对话话语的动态信息流。在这项工作中，我们提出了一种Dialoflow模型，其中我们引入了一种动态流动机制来模拟上下文流动，并通过解决大规模各个话语所带来的语义影响来捕获对话话语的三种培训目标。训练。多引用Reddit DataSet和DailyDialog数据集上的实验表明，我们的Dialoflow显着优于对话生成任务的对话框。此外，我们提出了一种基于预训练的Dialoflow来评估交互式人Bot对话质量的有效自动度量的流量评分，这提出了高聊天级相关性R 0.9，在11个聊天波特中具有人类评级。代码和预训练的型号将是公开的。脚注网址

NAST: A Non-Autoregressive Generator with Word Alignment for Unsupervised Text Style Transfer Authors Fei Huang, Zikai Chen, Chen Henry Wu, Qihan Guo, Xiaoyan Zhu, Minlie Huang 自动增加模型已广泛用于无监督的文本方式转移。尽管他们取得了成功，但这些模型仍然遭受内容保存问题，他们通常忽略源句的一部分，并产生一些具有强大风格的无关单词。在本文中，我们提出了一个非自动发电机，用于无监督的文本方式转移NAST，从而减轻了两个方面的问题。首先，我们观察到，传输句子中的大多数单词都可以用源句中的相关单词对齐，因此我们明确地模拟了字对齐以抑制无关的单词。其次，现有型号训练，循环损失对齐两个风格文本空间中的句子，这在单词级别缺乏细粒度控制。所提出的非自动发电机侧重于对齐词之间的连接，从而了解样式之间的字级传输。对于实验，我们将建议的发电机集成到两个基础模型中，并在两种类型的转移任务上进行评估。结果表明，NAST可以显着提高整体性能，并提供可解释的字对齐。此外，非自动发电机在推理时实现了超过10倍的加速度。我们的代码可供选择

BERTTune: Fine-Tuning Neural Machine Translation with BERTScore Authors Inigo Jauregi Unanue, Jacob Parnell, Massimo Piccardi 神经机转换模型通常偏向于在培训期间看到的有限翻译参考。在本文中修改了这种形式的过度装备，我们提出了根据最近提出的Bertscore评估度量的新颖培训目标进行微调。 BERTScore是基于上下文嵌入的评分功能，克服了基于N克的度量的典型限制。同义词，剖析，允许翻译不同的转换，而不是在上下文嵌入空间中关闭，以被视为基本正确。为了能够使用BERTSCORE作为培训目标，我们提出了三种用于产生软预测的方法，允许网络保持完全可差的端到端。多种不同的语言对进行的实验在精细调整强大的基线时，在BLEU分数中实现了高达0.58 pp 3.28的改善，高达0.76pp 0.98在Bertscore F伯特。

Grounding 'Grounding' in NLP Authors Khyathi Raghavi Chandu, Yonatan Bisk, Alan W Black NLP社区已经看到最近似的接地兴趣，以促进语言技术与世界之间的互动。然而，作为一个社区，我们广泛使用该术语来引用任何文本与数据或非文本方式的链接。相比之下，认知科学更加正式定义接地作为建立两个对话者之间成功通信所需的过程的接地，该定义可能隐含地捕获NLP使用情况，但在意图和范围内不同。我们调查这些定义之间的差距，并寻求以下问题的答案1在这里的NLP任务中缺少了哪些地面的接地方面我们呈现了协调，Pureviews和约束的维度。 2目前研究中使用的术语基础是如何研究最近NLP会议中推出的数据集，域名和任务中的趋势。最后，3如何提高我们目前的定义，以认知科学弥合差距，我们提出了创建新任务的方法或将现有的差点提出，以实现更完全的接地感。

Towards Equal Gender Representation in the Annotations of Toxic Language Detection Authors Elizabeth Excell, Noura Al Moubayed 分类器倾向于传播培训的数据中存在的偏差。因此，重要的是要了解评论的注释者的人口统计身份如何影响所得模型的公平性。在本文中，我们专注于男女讨论毒性评论的方式，调查这些差异如何导致扩大男性注释者意见的模型。我们发现BERT模型作为社会毒性评论，其中包含具有男性注释器的令人反感的词语，导致模型预测67.7的毒性评论，因为已经被人们注释了。我们表明，可以通过从培训数据中移除冒犯性词语和高度毒性评论来减轻性别预测之间的这种差异。然后，我们将学习的协会应用于毒性语言分类器，发现专门对女性注释数据培训的模型比仅仅对男性注释数据更好地执行1.8，并且在去除所有令人反感的单词之后的数据训练模型减少了偏差型号为55.5，同时将灵敏度提高0.4。

Self-supervised Dialogue Learning for Spoken Conversational Question Answering Authors Nuo Chen, Chenyu You, Yuexian Zou 在口头对话问题中应答SCQA时，通过检索然后分析固定的口语文档来生成对应的问题的答案，包括多部分对话。大多数SCQA系统仅考虑从有序话语中检索信息。然而，对话的顺序对于构建强大的口语会议回答系统非常重要，并且话语命令的变化可能会严重导致低质量和不连贯的基础。为此，我们介绍了一种自我监督的学习方法，包括不连贯的歧视，插入检测和问题预测，明确地捕获口头文档中的练习分辨率和对话一致性。具体而言，我们设计一个联合学习框架，辅助自我监督任务可以使预训练的SCQA系统能够更加连贯和有意义的口语学习。我们还利用了拟议的自我监督的学习任务来捕获句子中的一致性。实验结果表明，与原始预培训的语言模型相比，我们所提出的方法提供了更加连贯，有意义的和适当的响应，产生卓越的性能提升。我们的方法在口语CoQA数据集上实现了最新的状态。

nmT5 -- Is parallel data still relevant for pre-training massively multilingual language models? Authors Mihir Kale, Aditya Siddhant, Noah Constant, Melvin Johnson, Rami Al Rfou, Linting Xue 最近，MT5是一种大规模的多语言版T5利用统一的文本到文本格式，以获得最新的技术，导致各种多语言NLP任务。在本文中，我们调查将并行数据纳入MT5预训练的影响。我们发现，在预训练期间，使用机器翻译等目标的多任务语言建模是一种直接的方式，可以提高下游多语言和交叉语言任务的性能。然而，随着模型容量的增加，增益开始减少，表明并行数据可能对较大模型不起作用。与此同时，即使在较大的模型大小，我们发现使用并行数据的预培训仍然在有限标记的数据制度中提供益处。

Syntax-augmented Multilingual BERT for Cross-lingual Transfer Authors Wasi Uddin Ahmad, Haoran Li, Kai Wei Chang, Yashar Mehdad 近年来，我们在使用许多语言中使用大规模语料的预训练多语言文本编码器进行了巨大的努力，以促进交叉思考。然而，由于横跨语言的类型差异，交叉舌转移是挑战性的。然而，语言语法，例如句法依赖，可以弥合类型的差距。以前的作品表明，预训练的多语言编码器，如Mbert Cite Devlin Etal 2019 BERT，捕获语言语法，帮助交叉舌转移。这项工作表明，使用辅助目标来编码通用依赖树结构的语言语法和训练Mbert有助于交叉传输。我们对四个NLP任务进行严格的实验，包括文本分类，问题应答，命名实体识别以及任务面向的语义解析。实验结果表明，语法增强MBENT在流行基准上改善了爪子X和MLQA，如1.4和1.6点，平均对所有语言平均而言。在EMPH广义转移设定中，性能显着提升，爪子X和MLQA平均水平为3.9和3.1点。

How to Adapt Your Pretrained Multilingual Model to 1600 Languages Authors Abteen Ebrahimi, Katharina Kann 预先染色的多语言模型PMMS通过交叉语言传输使零射击学习，在预先预测期间看到最佳语言。虽然存在用于提高看不见语言的性能的方法，但它们几乎完全被评估了仅使用少数世界语言可用的原始文本评估。在本文中，我们评估了现有方法的性能，用于使用1600多种语言可用的资源来调整PMM到新语言的新约。这是一个挑战的两个原因1小毒品尺寸，2个窄域。虽然所有方法的性能下降，但我们惊奇地仍然看到最高可达17.69的准确性，而是对于XLM R相比，所有语言的言语标签和6.29 f1平均而言，另一个语言相比，另一个意外的发现是持续预先磨普，最简单的方法，最简单的方法，表现最好。最后，我们履行案例研究以解散领域和尺寸的影响，并在芬降源语言的影响下阐明。

A diachronic evaluation of gender asymmetry in euphemism Authors Anna Kapron King, Yang Xu 使用委婉语是一种已知的语言变化驱动程序。已提议女性使用委婉语而不是男性。虽然有几项研究调查语言的性别差异，但是通过时间全面地测试了关于委婉语使用的宣言。如果女性更多地使用委婉语，这可能意味着女性也会导致新的委婉语和语言随着时间的变化。使用英语的四个大型历时文本语料库，我们通过定量分析评估女性使用委婉语的索赔。我们组装了106个委婉语禁忌对的清单，以通过对象的每个性别通过时间分析他们的相对使用。与现有的信念相反，我们的结果表明，女性不会使用比男性更高的比例更高的委婉。我们使用不同子集重复了委婉语禁忌对列表的不同子集，发现我们的结果是强大的。我们的研究表明，在广泛的环境中，涉及言论和写作，以及不同程度的形式，女性不会比男性更多地使用或形成委婉语。

Language Embeddings for Typology and Cross-lingual Transfer Learning Authors Dian Yu, Taiqi He, Kenji Sagae 交叉语言语言任务通常需要大量的注释数据或并行转换数据。我们探讨是否可以学习捕获语言之间关系的语言表示，并随后在不使用并行数据的情况下在交叉语言任务中利用。我们使用Denoising AutoEncoder生成29种语言的密集嵌入，并使用World Attrates WALS的世界ATLA和零射击设置交叉依赖解析和交叉语言自然语言推断进行评估嵌入式。

MERLOT: Multimodal Neural Script Knowledge Models Authors Rowan Zellers, Ximing Lu, Jack Hessel, Youngjae Yu, Jae Sung Park, Jize Cao, Ali Farhadi, Yejin Choi 作为人类，我们了解视觉世界中的活动背景，在时间上进行多式化推理，以便对过去，现在和未来进行推论。我们介绍了Merlot，这是一种通过观看数百万个YouTube视频来学习多模脚本知识，在完全标记的自由，自我监督的方式中观看数百万个YouTube视频。通过覆盖帧级空间和视频级时间目标的混合，我们的模型不仅可以匹配图像到时间对应的单词，还可以在全球范围内上下文化。结果，Merlot在时间致辞中的盒子表示中展出强大，并且在Fineetuned时在12个不同的视频QA数据集上实现了最新的现有性能。它还对静态图像的世界进行转移，允许模型引起视觉场景背后的动态背景。在Visual Commansense推理中，Merlot以80.6精度正确地回答问题，优于相似尺寸的最佳状态，相似的尺寸超过3，即使是那些借助辅助监督数据，如物体边界框。

Defending Democracy: Using Deep Learning to Identify and Prevent Misinformation Authors Anusua Trivedi, Alyssa Suhm, Prathamesh Mahankal, Subhiksha Mukuntharaj, Meghana D. Parab, Malvika Mohan, Meredith Berger, Arathi Sethumadhavan, Ashish Jaiman, Rahul Dodhia 近年来在线错误信息的上升威胁着民主国家通过扭曲正宗的公众话语，造成混乱，恐惧，甚至在极端情况下，暴力。需要通过在线网络来了解虚假内容的传播，以便在实现病毒之前开发扰乱错误信息的干预措施。使用深双双向变压器进行语言理解BERT和传播图形，本研究通过公开可用的Twitter数据对其对社交媒体网络的误导传播进行分类和可视化。结果证实了在用户集群和虚假内容的病毒中的先前研究，同时提高了用于误导性检测的深度学习模型的精度。该研究进一步展示了BERT为提供了用于虚假信息检测的可扩展模型的适用性，这可以有助于开发更及时，准确的干预措施，以减缓在线环境中的错误信息传播。

Understanding and Countering Stereotypes: A Computational Approach to the Stereotype Content Model Authors Kathleen C. Fraser, Isar Nejadgholi, Svetlana Kiritchenko 陈规定型语言表达了对不同社会类别的广泛认可。许多刻板印象是公开的，而其他刻板印象可能会在表面上显得阳性，但仍然导致负面后果。在这项工作中，我们提出了一种计算方法来通过刻板印象内容模型SCM解释文本中的刻板印象，来自社会心理学的综合因果理论。 SCM提出，沿两个主要尺寸温暖和能力可以理解刻板印象。我们提出了一种在语义嵌入空间中定义温暖和能力轴的方法，并表明，根据注释的词汇，该子空间定义的四个象限准确地代表了温暖和能力概念。然后，我们将计算的SCM模型应用于文本刻板印象数据，并显示它在心理文献中的勘测研究方面有利地比较。此外，我们探讨了用抗刻板印象对抗陈规定型信念的各种策略。众所周知，抗陈规定型示例的反击刻板印象是减少偏见思维的最有效方法之一，然而，先前尚未研究产生抗刻板印象的问题。因此，更好地了解如何产生现实和有效的抗刻板印象可以有助于解决刻板，偏见和歧视的压迫社会问题。

Teaching keyword spotters to spot new keywords with limited examples Authors Abhijeet Awasthi, Kevin Kilgour, Hassan Rom 学习用几个例子识别新的关键字对于个性化关键字以用户选择关键字的个人选择来识别新的关键字是必不可少的。然而，现代KWS模型通常在大型数据集上培训，并限制为关键字的小词汇，将其对广泛的看不见的关键词的可转移限制在一起。对于易于定制的KWS模型，我们呈现KeySem关键字语音嵌入，一个语音嵌入模型预培训了识别大量关键字的任务。 Keysem提供的语音表示对于从有限数量的示例中学习新关键字非常有效。在多个数据集中具有各种相关工作的比较表明，我们的方法始终如一地实现了较少的培训示例性能。虽然Keysem仅在英语话语上进行了预先接受培训，但性能收益也扩展到来自四种其他语言的数据集，这表明Keysem学会了与关键字发现任务保持良好对齐的有用表示。最后，我们展示了keysem s的能力在不需要在以前学习的关键字上培训，依次学习新关键字。我们的实验观察表明，Keysem非常适合在部署后学习和易于定制的设备环境中。

Approximate Fixed-Points in Recurrent Neural Networks Authors Zhengxiong Wang, Anton Ragni 经常性神经网络广泛用于语音和语言处理。由于过去的依赖性，用于训练这些模型的标准算法，例如通过时间BPTT的反向传播，不能有效地低化。此外，将这些模型应用于比序列更复杂的结构需要推理时间近似，这在推理和训练之间引入不一致。本文表明，经常性神经网络可以作为非线性方程系统的固定点重构。这些固定点可以使用迭代算法准确地使用迭代算法，以及作为任何给定序列的长度的迭代。该算法的每次迭代增加了一个额外的马尔维亚语，如依赖性顺序，使得在终止时，已经结合了经常性神经网络建模的所有依赖性。虽然确切的固定点继承了相同的并行化和不一致问题，但是本文示出了近似的固定点可以并行计算，并在培训和推理中一致地使用，包括晶格ratice ratecoring等任务。实验验证是在两个任务，宾夕法尼亚州银行和Wikitext 2中进行的，并且表明，近似固定点对使用BPTT算法训练的经常性神经网络产生竞争预测性能。

On Classifying Continuous Constraint Satisfaction problems Authors Tillmann Miltzow, Reinier F. Schmiermann 连续约束满足问题CCSP是一个约束满足问题CSP，具有域U子集MathBB r。我们从事系统的研究，分类了CCSP，这是完整的真实存在理论，即，呃完成。要定义这一课程，我们首先考虑问题ETR，这也代表了真实的存在理论。在这个问题的一个例子中，我们给出了一些表单的句子存在x 1，ldots，mathbb r phi x 1，ldots，xn，其中phi是一个良好的形成量词，包括符号0,1，，，，，， CDOT，GEQ，楔形，VEE，NEG，目标是检查这句话是否属实。现在，AR级是所有问题的家庭，承认到ETR的多项式时间。众所周知，NP Subseteq ER Subseteq PSPace。

Learning Slice-Aware Representations with Mixture of Attentions Authors Cheng Wang, Sungjin Lee, Sunghyun Park, Han Li, Young Bum Kim, Ruhi Sarikaya 现实世界机器学习系统在粗粒度量和总体精度和F 1得分等方面正在实现显着性能。然而，模型改进和开发通常需要在各个数据子集或切片上进行细粒度建模，例如，模型具有不令人满意的结果的数据切片。在实践中，它为开发这些模型提供了有形的值，可以在保留原始整体性能的同时额外关注关键或感兴趣的切片。这项工作扩展了最近的基于切片的学习SBL CITE Chen2019Slice，并使用小心MoA的混合来学习切片意识的双重关节表示。我们经验表明，MOA方法优于基线方法以及具有两种自然语言的监控切片上的原始SBL方法，了解NLU任务。

On (co-lex) Ordering Automata Authors Giovanna D Agostino, Nicola Cotumaccio, Alberto Policriti, Nicola Prezza 确定性有限自动机A的状态可以用PF LA中的单词集合来识别，该组词属于A所接受的常规语言的单词的总和。但是可以订购单词，并且在许多可能的订单中是非常自然的Co词典一。这种自然主义源于它表明从单词转移到自动机构的状态。在许多文件中，自动机构承认各国的总排序连贯，并提出了向达到它们的单词的排序顺序。这些订购自动机等驾驶机自动机门原始人使用索引进行有效存储。不幸的是，并非所有自动机都可以完全订购，如前所述。然而，可以始终部分订购自动机，并且可以定义和有效地确定其复杂性的内在措施，作为其可允许部分订单之一的最小宽度。如上所述，自动机宽度的新概念在图形压缩，索引数据结构和自动机理论的领域具有有益的后果。在本文中，我们证明了可以展示接受语言L的规范，最小宽度，部分有序的自动机被称为L的哈塞自动机H. H以精确的意义提供了部分顺序接受L的最佳方式的最佳方法，只要我们希望与PF L A的CO Lexicographer顺序保持操作链接。使用H我们证明可以从识别语言的最小自动机器有效地计算语言的宽度。最后，我们探讨了两个经常冲突的目标之间的关系，最小化宽度并最小化自动机的状态数量。

Minimum Word Error Rate Training with Language Model Fusion for End-to-End Speech Recognition Authors Zhong Meng, Yu Wu, Naoyuki Kanda, Liang Lu, Xie Chen, Guoli Ye, Eric Sun, Jinyu Li, Yifan Gong 将外部语言模型LMS集成到终端E2E模型仍然是域自适应语音识别的具有挑战性的任务。最近，基于内部语言模型估计ILME的LM融合已经通过从E2E模型的插值和光束搜索期间从E2E模型的插值中减去加权内部LM分数，从浅融合中减少了显着的字误差率。但是，在不同的测试集上，最佳LM插值权重变为宽范围，并且必须在匹配良好的验证集上进行广泛调整。在这项工作中，我们在E2E模型的最小WER MWER训练中执行LM融合，以避免在推理期间对LM权重调整的需要。除了使用浅融合MWER SF的MWER训练，我们提出了一种与ILME MWER ILME的新型MWER训练，其中ilme基于ILME的融合，以产生N个最佳假设及其后缘。当内部LM从事MWER ILME损耗计算时，诱导额外的梯度。在推理期间，LM权重预先确定MWER训练，使得来自不同域的测试集上的强大LM集成。经过30k小时的变压器传感器，MWER ILME平均达到8.8和5.8分别从MWER和MWER SF培训等6.8和5.8达到6种不同的测试集

Human-Adversarial Visual Question Answering Authors Sasha Sheng, Amanpreet Singh, Vedanuj Goswami, Jose Alberto Lopez Magana, Wojciech Galuba, Devi Parikh, Douwe Kiela 最常用的视觉问题的性能在接听数据集VQA V2上开始接近人类准确性。然而，在与现有技术的互动模式中的互动中，显然问题远未解决。为了压力测试VQA模型，我们将它们与人对抗例子进行基准。人类受试者与现有技术的状态交互，并且对于数据集中的每个图像，尝试找到模型S预测答案不正确的问题。我们发现，当在这些示例上评估时，美术模型的广泛状态不佳。我们对收集的对抗性示例进行了广泛的分析，并为未来的研究方向提供了指导。我们希望这个对抗的VQA Advqa基准测试可以帮助推动现场的进步并推进现有技术。

Segmental Contrastive Predictive Coding for Unsupervised Word Segmentation Authors Saurabhchand Bhati, Jes s Villalba, Piotr elasko, Laureano Moro Velazquez, Najim Dehak 自动检测音素或单词等单词是零资源语音处理中的核心目标之一。最近的尝试采用自我监督的培训方法，例如对比预测编码CPC，其中预测过去上下文的下一帧。但是，CPC只研究音频信号S帧级结构。我们克服了这种限制，具有可以在更高级别的级别模拟信号结构的分段对比预测编码SCPC框架的限制。在音素级别。在该框架中，卷积神经网络通过噪声对比度估计NCE学习从原始波形的帧级表示。可分辨率的边界检测器找到可变长度的段，然后通过NCE优化段编码器来学习段表示。可分辨率的边界检测器允许我们共同训练帧级和段级别编码器。通常，音素和字分割被视为单独的任务。我们统一并实验表明我们的单一模型在Timit和Buckeye数据集上优于现有的音素和单词分段方法。我们分析边界阈值的影响，并且何时是在学习过程中包含分段损失的正确时间。

LGBTQ-AI? Exploring Expressions of Gender and Sexual Orientation in Chatbots Authors Justin Edwards, Leigh Clark, Allison Perrone Chatbots是一个受欢迎的机器合作伙伴，用于面向任务和社交互动。人类的人类计算机介导的通信研究已经探讨了人们如何在在线社交互动中表达他们的性别和性行为，但对于无论是什么，聊天都涉及到同样的方式。我们通过这些面试进行了5个文本的会话代理进行了半结构化访谈，我们通过这些访谈探索了这一主题，我们确定了6个常见主题，围绕性别和性身份的表达，身份形成，同伴接受，积极反思，不舒服的感受和偏离主题回应。聊天明确地表达性别和性行为，并通过对经验和情感的关系，模仿他们培训的人类语言。尽管如此，聊天聊天与人类对话伙伴不同，因为他们缺乏通过生活的人类经验所支持的灵活性和理解。虽然Chatbots熟练地使用语言来表达身份，但它们也表现出缺乏性别和性行为的真实体验。

Chinese Abs From Machine Translation

Papers from arxiv.org

更多精彩请移步主页

---

pic from pexels.com