chinesebert

CLUECorpus2020: A Large-scale Chinese Corpus for Pre-training Language Model

他们使用的vcoba_clue是8k,是google的ChineseBert的1/3。他们发布了这个语料训练的小模型和大模型。
candy134834·2023-11-02 22:29

复现论文ChineseBERT(ONTONOTES数据集)

记录一下自己复现论文《ChineseBERT:ChinesePretrainingEnhancedbyGlyphandPinyinInformation》的过程，最近感觉老在调包，一天下来感觉什么也没干
Otto_1027·2023-08-14 22:12

文本分类论文阅读

1.ChineseBERT:ChinesePretrainingEnhancedbyGlyphandPinyinInformation（ACL2021）字形嵌入根据汉字的不同字体获得，能够从视觉特征中捕捉汉字语义
是Perryl呀·2023-04-17 04:45

ACL2021_ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information

ChineseBERT：利用字形和拼音信息加强中文预训练摘要介绍相关工作NLP中的大规模预训练模型学习字形信息模型概述输入输出预训练设置数据掩蔽策略预训练细节实验机器阅读理解(MRC)自然语言推断(NLI
All in .·2023-01-31 18:52

ACL 2021 | ChineseBERT：香侬科技提出融合字形与拼音信息的中文预训练模型

点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达转载自：PaperWeekly中文预训练模型自BERT以来，大规模预训练模型已成为自然语言处理研究的一大重点，无论是训练更大的模型，如BERT到RoBERTa,GPT2,GPT3，还是改变预训练方法，如从MaskLanguageModel到PromptPretraining，关于预训练模型的前沿研究从未停滞。然而，以往的很多预训练
视学算法·2022-11-30 23:03

《ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information》阅读记录

《ChineseBERT:ChinesePretrainingEnhancedbyGlyphandPinyinInformation》ZijunSun,XiaoyaLi,XiaofeiSun,YuxianMeng
帅气的琳仔·2022-11-30 23:32

【文献阅读】ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information

Abstract最近的中文预训练模型忽略了中文特有的两个重要方面：字形和拼音，它们携带重要的句法和语义信息，用于语言理解我们提出了ChineseBERT，它将汉字的字形和拼音信息结合到语言模型预训练中字形
九筒-·2022-11-30 23:32

《ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information》论文笔记

模型ChineseBERT与BERT非常相似，只是在Embedding层上，前者对每个输入单元还添加了“字形”、“拼音”信息。
凯子要面包·2022-11-30 23:32

【论文泛读】ChineseBERT：融合字形与拼音信息的中文预训练模型

本次分享的论文ChineseBERT来自于ACL2021会议，论文全名为ChineseBERT:ChinesePretrainingEnhancedbyGlyphandPinyinInformation
是木子啦~·2022-11-30 23:59

ACL2021相关论文阅读（之）语言模型

目录1.ChineseBERT:ChinesePretrainingEnhancedbyGlyphandPinyinInformationModel2.Intri
五月的echo·2022-11-30 23:26

ACL2021--ChineseBert论文分享

embedding1.3拼音embedding1.4fusion模型2、训练任务2.1预训练准备2.2六项训练任务1、模型结构最近在看2021年的acl时，发现了一个最新的中文预训练模型，论文名称为：ChineseBERT
zkhll·2022-11-30 23:56

【ACL2021】ChineseBERT：香侬科技提出融合字形与拼音信息的中文预训练模型

点击下面卡片，关注我呀，每天给你送来AI技术干货！来自：PaperWeekly中文预训练模型自BERT以来，大规模预训练模型已成为自然语言处理研究的一大重点，无论是训练更大的模型，如BERT到RoBERTa,GPT2,GPT3，还是改变预训练方法，如从MaskLanguageModel到PromptPretraining，关于预训练模型的前沿研究从未停滞。然而，以往的很多预训练模型都是从英文为基础
zenRRan·2022-11-30 23:55

ChineseBERT Chinese Pretraining Enhanced by Glyph and Pinyin Information

文章目录ChineseBERT：中文预训练增强通过字形和拼音信息摘要1-介绍2-相关工作大规模预训练在NLP上学习字形信息3-模型概述输入输出4-预训练设置数据掩蔽策略预训练细节5-实验MachineReadingComprehension
未来影子·2022-11-30 23:23

ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information

文章目录总体介绍具体方法字形嵌入拼音嵌入混合嵌入总结总体介绍  相比于英文单词，汉字是象形文字而且带有音调。因此汉字的字形在一定程度上可以代表汉字本身的含义，而音调的存在则可以在一定程度上可以处理中文的一词多义的情况。  但是由于之前的预处理模型（BERT家族）都是基于英语的，即使是出的bert-chinese也只是将汉语的字与tensor进行了映射。  基于上述情况Zijun等人就将汉语的拼音和
jst100·2022-11-30 23:53

【论文解读】（拼音+字形+字三种信息的中文BERT）ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information

文章目录1.相关信息2.论文内容3.论文模型3.1GlyphEmbedding3.2PinyinEmbedding4.实验与结论5.模型使用方式1.相关信息论文年份：2021论文地址：https://aclanthology.org/2021.acl-long.161.pdf论文代码(官方):https://github.com/ShannonAI/ChineseBertHuggingFace:S
iioSnail·2022-11-30 23:19

融合中文字形和拼音的预训练模型：ChineseBERT（ACL2021）

不同于英文字母，中文的字形和拼音都有其独特的含义，例如'液'、'河'和'湖'都有相同的偏旁，其含义也有联系；中文汉字'乐'是一个多音字，读'yue'时代表音乐，读'le'时可能就是快乐的意思了。模型结构为了充分利用中文汉字的字形和拼音，论文设计了下面的模型结构图中用红色框出的四种embedding是模型的核心，其中charembedding和原生bert一致，其他几个下面逐个介绍字形embeddi
亦万·2022-11-24 14:50

Bert在中文领域的尝试 Bert-WWM & MacBert & ChineseBert

Bert-WWM，MacBert，ChineseBert主要从3个方向在预训练中补充中文文本的信息：词粒度信息，中文笔画信息，拼音信息。
风雨中的小七·2022-07-28 07:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他