CharEmbedding

《ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information》论文笔记

由于中文是象形文字，因此字形中也包含了一定的语音信息，而加入拼音信息主要是为了解决一字多音——不同的发音包含不同的语义信息，模型整体结构如下所示：每个token的Charembedding、Glyphembedding
凯子要面包·2022-11-30 23:32

融合中文字形和拼音的预训练模型：ChineseBERT（ACL2021）

模型结构为了充分利用中文汉字的字形和拼音，论文设计了下面的模型结构图中用红色框出的四种embedding是模型的核心，其中charembedding和原生bert一致，其他几个下面逐个介绍字形embeddi
亦万·2022-11-24 14:50

跑程序时候，由tensorflow转为pytorch时候遇到的问题

#charembedding##[batch_size*max_utter_num*max_utter_len,emb]utterances_cnn_c
Astrallee·2022-11-24 02:29

pytorch runtime error(59):device-side assert triggered at XXX

跑模型的时候，遇到了这个问题，定位是在char-embedding中的conv层中，由于需要使用pool1d,charembedding后的size为(N*seq_len,word_len,embed_size
oneTaken·2020-06-27 01:49

elmo代码实践

构建wordembedding  在ELMo语言模型中，无论是wordembedding还是word_charembedding都是在模型中一起训练和更新的！  
阿尔法小队·2019-06-26 20:49

ELMo代码详解(二)

ELMo代码解读笔记2：模型代码2.模型代码介绍  模型代码主要包括以下几个部分:1.构建wordembedding;2.构建word_charembedding的准备;3.语言模型介绍(双向lstm模型
玩人·2018-07-24 13:40
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他