ACL2020 Contextual Embeddings When Are They Worth It 精读
Arxiv链接上下文嵌入(Bert词向量):什么时候值得用?ACL2018预训练词向量(上下文嵌入Bert,上下文无关嵌入Glove,随机)详细分析文章1背景图1Bert优点效果显著缺点成本昂贵(Memory,Time,Money)(GPT-3,1700亿的参数量)困惑线上环境,资源受限(内存CPUGPU)bert不一定是最佳选择用word2vec,glove等词向量有时候也能取得近似效果但什么时