BERT-flow

【深度学习】Sentece Embedding - SImCES

前言句子向量表示一直作为很多自然语言处理任务的基石，一直是NLP领域的热门话题，BERT-Flow以及BERT-whitenning其实像是后处理，将bert的输出进行一定的处理来解决各向异性的问题。

DonngZH·2023-12-20 07:21

【深度学习】Sentence Embedding-BERT-Flow

年发表在EMNLP上的一篇文章《OntheSentenceEmbeddingsfromPre-trainedLanguageModels》，针对语义文本相似任务(STS)，论文中提出的基于流式生成模型—BERT-flow

DonngZH·2023-11-17 18:09

BERT-flow｜CMUx字节推出简单易用的文本表示新SOTA！

因为工作和个人信仰的关系，我一直比较关注文本表示的进展。召回是很多NLP系统中必备的一步，而向量化的召回比纯基于文字的离散召回效果更好更合理。同时文本表示还可以做很多事情，比如聚类、分类，不过更多地还是用在文本匹配上。2015年到18年间有很多优秀的文本表示模型，祭出宝图：但基于交互的匹配模型明显优于单纯的表示，再加上BERT出来，就很少有人再去研究了，2019年只有一个Sentence-BERT

李rumor·2023-11-05 17:30

SimCSE学习

我们给SimCSE补充了一些实验：https://kexue.fm/archives/8348simcse在英文数据上显著超过了bert-flow和bert-whiteningSimCSE—简单有效的对比学习

HxShine·2023-06-14 08:01

BERT词向量的特性

BERT-Flow:BERT词向量的性质分析+标准化流BERT-Flow:BERT词向量的性质分析+标准化流-知乎文本表达：解决BERT中的各向异性方法总结_LitraLIN的博客-程序员秘密_bert

0XIX0·2023-01-20 13:01

NLP中向量表示的各向异性

各向异性(Anisotropic)的概念在BERT-flow的文章中有明确的定义：“Anisotropic”meanswordembeddingsoccupyanarrowconeinthe[vectorspace

sunghosts·2023-01-11 07:24

无监督语义相似度哪家强？我们做了个比较全面的评测

©PaperWeekly原创·作者｜苏剑林单位｜追一科技研究方向｜NLP、神经网络一月份的时候，笔者写了《你可能不需要BERT-flow：一个线性变换媲美BERT-flow》[1]，指出无监督语义相似度的

PaperWeekly·2023-01-11 00:31

文本表达进击：从BERT-flow到BERT-whitening、SimCSE

于是BERT-flow、BERT-whitening及SimCSE就来了。最近刚好

PaperWeekly·2023-01-05 10:13

SimCSE初步使用且和Bert的简单对比

现在有不少基于Bert的方式获取句子向量，例如Bert-flow和Bert-whitening等，这些方法会对预训练Bert的输出进行变换从而得到更好的句子向量。

Fitz1318·2023-01-05 10:42

进击！BERT句向量表征

文章目录前言Sentence-Bert（EMNLP2019）核心思路BERT-flow（EMNLP2020）核心思路BERT-whitening核心思路ConSERT（ACL2021）核心思路正例构建方式负例构建方式

JMXGODLZ·2022-12-16 07:54

【转载】你可能不需要BERT-flow：一个线性变换媲美BERT-flow

《你可能不需要BERT-flow：一个线性变换媲美BERT-flow》[Blogpost].BERT-flow来自论文《OntheSentenceEmbeddingsfromPre-trainedLanguageModels

SUFEHeisenberg·2022-12-09 07:49

句向量表示--BERT-FLOW,BERT-whitening, ConSERT, coSENT

维度选择公式：n>8.33logNJL理论：塞下N个向量，只需要(logN)维空间一BERT句向量缺点论文1和论文2证明了transformer模型出来的向量表达（如BERT、GPT2）会产生各向异性，具体表现是向量分布不均匀，低频词分布稀疏距离原点较远，高频词分布紧密，距离原点较近，如图所示。向量值受句子中词在所有训练语料里的词频影响，导致高频词编码的句向量距离更近，更集中在原点附近，导致即使一

zhurui_xiaozhuzaizai·2022-12-09 07:47

当BERT-whitening引入超参数：总有一款适合你

PaperWeekly·2022-12-09 07:08

SimCSE 对比学习方法

现在有不少基于Bert的方式获取句子向量，一些比较改进的方法：例如Bert-flow和Bert-whitening等。使用预训练好的Ber

彭伟_02·2022-11-07 21:39

ACL 2021｜美团提出基于对比学习的文本表示模型，效果相比BERT-flow提升8%

尽管基于BERT的模型在NLP诸多下游任务中取得了成功，直接从BERT导出的句向量表示往往被约束在一个很小的区域内，表现出很高的相似度，因而难以直接用于文本语义匹配。为解决BERT原生句子表示这种“坍缩”现象，美团NLP中心知识图谱团队提出了基于对比学习的句子表示迁移方法——ConSERT，通过在目标领域的无监督语料上Fine-tune，使模型生成的句子表示与下游任务的数据分布更加适配。在句子语义

美团技术团队·2021-06-04 15:56

文本匹配之bert flow：On the Sentence Embeddings from Pre-trained Language Models

目录论文信息内容解析语义相似度和bert预训练语言模型LM（Languagemodeling）：掩码语言模型MLM（maskedlanguagemodeling）统计共现来表示语义相似各向异性向量与语义相似性BERT-flow

阿_牛·2020-12-31 17:54

推荐频道