BERT-whitening

【NLP】NLP 语义匹配：经典前沿方案整理

作者|周俊贤整理|NewBeeNLP上一篇文章，讨论了语义匹配的语义场景，NLP语义匹配：业务场景、数据集及比赛这篇跟大家讨论相关的技术，主要包括BERT-avg、BERT-Whitening、SBERT

风度78·2023-08-21 06:14

丹琦女神的对比学习新SOTA，在中文表现如何？我们补充实验后，惊了！

在小屋这篇《丹琦女神新作：对比学习，简单到只需要Dropout两下》推出后，苏神发来了他在SimCSE上的中文实验，实验结果表明在不少任务上SimCSE确实相当优秀，能明显优于BERT-whitening

zenRRan·2023-01-11 00:01

无监督语义相似度哪家强？我们做了个比较全面的评测

神经网络一月份的时候，笔者写了《你可能不需要BERT-flow：一个线性变换媲美BERT-flow》[1]，指出无监督语义相似度的SOTA模型BERT-flow其实可以通过一个简单的线性变换（白化操作，BERT-whitening

PaperWeekly·2023-01-11 00:31

文本表达进击：从BERT-flow到BERT-whitening、SimCSE

于是BERT-flow、BERT-whitening及SimCSE就来了。最近刚好

PaperWeekly·2023-01-05 10:13

SimCSE初步使用且和Bert的简单对比

现在有不少基于Bert的方式获取句子向量，例如Bert-flow和Bert-whitening等，这些方法会对预训练Bert的输出进行变换从而得到更好的句子向量。

Fitz1318·2023-01-05 10:42

进击！BERT句向量表征

文章目录前言Sentence-Bert（EMNLP2019）核心思路BERT-flow（EMNLP2020）核心思路BERT-whitening核心思路ConSERT（ACL2021）核心思路正例构建方式负例构建方式

JMXGODLZ·2022-12-16 07:54

文本表达：解决BERT中的各向异性方法总结

文章目录文本表达：解决BERT中的各向异性方法总结1、BERT-flowBERT表示存在的问题BERT-flow2、BERT-whitening向量的内积标准正交基方差与协方差Bert-Whitning

Litra LIN·2022-12-14 06:21

句向量表示--BERT-FLOW,BERT-whitening, ConSERT, coSENT

维度选择公式：n>8.33logNJL理论：塞下N个向量，只需要(logN)维空间一BERT句向量缺点论文1和论文2证明了transformer模型出来的向量表达（如BERT、GPT2）会产生各向异性，具体表现是向量分布不均匀，低频词分布稀疏距离原点较远，高频词分布紧密，距离原点较近，如图所示。向量值受句子中词在所有训练语料里的词频影响，导致高频词编码的句向量距离更近，更集中在原点附近，导致即使一

zhurui_xiaozhuzaizai·2022-12-09 07:47

当BERT-whitening引入超参数：总有一款适合你

©PaperWeekly原创·作者|苏剑林单位|追一科技研究方向|NLP、神经网络在《你可能不需要BERT-flow：一个线性变换媲美BERT-flow》中，笔者提出了BERT-whitening，验证了一个线性变换就能媲美当时的

PaperWeekly·2022-12-09 07:08

SimCSE 对比学习方法

现在有不少基于Bert的方式获取句子向量，一些比较改进的方法：例如Bert-flow和Bert-whitening等。使用预训练好的Ber

彭伟_02·2022-11-07 21:39

【自然语言处理】【对比学习】SimCSE：基于对比学习的句向量表示

BQW_·2022-11-07 21:08

【自然语言处理】【Pytorch】从头实现SimCSE

BQW_·2022-11-07 21:08

【自然语言处理】【向量检索】面向开放域稠密检索的多视角文档表示学习

Multi-ViewDocumentRepresentationLearningforOpen-DomainDenseRetrieval》论文地址：https://arxiv.org/pdf/2203.08372.pdf相关博客：【自然语言处理】【对比学习】SimCSE：基于对比学习的句向量表示【自然语言处理】BERT-Whitening

BQW_·2022-08-09 07:08

【自然语言处理】【向量表示】PairSupCon：用于句子表示的成对监督对比学习

PairwiseSupervisedContrastiveLearningofSentenceRepresentations》论文地址：https://arxiv.org/pdf/2109.05424.pdf相关博客：【自然语言处理】【对比学习】SimCSE：基于对比学习的句向量表示【自然语言处理】BERT-Whitening

BQW_·2022-08-09 07:31

推荐频道