SIMCSE

微软最新研究成果：使用GPT-4合成数据来训练AI模型，实现SOTA！

此外，大部分方法采用BERT作为编码器，如非常经典的Sentence-BERT和SimCSE通过在推理数据集上对BERT进行微调学习文本嵌入。但现在LLMs技术发展得如火如荼

夕小瑶·2024-01-09 16:02

【深度学习】Sentece Embedding - SImCES

而SimCSE《SimpleContrastiveLearningofSentenceEmbeddings》，即「简单的对比句向量表征框架」，通过一种简单的对比学习去做句子嵌入。而且在可以不要监督数据

DonngZH·2023-12-20 07:21

SimCSE论文阅读

正负样本对构建原理正样本pair：onesentencetwodifferentembeddingsas“positivepairs”.(通过dropout作为噪声)负样本pair：Thenwetakeothersentencesinthesamemini-batchas“negatives”任务：themodelpredictsthepositiveoneamongthenegatives无监督

银晗·2023-12-05 10:20

文本向量化

文本向量化表示的输出比较importtimeimporttorchfromtransformersimportAutoTokenizer,AutoModelForMaskedLM,AutoModel#simcse

CodeWang_NC·2023-11-19 20:37

ReadTimeoutError: HTTPSConnectionPool(host=‘cdn-lfs.huggingface.co‘, port=443)

问题最近遇到需要从huggingface下载并导入预训练模型SimCSE，然后进行计算文本相似度，代码如下：fromtransformersimportAutoModel,AutoTokenizerimportosos.environ

肥宅程序员aka不会游泳的鱼·2023-11-09 19:43

真正的利器：对比学习SimCSE

南朝容止·2023-10-22 06:02

论文阅读_对比学习_SimCSE

英文题目：SimCSE:SimpleContrastiveLearningofSentenceEmbeddings中文题目：SimSCE：用简单的对比学习提升句嵌入的质量论文地址：https://export.arxiv.org

xieyan0811·2023-10-15 06:55

对比学习笔记

文章目录一、什么是对比学习二、对比学习为什么这么火三、Simcse是什么1.无监督SimCSE2.有监督SimCSE四、simcse的损失函数是什么五、为什么simcse构造正例对时使用dropout是有效的方法六

hit56实验室·2023-10-15 06:55

ConSERT和SimCSE方法对比

问答系统的搭建过程一般需要多个模块联合工作才能实现整个系统的功能，但通过实践发现，每个模块归根到底都是在计算相似度，而使用范围广、有效性强的一种任务就是计算句子对的相似性，或者称为SemanticTextualSimilarity/STS任务。直接使用的场景就是搭建FAQ问答系统中，最后一步就是计算问句与候选问句的相似性，最终认为相似性最大的候选问句的答案为用户问句对应的答案。撰写本笔记的原因是作

zzfive·2023-10-15 06:55

文本匹配SimCSE模型代码详解以及训练自己的中文数据集

前言在上一篇博客文本匹配中的示例代码中使用到了一个SimCSE模型，用来提取短文本的特征，然后计算特征相似度，最终达到文本匹配的目的。

肥宅程序员aka不会游泳的鱼·2023-10-15 06:23

ESimCSE 论文笔记

SimCSE采用两次dropout作为一对正样本来当作数据增强的方法（详细内容可见我的上一篇笔记），但这样有一个不好的地方就是模型会偏向认为具有相同长度的句子彼此之间就更为相似。为了验证这一观点

shuaiZuJiaoFu·2023-10-15 06:21

[论文笔记]SimCSE

引言今天带来一篇当时引起轰动的论文SimCSE笔记，论文题目是语句嵌入的简单对比学习。SimCSE是一个简单的对比学习框架，它可以通过无监督和有监督的方式来训练。

愤怒的可乐·2023-10-15 06:46

AI快车道PaddleNLP系列直播课6|语义检索系统快速搭建落地

2PaddleNLP语义检索系统2.1语义检索系统架构：recall+ranking2.2PaddleNLP语义检索系统的特色2.3PaddleNLP语义检索系统的召回阶段的核心技术2.3.1无监督对比学习SimCSE2.3.2

云淡风轻__·2023-10-05 18:22

语义检索系统【二】：基于无监督训练SimCSE+In-batch Negatives策略有监督训练的语义索引召回

汀、人工智能·2023-10-03 01:15

他这个simcse加载的是他paddle自带的文心1.0，他竟然加载不出来！Traceback (most recent call last): File “train.py“, line 15

ifoutput_emb_size>0:weight_attr=paddle.ParamAttr(initializer=paddle.nn.initializer.TruncatedNormal(std=0.02))self.emb_reduce_linear=paddle.nn.Linear(768,output_emb_size,weight_attr=weight_attr)这里是mode

xiuxiandaoyoufuz·2023-09-29 23:55

对比学习NLP

非联合方法自监督：构造增强样本，fine-tune模型：Bert-CT，ConSERT，SimCSE。

zhurui_xiaozhuzaizai·2023-09-22 03:51

SimCSE程序报错记录

Dataset官方文件：https://huggingface.co/docs/datasets/v1.3.0/ConnectionError:Couldn'treachhttps://raw.githubusercontent.com/huggingface/datasets/1.2.1/datasets/text/text.py解决方式：https://github.com/princeton

双七_·2023-09-05 22:22

drop-out在有监督任务上的应用—Rdrop

如simCSE。simCSE的目标是：学习一个优质的语义表示空间。每个sentence学习到一个embedding。loss:拉近相似的样本，推开不相似的样本。一种常用的对比损失是基于批内负样

吹洞箫饮酒杏花下·2023-08-23 10:13

基于无监督训练SimCSE+In-batch Negatives策略有监督训练的语义索引召回

基于无监督训练SimCSE+In-batchNegatives策略有监督训练的语义索引召回语义索引（可通俗理解为向量索引）技术是搜索引擎、推荐系统、广告系统在召回阶段的核心技术之一。

·2023-08-16 10:09

NLP文本匹配任务Text Matching 有监督训练：PointWise（单塔）、DSSM（双塔）项目实践

NLP文本匹配任务TextMatching[无监督训练]：SimCSE、ESimCSE、DiffCSE项目实践文本匹配多用于计算两个文本之间的相似度，该示例会基于ESimCSE实现一个无监督的文本匹配模型的训练流程

·2023-08-15 17:21

NLP文本匹配任务Text Matching [无监督训练]：SimCSE、ESimCSE、DiffCSE 项目实践

NLP文本匹配任务TextMatching[无监督训练]：SimCSE、ESimCSE、DiffCSE项目实践文本匹配多用于计算两个文本之间的相似度，该示例会基于ESimCSE实现一个无监督的文本匹配模型的训练流程

汀、人工智能·2023-08-15 08:01

语义检索系统【全】：基于Milvus+ERNIE+SimCSE+IBN实现学术文献语义检索系统完整版

汀、人工智能·2023-08-05 23:35

SimCSE学习

我们给SimCSE补充了一些实验：https://kexue.fm/archives/8348simcse在英文数据上显著超过了bert-flow和bert-whiteningSimCSE—简单有效的对比学习

HxShine·2023-06-14 08:01

论文笔记--SimCSE: Simple Contrastive Learning of Sentence Embeddings

论文笔记--SimCSE:SimpleContrastiveLearningofSentenceEmbeddings1.文章简介2.文章概括3文章重点技术3.1对比学习ContrastiveLearning3.2UnsupervisedSimCSE3.3SupervisedSimCSE3.4Anisotropy3.5AlignmentandUniformity4

Isawany·2023-06-12 18:48

深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等本专栏主要方便入门同学快速掌握相关知识。后续会持续把深度学习涉及知识原理分析给大家，让大家在项目实操的同时也能知识储备，知

汀、人工智能·2023-06-12 14:18

深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：智能标注、多分类算法、文本信息抽取等

深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等1.N-GramN-Gram是一种基于统计语言模型的算法

·2023-06-12 11:50

深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：智能标注、多分类算法、文本信息抽取等

深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等1.N-GramN-Gram是一种基于统计语言模型的算法

·2023-06-12 11:47

Simcse+lucene搜索

1、背景介绍依靠机器学习、深度学习算法对信息的深度感知能力，精准捕获用户投诉、建议意图、目的2、技术方案2.1、粗排召回方案2.1.1、搜索引擎框架--LuceneLucence中的分词器包含两个部分，分别是切词器Tokenizer和过滤器TokenFilter。切词器顾名思义负责切，将一个句子切成一连串单词流，切词器输出的单词流是过滤器的输入，它负责去掉无用的词汇比如停用词，过滤器还可以是词汇转

三印·2023-06-09 12:24

基于SimCSE和Faiss的文本向量检索实践

目录文本的向量表示1、SimCSE2、支持无监督训3、训练注意事项向量检索1、精准查找flat2、HNSWx3、IVFx4、PQx5、LSH对博客标题进行向量检索数据向量化构建索引文本检索测试检索传统的文本检索一般是建立倒排索引

行走的人偶·2023-04-21 09:09

SimCSE使用笔记

需要在控制台手动安装simcse：pipinstallsimcse==0.4-ihttps://mirrors.aliyun.com/pypi/simple/预训练模型使用junnyu/wobert_chinese_plus_base

AlphaFinance·2023-04-19 03:34

近几年NLP比较promising的方法

ContrastiveLearning对比学习的想法是，把不同类别的样本在特征空间推开，而让相似的样本距离更近，从而获得更好的样本表示NLP中一个非常经典的是danqi女神的SimCSE：Raki的读paper

爱睡觉的Raki·2023-04-05 09:49

特定领域知识图谱融合方案：文本匹配算法(Simnet、Simcse、Diffcse)【一】

特定领域知识图谱融合方案：文本匹配算法(Simnet、Simcse、Diffcse)本项目链接：https://aistudio.baidu.com/aistudio/projectdetail/5423713

汀、·2023-02-03 16:19

特定领域知识图谱融合方案：文本匹配算法(Simnet、Simcse、Diffcse)

特定领域知识图谱融合方案：文本匹配算法(Simnet、Simcse、Diffcse)本项目链接：https://aistudio.baidu.com/aistudio/projectdetail/5423713

·2023-02-01 15:00

sentence transformer微调（simcse模型为例）

简要介绍sentencetransformer是一个使用pytorch对常见语言模型进行封装，得到一个句子级别的embedder的python包。主要由基于transformer的预训练模型（生成句子中各个字的embedding）+pooing层（对句子中各个字的embedding选择一种方式生成句子的embedding）组成，如下图：如何在自己的数据上finetune?闲话：相比于单纯针对预训练

我ta·2023-01-16 08:22

SimCSE 论文笔记

单位：普林斯顿大学计算机科学系、清华大学跨学科信息科学研究所时间：2021.09发表：EMNLP论文链接：https://arxiv.org/pdf/2104.08821.pdf一、前言1.SimCSE

shuaiZuJiaoFu·2023-01-12 19:41

中文文本匹配数据集整理

前两天，分享完SimCSE论文后，就开始整理中文文本匹配（文本相似度）数据集了，后面准备基于该数据集，训练一个句向量表征模型。不找不知道，一找吓一跳，共整理了「16个」可用于文本匹配任务。

刘聪NLP·2023-01-12 11:15

过年刷【千言数据集：文本相似度】比赛

2.半监督训练（self-training的思想）：3.simCSE的训练：4.stacking模型融合：1.比赛信息“千言数据集：文本相似度”是网易易智在CCF和百度联合举办的行业测评任务，这个榜单在

yealxxy·2023-01-12 11:09

丹琦女神的对比学习新SOTA，在中文表现如何？我们补充实验后，惊了！

在小屋这篇《丹琦女神新作：对比学习，简单到只需要Dropout两下》推出后，苏神发来了他在SimCSE上的中文实验，实验结果表明在不少任务上SimCSE确实相当优秀，能明显优于BERT-whitening

zenRRan·2023-01-11 00:01

文本表达进击：从BERT-flow到BERT-whitening、SimCSE

于是BERT-flow、BERT-whitening及SimCSE就来了。最近刚好

PaperWeekly·2023-01-05 10:13

SimCSE初步使用且和Bert的简单对比

SimCSE初步使用且和Bert的简单对比在很多NLP任务中都会用到句子向量，例如文本检索、文本粗排、语义匹配等任务。

Fitz1318·2023-01-05 10:42

【论文阅读-对比学习】SimCSE Simple Contrastive Learning of Sentence Embeddings

今天分享下Danqi大佬的SimCSE。

_春天_·2022-12-27 06:24

SimCSE详解，Simple Contrastive Learning of Sentence Embeddings

embedding效果无监督，句子本身和句子自己带有dropout使用NLI数据集，entailment（蕴含）对作为正例，contradiction（矛盾）对作为负例在STS任务上，效果好介绍无监督simcse

ws_nlp_·2022-12-27 06:52

SimCSE Simple Contrastive Learning of Sentence Embeddings论文解读

SimCSE:SimpleContrastiveLearningofSentenceEmbeddingspaper：[2104.08821]SimCSE:SimpleContrastiveLearningofSentenceEmbeddings

Trouble..·2022-12-27 06:48

进击！BERT句向量表征

Sentence-Bert（EMNLP2019）核心思路BERT-flow（EMNLP2020）核心思路BERT-whitening核心思路ConSERT（ACL2021）核心思路正例构建方式负例构建方式SimCSE

JMXGODLZ·2022-12-16 07:54

文本对比学习综述

2020DeCLUTR，2021ACLConSERT：ACL2021Self-GuidedContrastiveLearningforBERTSentenceRepresentations,ACL2021SimCSE

五月的echo·2022-12-14 08:01

文本表达：解决BERT中的各向异性方法总结

解决BERT中的各向异性方法总结1、BERT-flowBERT表示存在的问题BERT-flow2、BERT-whitening向量的内积标准正交基方差与协方差Bert-Whitning算法流程总结3、SimCSE

Litra LIN·2022-12-14 06:21

预训练模型语义相似性计算(四)--SimCSE

接着之前的句向量表示模型进行相似句计算的方法，这篇接着介绍一种新的方法-SimCSE。

choose_c·2022-12-09 07:37

理解对比学习和SimCSE，就看这6个知识点

PaperWeekly·2022-12-03 16:59

丹琦女神新作：对比学习，简单到只需要Dropout两下

小伙伴们表示，插入替换的数据增强方式已经Out了，SimCSE才是现在的靓仔。snowfloating说：看完DanqiChen组里的SimCSE，再看这篇感觉就没什么惊喜了。

夕小瑶·2022-12-02 15:24

恒源云(GPUSHARE)_[SimCSE]：对比学习，只需要 Dropout?

文章来源|恒源云社区(恒源云，专注AI行业的共享算力平台)原文地址|Dropout原文作者|Mathor要说2021年上半年NLP最火的论文，想必非《SimCSE:SimpleContrastiveLearningofSentenceEmbeddings

AI酱油君·2022-12-02 15:53

推荐频道

SIMCSE

微软最新研究成果：使用GPT-4合成数据来训练AI模型，实现SOTA！

【深度学习】Sentece Embedding - SImCES

SimCSE论文阅读

文本向量化

ReadTimeoutError: HTTPSConnectionPool(host=‘cdn-lfs.huggingface.co‘, port=443)

真正的利器：对比学习SimCSE

论文阅读_对比学习_SimCSE

对比学习笔记

ConSERT和SimCSE方法对比

文本匹配SimCSE模型代码详解以及训练自己的中文数据集

ESimCSE 论文笔记

[论文笔记]SimCSE

AI快车道PaddleNLP系列直播课6|语义检索系统快速搭建落地

语义检索系统【二】：基于无监督训练SimCSE+In-batch Negatives策略有监督训练的语义索引召回

他这个simcse加载的是他paddle自带的文心1.0，他竟然加载不出来！Traceback (most recent call last): File “train.py“, line 15

对比学习NLP

SimCSE程序报错记录

drop-out在有监督任务上的应用—Rdrop

基于无监督训练SimCSE+In-batch Negatives策略有监督训练的语义索引召回

NLP文本匹配任务Text Matching 有监督训练：PointWise（单塔）、DSSM（双塔）项目实践

NLP文本匹配任务Text Matching [无监督训练]：SimCSE、ESimCSE、DiffCSE 项目实践

语义检索系统【全】：基于Milvus+ERNIE+SimCSE+IBN实现学术文献语义检索系统完整版

SimCSE学习

论文笔记--SimCSE: Simple Contrastive Learning of Sentence Embeddings

深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等

深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：智能标注、多分类算法、文本信息抽取等

深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：智能标注、多分类算法、文本信息抽取等

Simcse+lucene搜索

基于SimCSE和Faiss的文本向量检索实践

SimCSE使用笔记

近几年NLP比较promising的方法

特定领域知识图谱融合方案：文本匹配算法(Simnet、Simcse、Diffcse)【一】

特定领域知识图谱融合方案：文本匹配算法(Simnet、Simcse、Diffcse)

sentence transformer微调（simcse模型为例）

SimCSE 论文笔记

中文文本匹配数据集整理

过年刷【千言数据集：文本相似度】比赛

丹琦女神的对比学习新SOTA，在中文表现如何？我们补充实验后，惊了！

文本表达进击：从BERT-flow到BERT-whitening、SimCSE

SimCSE初步使用且和Bert的简单对比

【论文阅读-对比学习】SimCSE Simple Contrastive Learning of Sentence Embeddings

SimCSE详解，Simple Contrastive Learning of Sentence Embeddings

SimCSE Simple Contrastive Learning of Sentence Embeddings论文解读

进击！BERT句向量表征

文本对比学习综述

文本表达：解决BERT中的各向异性方法总结

预训练模型语义相似性计算(四)--SimCSE

理解对比学习和SimCSE，就看这6个知识点

丹琦女神新作：对比学习，简单到只需要Dropout两下

恒源云(GPUSHARE)_[SimCSE]：对比学习，只需要 Dropout?