sentence 第6页

Raki的读paper小记：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

Abstract&Introduction&RelatedWork研究任务sentenceembedding已有方法和相关工作InferSentUniversalSentenceEncoderSkip-Thought面临挑战BERT在文本语义相似度上达到了sota，然而，它需要将两个句子都送入网络，这导致了大量的计算开销。在10,000个句子的集合中找到最相似的一对，需要用BERT进行大约5千万次

爱睡觉的Raki·2023-01-29 14:10

相似度_基于Bert_2019：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

Sentence-BERT:SentenceEmbeddingsusingSiameseBERT-Networks论文核心对预训练的BERT网络进行修改，使用连体和三连体网络结构，得出有语义的句子嵌入，

QianTu&·2023-01-29 14:39

文献阅读笔记 # Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

《Sentence-BERT:SentenceEmbeddingsusingSiameseBERT-Networks》用于快速搭建NLP任务的demo的开源项目sbert的原始论文，star数很多，EMNLP2019

真·skysys·2023-01-29 14:07

【实践】Embedding在腾讯应用宝的推荐实践

Embedding的训练方法主要分成DNN的端到端的方法以及序列学习的非端到端的方法，其中最经典的word2vec以及由此衍生出sentence2vec，doc2vec，item2vec等都属于非端到端的学习方法

智能推荐系统·2023-01-29 11:05

N Gram个人理解（根据pytorch官方代码）

WORDEMBEDDINGS:ENCODINGLEXICALSEMANTICS参考官方代码Ngram的操作过程如下：1、给定数据集合如sentence="""Whateverisworthdoingisworthdoingwell

ClarenceHoo·2023-01-27 16:39

【LeetCode】1813. 句子相似性 III

如果两个句子sentence1和sentence2，可以通过往其中一个句子插入一个任意的句子（可以是空句子）而得到另一个句子，那么我们称这两个句子是

Schanappi·2023-01-27 11:31

4. 太湖三万八千顷，月在波心说向谁

通过语法，把符号(词语)组合，语言上称成句子(Sentence)，逻辑上称为命题(Proposition)。直接对

Dominguito·2023-01-27 01:34

Transformers学习笔记5

fromdatasetsimportload_datasetraw_datasets=load_dataset("glue","mrpc")raw_datasetsDatasetDict({train:Dataset({features:['sentence1

kawlyh·2023-01-24 08:39

《Improving BERT-Based Text Classification With Auxiliary Sentence and Domain Knowledge》论文笔记

模型模型部分与Bert论文完全一致，只是为分类任务的输入样本构建了“辅助序列”——这种方法只适用于“单序列分类”，对于“语句相似性”等句对分类任务不适用。上图输入部分的aia_iai表示的是人工构建的辅助序列的token。作者提出三种构建“辅助序列”的策略，1）辅助序列是一个不包含标签信息的问句，用BERT4TC-AQ标识；2）辅助序列是只包含一个标签名称的文本描述，用BERT4TC-AA标识；3

凯子要面包·2023-01-23 13:48

KeyBERT和labse提取字符串中的关键词

fromkeybertimportKeyBERTen_sentence=''#这是你输入的字符串kw_model=KeyBERT()keywords=kw_model.extract_keywords(

狗庄欺人太甚·2023-01-21 22:36

科研日志——使用opencv提取视频中的人脸

使用的工具是opencv，步骤如下：1.提取视频帧Sentence标号的含义数据集中对视频中的每个sentence进行了标号，拿Ses01F_impro01_F001.png举例说明：Ses01代表着视频位于

JekinHuo·2023-01-20 08:46

Leetcode 随机题库练习(第五周)

Leetcode随机题库练习记录(第五周)2022.09.03给你一个字符串sentence作为句子并指定检索词为searchWord，其中句子由若干用单个空格分隔的单词组成。

CooL截击·2023-01-19 12:35

论文阅读：Convolutional Neural Networks for Sentence Classification 卷积神经网络的句子分类

ConvolutionalNeuralNetworksforSentenceClassification卷积神经网络的句子分类目录ConvolutionalNeuralNetworksforSentenceClassification卷积神经网络的句子分类摘要1引言2模型2.1正则化3数据集和实验设置3.1超参数和训练3.2预训练词向量3.3模型变体4结果与讨论4.1多通道与单通道模型4.2静态与

南有芙蕖·2023-01-18 11:06

[原创]python计算中文文本相似度神器

这个包叫sentence-transformers。

yuanzhoulvpi·2023-01-16 09:53

sentence transformer微调（simcse模型为例）

简要介绍sentencetransformer是一个使用pytorch对常见语言模型进行封装，得到一个句子级别的embedder的python包。主要由基于transformer的预训练模型（生成句子中各个字的embedding）+pooing层（对句子中各个字的embedding选择一种方式生成句子的embedding）组成，如下图：如何在自己的数据上finetune?闲话：相比于单纯针对预训练

我ta·2023-01-16 08:22

文本匹配利器：从孪生网络到Sentence-BERT综述

本文首发于公众号【NLP情报局】，如需转载请声明作者和来源文本匹配是自然语言处理领域一个基础且重要的方向，一般研究两段文本之间的关系。文本相似度、自然语言推理、问答系统、信息检索都可以看作针对不同数据和场景的文本匹配应用。本文总结了文本匹配任务中的经典网络SiamseNetwork，它和近期预训练语言模型的组合，一些调优技巧以及在线下数据集上的效果检验。1、Siamese孪生网络在正式介绍之前，我

_Giant·2023-01-16 08:52

Sentence-BERT 论文阅读

BERT、RoBERTa已经在文本语义相似度任务（semantictextualsimilarity，STS）上达到了sota。然而，BERT要求句子对拼接到一起再传入模型中，这会导致巨大的计算开销——例如，在10000条句子中寻找最相似的两条，则需要约5*10^7次计算，如果使用BERT，则需要约65小时，这导致许多涉及篇章向量的任务，如相似度计算、聚类等无从开展。基于此，我们提出了senten

_illusion_·2023-01-16 08:52

python计算中文文本相似度神器 sentence_transformer、text2vec

python计算中文文本相似度神器importsysfromsentence_transformers.utilimportcos_simfromsentence_transformersimportSentenceTransformerasSBert#model=SBert('paraphrase-multilingual-MiniLM-L12-v2')#如果这调用模型有问题，需自行下载，该模型

stay_foolish12·2023-01-16 08:19

sentence_transformers 微调模型

模型使用的是：uer/sbert-base-chinese-nli·HuggingFace使用sentencetransformer微调模型sentence_transformers官网：SentenceTransformersDocumentation—Sentence-Transformersdocumentation

是妖怪啊·2023-01-16 08:14

文本匹配之Sentence Bert模型

文章目录前言Bert句向量表示效果为什么不好？SentenceBert原理前言目前，对于大部分的NLP任务来说，通过对预训练模型进行微调的方式已经取得了很好的效果，但对于某些特定的场景，我们常常需要的是文本的表示，比如文本聚类，文本匹配（搜索场景）等等；对于文本匹配任务，在计算语义相似度时，Bert模型需要将两个句子同时进入模型，进行信息交互。场景一：假如有10000个句子，找出最相似的句子对。B

dzysunshine·2023-01-16 08:43

sentence-transformers(SBert)中文文本相似度预测(附代码)

前言训练文本相似度数据集并进行评估：sentence-transformers(SBert)预训练模型：chinese-roberta-wwm-ext数据集：蚂蚁金融文本相似度数据集前端：Vue2+elementui

我先润了·2023-01-16 08:10

chinese-bert-wwm-ext

BertTokenizer.from_pretrained("hfl/chinese-bert-wwm-ext")model=BertModel.from_pretrained("hfl/chinese-bert-wwm-ext")batch_sentence

rehe_nofish·2023-01-13 17:30

SentenceTransformers

论文：Sentence-BERT:SentenceEmbeddingsusingSiameseBERT-Networks官网：https://www.sbert.net/安装pipinstall-Use

桂花很香,旭很美·2023-01-13 08:51

python识别中文人名_使用Python在NLP中的命名实体识别中提取人名

我有一句话,我需要单独识别人名：例如：sentence="LarryPageisanAmericanbusinessmagnateandcomputerscientistwhoistheco-founderofGoogle

weixin_39784263·2023-01-13 07:09

SimCSE 论文笔记

学习通用句向量是自然语言处理中一个基本的问题，在sentence-bert中已经证明过原始bert生成的句向量在语义相似度任务中表示非常差，但在经过孪生网络的训练后就能生成很好的句向量表

shuaiZuJiaoFu·2023-01-12 19:41

pycorrector源码解读

先对文本预处理，切分句子，对句子detect_sentence找maybe_errors。包括自定义混淆集，专名错误，字错误，词错误。

Cracks_Yi·2023-01-10 15:34

当GNN遇见NLP(五) Sentence-State LSTM for Text Representation，ACL2018 +核心代码详解（pytorch）

本文作者来自SingaporeUniversityofTechnologyandDesign以及DepartmentofComputerScience,UniversityofRochester。虽然本文中没有提到图神经网络的概念，但是从其实际操作上还是被归类为图的空间方法的一种。本文为了克服了BiLSTM局限于顺序文本的缺点，提出了新的模型S-LSTM，利用Recurrentsteps在单词之间

五月的echo·2023-01-10 08:56

Bert实战之文本分类（附代码）

coding3.1基于fine-tune的文本分类3.2基于featureextract的文本分类1、概要Bert是Google在2018年10月提出的一种利用大规模语料进行训练的语言模型，其通过MaskedLM和sentence-level

明子哥哥·2023-01-09 09:04

手把手教利用Bert实现知识库问答（详细注释）

id=121&type=2&source=1一、数据处理1、数据分析数据格式如下：这个题目的意思就是判断Question和Sentence是否匹配，如果匹配label就是1#统一导入工具包importcsvimporttran

RuiJie_Wang_·2023-01-09 07:16

用Bert获取句子向量，并计算句子相似度

一、句子向量我用的是sentence-bert，它封装在sentence-transformer中：fromsentence_transformersimportSentenceTransformermodel

阿袁的小园子·2023-01-08 00:37

2022年几款前沿的文本语义检索/Sentence Embedding方法：Gradient Cache, SGPT,ART,DPTDR,RocketQAv2, ERNIE-Search等

农民小飞侠·2023-01-06 15:38

pytorch-LSTM 报错：THTensorEvenMoreMath.cpp:191

问题出错在：embeds=self.word_embeds(sentence).view(len(sentence),1,-1)报错在test阶段：RuntimeError:indexoutofrange

lavender_hhl·2023-01-06 11:51

轻松使用阿里达摩院开源在魔搭社区上的CLUE语义匹配模型

模型链接：https://modelscope.cn/models/damo/nlp_masts_sentence-similarity_clue_chinese-

NLP学徒·2023-01-05 14:18

tokenizer.encode、tokenizer.tokenize、tokenizer.encode_plus的用法差异

input_ids_method1=torch.tensor(tokenizer.encode(sentence,

贝叶斯巴达·2023-01-04 15:36

docker,pytorch,sentence-transformers,bitnami/pytorch,Killed,docker跑神经网络模型被kill

问题如下图：依赖都装完了，运行脚本就被kill我尝试只打印helloworld，能正常运行由于是在服务器测试的，我最终在个人电脑上测试个人电脑上没问题终究还是错付了，原因是服务器性能不够，可能是内存不够关于我服务器内存不够跑深度学习模型被kill这件事一个非常非常小的模型都跑不起来

Deng_Xian_Sheng·2023-01-02 11:53

深度学习论文阅读：Convolutional Neural Networks for Sentence Classification （TextCNN）

这是一篇将CNN运用于句子分类的论文摘要Wereportonaseriesofexperimentswithconvolutionalneuralnetworks(CNN)trainedontopofpre-trainedwordvectorsforsentence-levelclassificationtasks.WeshowthatasimpleCNNwithlittlehyperparame

空腹熊猫·2023-01-02 07:39

句子表征（各项异性等偏差）：PromptBERT: Improving BERT Sentence Embeddings with Prompts

一、核心句子表征存在不足之处，可能面临各向异性、可能受到词频的影响、可能受到子词、大小写等的影响等等。Gaoetal.(2019)和Wangetal.(2020)指出，对于语言建模，使用最大似然训练通常会产生一个各向异性的词嵌入空间。“各向异性”是指单词嵌入在向量空间中占据一个狭窄的锥体。这种现象也可以在Bert、GPT-2等预训练过的Transformers上观察到。二、已有的工作之前的一些工作

QianTu&·2023-01-01 07:59

fairseq入门教程

前言：该教程利用fairseq增加一个新的FaiseqEncoderDecoderModel，该新模型利用LSTM来encodes一个sentence输入句；接着把最后的hiddenstate传给第二个

Inverse.me·2023-01-01 01:55

PRIMERA Pyramid-based Masked Sentence Pre-training for Multi-document Summarization

PRIMERA:Pyramid-basedMaskedSentencePre-trainingforMulti-documentSummarization作者：加拿大哥伦比亚大学，艾伦人工智能研究所，华盛顿大学Abstract模型名字：PRIMERA用途：多文档表示预训练模型，用于Summarization预训练目标：跨文档连接和聚合信息模型结构：encoder-decoder简化连接输入文档的处

be_humble·2022-12-30 21:00

[AAAI2019] DRr-Net:Dynamic Re-read Netwok for Sentence Semantic Matching

问题定义：sas^asa={w1aw^a_1w1a,w2aw^a_2w2a,…,wlaaw^a_{l_a}wlaa},句子的长度为lal_ala，sbs^bsb={w1bw^b_1w1b,w2bw^b_2w2b,…,wlbbw^b_{l_b}wlbb},句子的长度为lbl_blb目的是学习一个分类器ξ\xiξ用于判断两个句子sas^asa和sbs^bsb的关系，即y=ξ\xiξ(sas^asa,s

小妖精Fsky·2022-12-30 09:05

cannot import name ‘trainer‘ from ‘transformers‘

经过几次尝试后，发现卸载了sentence-transformers包之后，这个错误不再出现了(可能新版本不太兼容？)pipuninstall sentence-transformers

l623504389·2022-12-28 18:08

python自然语言处理——NLTK——词性标签（pos_tag）的字典重构

原因是like和hate的词性在字典里居然被算作IN和NNa_sentence='likehate'token=word_tokenize(a_sentence)pos_tag(word_tokenize

JasonJarvan·2022-12-28 08:55

【论文阅读-对比学习】SimCSE Simple Contrastive Learning of Sentence Embeddings

今天分享下Danqi大佬的SimCSE。文章首发于https://zhuanlan.zhihu.com/p/477334784Title:SimCSE:SimpleContrastiveLearningofSentenceEmbeddingsFrom:EMNLP2021Link:https://arxiv.org/abs/2104.08821论文提出了基于对比学习框架的SimCSE，来是提升句向量

_春天_·2022-12-27 06:24

SimCSE详解，Simple Contrastive Learning of Sentence Embeddings

简介contrastive(对比)学校框架，提升句子embedding效果无监督，句子本身和句子自己带有dropout使用NLI数据集，entailment（蕴含）对作为正例，contradiction（矛盾）对作为负例在STS任务上，效果好介绍无监督simcse预测句子本身，仅使用dropout作为噪声换句话说，我们把相同的输入句子放到预训练encoder两次，包括两个embedding作为正例

ws_nlp_·2022-12-27 06:52

ESimCSE: Enhanced Sample Building Method for Contrastive Learning of Unsupervised Sentence Embedding

ESimCSE：用于无监督句子嵌入对比学习的增强样本构建方法XingWu1,2,3,ChaochenGao1,2∗,LiangjunZang1,JizhongHan1,ZhongyuanWang3,SonglinHu1,21InstituteofInformationEngineering,ChineseAcademyofSciences,Beijing,China2SchoolofCyberSe

黑子小明·2022-12-27 06:21

SimCSE Simple Contrastive Learning of Sentence Embeddings论文解读

SimCSE:SimpleContrastiveLearningofSentenceEmbeddingspaper：[2104.08821]SimCSE:SimpleContrastiveLearningofSentenceEmbeddings(arxiv.org)code：princeton-nlp/SimCSE:EMNLP’2021:SimCSE:SimpleContrastiveLearni

Trouble..·2022-12-27 06:48

论文笔记：Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence

核心任务通过构造辅助句，将ABSA任务转换为“句子对”分类任务（如QA和NLI）对BERT的预训练模型进行了微调，并在SentiHood和SemEval2014Task4数据集上获得了最先进的结果。动机BERT在QA和NLI方面取得了很好的成绩。但是，直接使用预训练的BERT模型对(T)ABSA任务并没有太大的改善，作者认为这是预训练的BERT模型使用不当造成的。BERT的输入表示既可以表示单个文

Daffy10·2022-12-23 17:30

nlp - 英文文本预处理

文章目录1.大小写转换2.去除标点符号3.分词4.去除暂停词1.大小写转换sentence.lower()2.去除标点符号importstringpunct=str.maketrans('','',string.punctuation

歪夕·2022-12-23 07:47

自然语言处理之文本预处理

1.1定义语料库（Corpus）：一个文档（documents）的集合（collection）例如：维基百科中全部的英文文章文档（Document）：一个或者多个句子（sentence）通常，这些句子是经过理解性组织过的

Wilson_Hank·2022-12-23 07:38

BERT入门实践: sentence-pair classification（colab +tensorflow2.5）

文章目录概要描述详细说明下载GLUE数据下载bert源码下载并解压chinese_L-12_H-768_A-12.zipFine-Tuning参考文章：一文读懂BERT(实践篇)概要描述根据参考文章1中使用bertfine-tuningMRPC任务的代码，我整理了一个适合colab平台tensorflow2.5环境的版本（原文中应该是tensorflow1.x），当作是对文章1的一个补充说明，对于

Sciengineerv·2022-12-21 18:03

推荐频道

sentence