GloVe词向量

自然语言处理---Transformer机制详解之ELMo模型介绍

EmbeddingsfromLanguageModels.ELMo模型的提出源于论文>.ELMo模型提出的动机源于研究人员认为一个好的预训练语言模型应该能够包含丰富的句法和语义信息,并且能够对多义词进行建模.而传统的词向量
lichunericli·2023-10-23 15:01

CVer从0入门NLP（一）———词向量与RNN模型

作者简介：秃头小苏，致力于用最通俗的语言描述问题专栏推荐：深度学习网络原理与实战近期目标：写好专栏的每一篇文章支持小苏：点赞、收藏⭐、留言文章目录CVer从0入门NLP（一）———词向量与RNN模型写在前面词向量
秃头小苏·2023-10-23 13:13

NLP：从头开始的文本矢量化方法

在神经NLP中，词向量（也称为词嵌入）占主导地位。可以使用预先训练的向量以及复杂神经网络中学习的向量表示。本文解释并展示了所有提
无水先生·2023-10-23 08:41

机器学习——词向量模型（未开始）

挖坑…要么我来填坑，要么把我填坑反正…闲着也是闲着，那就薅自己头发，虐自己脑袋适度自虐，有助于身心健康，阿弥陀佛…
# JFZero·2023-10-22 18:15

Bag of Tricks for Efficient Text Classification(Fasttext)

Fasttext历史意义:1、提出一种新的文本分类方法-Fasttext，能够快速进行文本分类，效果较好2、提出一种新的使用子词的词向量训练方法，能够在一定程度上解决oov问题3、将Fasttext开源使得工业界和学术界能够快速的使用
BUPT-WT·2023-10-22 14:34

Bag of Tricks for Efficient Text Classification(FastText)

文章目录摘要介绍FastText核心思想模型结构HierarchicalsoftmaxN-gramfeatures实验任务一sentimentanalysis任务二tagprediction总结fasttext词向量优势摘要本文提出了一种简单有效的文本分类和表示学习方法
云淡风轻__·2023-10-22 14:33

Bag of Tricks for Efficient Text Classification

fasttext的结构非常简单，仅仅是word2vec中CBOW模型的一个变形，CBOW是上下文单词的词向量平均去预测中心词，fasttext是整个文档的单词的词向量平均去预测标签。
AI深入浅出·2023-10-22 14:30

Bert理解总结

BERT模型增加了词向量模型泛化能力，充分描述字符级、词级、句子级甚至句间关系特征。模型非常的深，12层，并不宽(wide），中间层只有1024。BERT五个关键：Pre-training、De
Mark_Aussie·2023-10-22 14:48

自然语言处理---迁移学习

fasttext介绍作为NLP工程领域常用的工具包，fasttext有两大作用：进行文本分类、训练词向量。在保持较高精度的情况下，快速的进行训练和预测是fasttext的最大优势。
lichunericli·2023-10-22 12:18

17 Transformer 的解码器（Decoders）——我要生成一个又一个单词

Transformer编码器编码器在干吗：词向量、图片向量，总而言之，编码器就是让计算机能够更合理地（不确定性的）认识人类世界客观存在的一些东西Transformer解码器解码器会接收编码器生成的词向量
沧海之巅·2023-10-22 10:02

15 Transformer 框架概述

Transformer）通过机器翻译来做解释给一个输入，给出一个输出（输出是输入的翻译的结果）“我是一个学生”--》（通过Transformer）Iamastudent流程1编码器和解码器编码器：把输入变成一个词向量
沧海之巅·2023-10-22 10:01

NLP：从头开始的文本矢量化方法

在神经NLP中，词向量（也称为词嵌入）占主导地位。可以使用预先训练的向量以及复杂神经网络中学习的向量表示。本文解释并展示了所有提
无水先生·2023-10-22 07:37

16 Transformer 的编码器（Encodes）——我在做更优秀的词向量

博客配套视频链接:https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0b站直接看配套github链接：https://github.com/nickchen121/Pre-training-language-model配套博客链接：https://www.cnblogs.com/nickchen121/p/15105048.ht
沧海之巅·2023-10-22 01:05

基于pytorch的文本情感识别（LSTM,CNN）

文章目录前言一、数据处理与Word2vec词向量训练二、创建神经网络的输入batch三、神经网络模型1.LSTM2.CNN四、训练与测试六、实验结果七、完整代码1.LSTM2.CNN前言本文使用pytorch
Die Young?·2023-10-20 23:18

pytorch nn.Embedding 读取gensim训练好的词/字向量（有例子）

1、利用gensim训练字向量（词向量自行修改）#得到每一行的数据[]datas=open('data/word.txt','r',encoding='gbk').read().split("\n")#
酸甜小龙虾·2023-10-20 23:47

Task10 BERT

目录1.Transformer的原理和实现1.1概述1.2Encoder-Decoder框架1.3整体架构1.4EncoderEncoderLayer和残差网络多头注意力机制层归一化1.5词向量前馈网络位置编码
Element简·2023-10-20 19:09

[一起学BERT]（二）：BERT快速使用

快速使用基于pytorch1.4BERT模型本质是一种词嵌入模型，也是句子嵌入模型，输入的最大长度是512BERT模型把离散的单词变成了空间中连续的向量，即把一个单词变成向量Bert词向量模型的好处：对比
笼中小夜莺·2023-10-20 14:00

2021斯坦福CS224N课程笔记~2

2NeuralClassifiers2.1本篇内容覆盖word2vec与词向量回顾算法优化基础计数与共现矩阵GloVe模型词向量评估wordsenses2.2.回顾：word2vec的主要思想2.2.1
mwcxz·2023-10-20 12:54

CS224D 课程学习笔记 L03

Lecture3.MoreWordVectorsLecture3这节课首先复习了上节课学到的word2vec模型，以及使用梯度下降和SGD优化参数，然后介绍了词向量的内部评测和外部评测，参数对于类比评测任务的影响
蜡笔大龙猫·2023-10-19 00:23

NLP学习------HanLP使用实验

学习内容在之前的实验中得到了不在词向量里的词与分词结果，结果有500多个词不在词向量里，解决方案就是重新分词，或再追加训练这些词到词向量里。但后者相对麻烦且目前样本量不大。
gladosAI·2023-10-18 12:03

词向量源码解析：（4.6）hyperwords源码解析之evaluation

similarity任务比analogy出现的时间早，是人们能想到的衡量词向量性质的最直接的方式。
Sailing_ZhaoZhe·2023-10-18 10:38

大模型LLM相关面试题整理-位置编码-tokenizer-激活函数-layernorm

这些向量会与输入序列中的词向量相加，以融合位置
zhurui_xiaozhuzaizai·2023-10-18 05:19

pytorch_神经网络构建4

文章目录循环神经网络LSTM词嵌入skip-Gram模型N-Gram模型词性预测RNN循环神经网络的基础模块实现RNN识别图片RNN时间序列预测词向量模块词向量运用N-Gram模型lstm词性预测循环神经网络这个网络主要用来处理序列信息
lidashent·2023-10-17 08:21

Bert如何融入知识一-百度和清华ERINE

这个过程其实和W2C很类似，上下文相似的情况下，mask掉的单词的词向量很可能非常相近。比如说”今天米饭真好吃“和”今天苹果真好吃“，很有可能”米饭“和”苹果“学出来的向量就很相似。
biuHeartBurn·2023-10-16 11:27

自然语言处理（NLP）-概述

NLP一、什么是自然语言处理（NLP）二、NLP的发展三、相关理论1语言模型2词向量表征和语义分析3深度学习一、什么是自然语言处理（NLP）什么是自然语言处理二、NLP的发展三、相关理论1语言模型序列数据形式多样
Cosmos Tan·2023-10-16 06:19

loss函数之CosineEmbeddingLoss，HingeEmbeddingLoss

常用于非线性词向量学习以及半监督学习。对于包含NNN个样本的batch数据D(a,b,y)D(a,b,y)D(a,b,y)。
旺旺棒棒冰·2023-10-14 15:05

学习笔记（attention-transformer）

词向量学习文本的表示方式主要分为：one-hot表达方式与分布式表达方式one-hot表达方式存在两个明显的缺陷：无法表示语义的相似度sparsity（形成的矩阵非常稀疏）100维的one-hot最后可以表示
小孙同学1997·2023-10-13 21:39

自然语言处理（二）：余弦算法计算词汇相似度

预备知识：欧式距离与余弦相似度计算方法1、欧式距离随机取出两个词向量A和B,A的词向量表示为[A1,A2,A3…An]，B的词向量表示为[B1,B2,B3…Bn]。
悠哉的咸鱼·2023-10-13 19:34

通俗易懂了解大语言模型LLM发展历程

1.大语言模型研究路程  NLP的发展阶段大致可以分为以下几个阶段：词向量词嵌入embedding句向量和全文向量理解上下文超大模型与模型统一1.1词向量  将自然语言的词使用向量表示，一般构造词语字典
姚贤贤·2023-10-13 13:59

GloVe详解

一、论文总览：摘要Abstract：提出了一种新的词向量学习方法GloVe，GloVe能够同时利用全局的统计信息和局部的上下文信息从而学习到非常好的词向量。
Wo0_0aa7·2023-10-13 11:11

基于 LSTM 进行多类文本分类(附源码）

NLP的许多创新是如何将上下文添加到词向量中。一种常见的方法是使用循环神经网络。以下是循环神经网络的概念：他们利用顺序信息。
Python算法实战·2023-10-13 03:52

BERT论文精度笔记

深度学习时代广泛使用的词向量（即词嵌入，WordEmbedding）即属于NLP预训练工作。
想变成树袋熊·2023-10-11 23:13

基于ChatGPT+词向量/词嵌入实现相似商品推荐系统

最近一个项目有个业务场景是相似商品推荐，给一个商品描述(比如'WIENERA/B7IN5/LBFZN')，系统给出商品库中最相似的TOP5种商品，这种单纯的推荐系统用词向量就可以实现，不过，这个项目特点是商品库巨大
合众国的原野·2023-10-11 18:53

模型加载Glove的预训练Embedding

importtorchimporttorch.nnasnnimporttorch.nn.functionalasFclassVocab:def__init__(self,tokens=None):self.idx_to_token=list()self.token_to_idx=dict()iftokensisnotNone:if""notintokens:tokens=tokens+[""]fo
Nlper_Zhao·2023-10-09 01:07

自动训练Embedding词向量和手动训练Embedding词向量

手动训练自己的词向量gensim工具包-训练自己的Word2Vec产生word_vector.bin文件然后调用：embedding=nn.Embedding.from_pretrained(word_vector.bin
Hi洛一·2023-10-09 01:35

计算机竞赛 题目：基于深度学习的中文对话问答机器人

4.2损失函数：4.3搭建seq2seq框架：4.4测试部分：4.5评价NLP测试效果：4.6梯度截断，防止梯度爆炸4.7模型保存5重点和难点5.1函数5.2变量6相关参数7桶机制7.1处理数据集7.2词向量处理
Mr.D学长·2023-10-08 15:16

基于SVM+TensorFlow+Django的酒店评论打分智能推荐系统——机器学习算法应用(含python工程源码)+数据集+模型（二）

目录前言总体设计系统整体结构图系统流程图运行环境模块实现1.数据预处理2.模型训练及保存1）加载词向量表，并设置训练集和测试集2）模型训练并保存3.模型应用1）爬取评论2）酒店打分3）界面设置(1)创建
小胡说人工智能·2023-10-08 13:48

基于SVM+TensorFlow+Django的酒店评论打分智能推荐系统——机器学习算法应用(含python工程源码)+数据集+模型（一）

通过使用Word2Vec生成词向量，该项目实现了一个打分推荐系统，其中服务器端提供数
小胡说人工智能·2023-10-08 13:17

基于深度学习的聊天机器人

项目前期知识准备文章目录基于深度学习的聊天机器人-项目前期知识准备一、TensorFlow框架简介二、NLP基础1.常用的神经网络模型2.词法分析3.贝叶斯和朴素贝叶斯4.隐马尔科夫模型5.语料相关6.语言模型7.词向量
Chiancc·2023-10-07 10:12

自然语言处理N天-AllenNLP学习（完整实例，预测论文发表场合-下篇）

去除停用词，建立词典，加载各种预训练词向量，Sentence->WordID->WordEmbedding的过程(TobiasLee：文本预处理方法
我的昵称违规了·2023-10-06 11:39

用 Pytorch 自己构建一个Transformer

一、说明用pytorch自己构建一个transformer并不是难事，本篇使用pytorch随机生成五千个32位数的词向量做为源语言词表，再生成五千个32位数的词向量做为目标语言词表，让它们模拟翻译过程
无水先生·2023-10-06 11:50

了解下余弦相似度在文本处理中的应用

昨天写了一篇介绍词向量的文章：5分钟搞懂什么是词嵌入，里面说到：通过把文本转换为词向量，就可以十分方便的计算两者之间的关系，看看哪两个单词更为相近。
董董灿是个攻城狮·2023-10-06 04:13

[NLP] Doc2vec原理解析及代码实践

Doc2vec段落向量的训练方法，与训练词向量类似，段落向量的训练分为训练数据预处理和段落向量训练两个步骤。
东皇Amrzs·2023-10-04 03:39

预训练模型论文笔记01

、《Pre-trainedModelsforNaturalLanguageProcessing:ASurvey》1、第一种预训练模型是为了学习更好的wordembedding，例如skip-gram、glove
爱工作的小小酥·2023-10-04 01:26

《自然语言处理：基于预训练模型的方法》第七章 预训练语言模型

预训练语言模型广义上，泛指提前经过大规模数据训练的语言模型，包括早期的以Word2vec、Glove为代表的静态词向量模型
夜空霓虹·2023-10-01 21:32

预训练语言模型（四）：ELMo模型

WordEmbedding到BERTELMo也参考了这个：【NLP-13】ELMo模型（EmbeddingsfromLanguageModels）这里提出的一个新的问题是：Word2Vec通过大规模语料对每个单词训练出固定词向量
Dream_Poem·2023-10-01 21:31

【深度学习】实验18 自然语言处理

文章目录自然语言处理分词技术1.正向最大匹配算法2.HanLP常用方法3.Jieba常用方法构建词向量1.基于sklearn构建One-hot词向量2.基于gensim构建word2vec词向量附：系列文章自然语言处理自然语言处理
Want595·2023-09-30 16:36

glove-论文阅读

glove全称是GlobalVectorsforWordRepresentation，它是基于全局词频统计的词表征工具，他可以将一个单词表示为一个向量，这些向量捕捉到了单词之间的语义特征。
Pluto_wl·2023-09-29 01:11

人工智能AI 全栈体系（八）

七、词向量8.遗留问题如何获得C(w)也是神经网络语言模型与普通全连接神经网络不一样的地方。开始训练时C(w)
柠檬小帽·2023-09-29 00:43

2018年10月24日

看完球补觉所以写的简略点……白天主要是想看看词向量相关的文档充充电，给以后的文本挖掘工作做点准备。也希望这次自学到的东西能比研究生划水时学的内容深入一点。
真昼之月·2023-09-28 15:25
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他