词向量Word2Vec

word2vec训练优化之Negative Sampling

回顾一下word2vec的训练trick之一：分层softmax。缺点就是：1.对于词袋大小V如果V非常大，即使是构建哈夫曼树，复杂度也会很高，所以提出使用负采样。
#苦行僧·2023-10-29 09:34

word2vec训练词向量如何优化

训练word2vec模型时，可以采用一些方法来优化模型的表现。选择合适的语料库：使用大规模的、高质量的语料库可以提高模型的精度。
凯二七·2023-10-29 09:04

word2vec及其优化

1.算法背景：（1）N-gram：n-1阶的Markov模型，认为一个词出现的概率只与前面n-1个词相关；统计预料中各种词串（实际应用中最多采用n=3的词串长度）的出现次数，并做平滑处理（应对count=0和count=1的情况）。在预测一个句子的概率时，只需要找到相关的概率参数，将他们连乘起来。（2）神经概率语言模型：将单词映射为embedding，输入隐藏层，激活函数用tanh，输出层为一个s
码一码码码·2023-10-29 09:03

Word2vec原理+常见优化手段

官网地址：https://code.google.com/archive/p/word2vec/论文地址：https://arxiv.org/pdf/1301.3781.pdf我觉得原理讲的比较好的：word2vec
薇酱·2023-10-29 09:59

Word2vec And Doc2vec - 文本向量化

word2vec与doc2vec的区别:两者从字面意思上就可以大致判断出区别来，word2vec主要针对与单词，而doc2vec主要针对于文本：顾名思义，Word2Vec是在单个单词上训练的，而Doc2vec
shun-ripking·2023-10-29 09:27

聊一下Word2vec-训练优化篇

Word2vec涉及到两种优化方式，一种是负采样，一种是层序Softmax先谈一下负采样，以跳字模型为例。中心词生成背景词可以由两个相互独立事件的联合组成来近似（引自李沐大神的讲解）。
biuHeartBurn·2023-10-29 09:53

自然语言处理 （NLP） 简介

自然语言处理（NaturalLanguageProcessingNLP）简介本课程是关于NLP101的4部分系列中的第1部分：自然语言处理导论（今天的教程）BagofWords模型简介Word2Vec：
程序媛一枚~·2023-10-29 01:06

word2vec两种优化方式的联系和区别

总结不易，请大力点赞，感谢上一个文章，Word2vec-负采样/霍夫曼之后模型是否等价-绝对干货是字节的面试真题，建议朋友们多看几遍，有问题及时沟通。
biuHeartBurn·2023-10-28 16:57

灵魂20问帮你彻底搞定词向量

文章目录1.灵魂20问帮你彻底搞定词向量2.W2C模型篇--一个词通过Word2vec训练之后，可以得到几个词向量?
biuHeartBurn·2023-10-28 16:57

聊一下Glove

本文大概需要阅读4.75分钟先问大家两个问题，看能不能解答Glove中词向量的表达是使用的中心词向量还是背景词向量还是有其他方法？能不能分别用一句话概括出Glove和Fasttext的核心要点？
biuHeartBurn·2023-10-28 16:26

知识表示学习【知识图谱专栏】

知识表示学习一、知识图谱1、符号定义：2、三元组表示的缺陷：二、知识表示学习1、分布式表示的特点：2、三元组和词向量分布式表示三、知识表示经典模型1、TransE模型2、TransH模型3、TransR
俱往矣...·2023-10-28 04:39

linux 繁体中文转为简体,linux - 安装OpenCC(简体繁体转换)

最近使用中文维基百科数据训练Word2Vec时，发现数据里面包含了很多繁体字，这就很尴尬了。这时候就知道OpenCC的强大了。
猫咪兔兔·2023-10-28 02:38

Transformer 简单理解

文章目录一、Transformer的架构一、编码1.1词向量编码（InputEmbedding）1.2位置编码（PositionalEncoding）二、Mask2.1PADMask2.2上三角Mask
hjxu2016·2023-10-27 22:19

【深度学习&NLP】数据预处理的详细说明（含数据清洗、分词、过滤停用词、实体识别、词性标注、向量化、划分数据集等详细的处理步骤以及一些常用的方法）

数据可能不一致或者不太规范3、文本需要标记和分词4、可能需要词形还原和词干提取(词性标注)5、需要将文本向量化处理三、数据预处理方法介绍及使用样例1、数据清洗2、分词3、停用词过滤4、词性标注5、实体识别6、词向量化一
云日松·2023-10-27 21:03

面试复盘 | 阿里/腾讯/头条/paypal/快手

一面：1h面试讲项目项目中为什么使用lightGBM，比起xgboost的优点是什么因果词向量的应用场景tf多个变量如何共享权重SGDmin-SGD的区别对ep
文文学霸·2023-10-27 01:49

【Gensim概念】03/3 NLP玩转 word2vec

第三部分对象函数八word2vec对象函数该对象本质上包含单词和嵌入之间的映射。训练后，可以直接使用它以各种方式查询这些嵌入。有关示例，请参阅模块级别文档字符串。
无水先生·2023-10-26 23:46

138.深度学习分布式计算框架-1

官方文档中简易介绍了如何使用框架在线性回归识别数字图像分类词向量个性化推荐情感分析语义角色标注机器翻译等方面的应用138.2Deeplearning4jDeepLearning4J（DL4J）是一套基于
大勇任卷舒·2023-10-26 16:06

【Gensim概念】01/3 NLP玩转 word2vec

该模块使用高度优化的C例程、数据流和Pythonic接口来实现word2vec系列算法。word2ve
无水先生·2023-10-26 02:37

AI小百科 - 什么是词向量？

如何表示一个单词的意义？对人来说，一般用解释法，用一段话来解释词的含义。如“太阳”在新华字典中的释义是“太阳系的中心天体。银河系的一颗普通恒星。”然而，这样的解释计算机是听不懂的，必须用更简洁的方式来对词义进行表示。传统上，计算机用一种称为“独热向量“的方式来表示单词。假设词表里一共有100个词，则用100维的向量来表示这些单词。对每个单词，只有一个维度值为1，其余维度都为0，因此称为独热向量。这
LarryHai6·2023-10-26 01:17

词向量构造 - Tf-idf模型

前面我们总结过词袋模型，词袋模型将文本中所有不重复的词看作一个集合，然后对文本中的每句话进行编码。在句子中对于出现的词标记为1，未出现的词标记为0。这样我们就完成了对文本向量的编码，然后就可以调用机器学习模型来对其进行拟合。词袋模型解决了文本编码的问题，但词袋模型本身也存在着巨大的缺点。比如：词袋模型中向量只考虑词的出现频率，不考虑该词的具体含义；词袋模型构造的向量不考虑词出现的先后顺序；词袋模型
taon·2023-10-25 12:41

从零开始的Transformers第二篇:代码解析transformer架构

代码解析transformer架构总体解析输入部分词向量InputEmbedding位置编码编码器自注意力机制掩码多头自注意力机制FeedForwardLayerNorm残差链接EncoderLayer
浅冲一下·2023-10-25 11:57

【自然语言处理】理解词向量、CBOW与Skip-Gram模型

文章目录一、词向量基础知识1.1One-hot表示1.2Distributed表示二、word2vec基础知识2.1CBOW和Skip-gram三、基于HierarchicalSoftmax的CBOW模型和
酒酿小圆子～·2023-10-25 07:45

Attention 机制

谷歌团队2018提出的用于生成词向量的BERT算法在NLP的11项任务中取得了非常出色的效果，堪称2018年深度学习领域最振奋人心的消息。
shadowismine·2023-10-25 04:39

GloVe 词向量

Glove实现image.pngimage.pngimage.pngGlove与LSA、word2vec的比较LSA采用了基于奇异值分解（SVD）的矩阵分解技术对大矩阵进行降维，
dreampai·2023-10-24 15:09

自然语言处理---Transformer机制详解之ELMo模型介绍

EmbeddingsfromLanguageModels.ELMo模型的提出源于论文>.ELMo模型提出的动机源于研究人员认为一个好的预训练语言模型应该能够包含丰富的句法和语义信息,并且能够对多义词进行建模.而传统的词向量
lichunericli·2023-10-23 15:01

4个可以写进简历的京东 NLP 项目实战

项目一、京东健康智能分诊项目第一周：文本处理与特征工程|BagofWords模型|从tf-idf到Word2Vec|SkipGram与CBOW|HierarhicalSoftmax与NegativeSampling
Amusi（CVer）·2023-10-23 13:16

CVer从0入门NLP（一）———词向量与RNN模型

作者简介：秃头小苏，致力于用最通俗的语言描述问题专栏推荐：深度学习网络原理与实战近期目标：写好专栏的每一篇文章支持小苏：点赞、收藏⭐、留言文章目录CVer从0入门NLP（一）———词向量与RNN模型写在前面词向量
秃头小苏·2023-10-23 13:13

NLP：从头开始的文本矢量化方法

在神经NLP中，词向量（也称为词嵌入）占主导地位。可以使用预先训练的向量以及复杂神经网络中学习的向量表示。本文解释并展示了所有提
无水先生·2023-10-23 08:41

机器学习——词向量模型（未开始）

挖坑…要么我来填坑，要么把我填坑反正…闲着也是闲着，那就薅自己头发，虐自己脑袋适度自虐，有助于身心健康，阿弥陀佛…
# JFZero·2023-10-22 18:15

Bag of Tricks for Efficient Text Classification(Fasttext)

Fasttext历史意义:1、提出一种新的文本分类方法-Fasttext，能够快速进行文本分类，效果较好2、提出一种新的使用子词的词向量训练方法，能够在一定程度上解决oov问题3、将Fasttext开源使得工业界和学术界能够快速的使用
BUPT-WT·2023-10-22 14:34

Bag of Tricks for Efficient Text Classification(FastText)

文章目录摘要介绍FastText核心思想模型结构HierarchicalsoftmaxN-gramfeatures实验任务一sentimentanalysis任务二tagprediction总结fasttext词向量优势摘要本文提出了一种简单有效的文本分类和表示学习方法
云淡风轻__·2023-10-22 14:33

Bag of Tricks for Efficient Text Classification

fasttext的结构非常简单，仅仅是word2vec中CBOW模型的一个变形，CBOW是上下文单词的词向量平均去预测中心词，fasttext是整个文档的单词的词向量平均去预测标签。
AI深入浅出·2023-10-22 14:30

Bert理解总结

BERT模型增加了词向量模型泛化能力，充分描述字符级、词级、句子级甚至句间关系特征。模型非常的深，12层，并不宽(wide），中间层只有1024。BERT五个关键：Pre-training、De
Mark_Aussie·2023-10-22 14:48

BERT 理解

作为一个Word2Vec的替代者，其在NLP领域的11个方向
Carlosi·2023-10-22 14:18

自然语言处理---迁移学习

fasttext介绍作为NLP工程领域常用的工具包，fasttext有两大作用：进行文本分类、训练词向量。在保持较高精度的情况下，快速的进行训练和预测是fasttext的最大优势。
lichunericli·2023-10-22 12:18

17 Transformer 的解码器（Decoders）——我要生成一个又一个单词

Transformer编码器编码器在干吗：词向量、图片向量，总而言之，编码器就是让计算机能够更合理地（不确定性的）认识人类世界客观存在的一些东西Transformer解码器解码器会接收编码器生成的词向量
沧海之巅·2023-10-22 10:02

15 Transformer 框架概述

Transformer）通过机器翻译来做解释给一个输入，给出一个输出（输出是输入的翻译的结果）“我是一个学生”--》（通过Transformer）Iamastudent流程1编码器和解码器编码器：把输入变成一个词向量
沧海之巅·2023-10-22 10:01

NLP：从头开始的文本矢量化方法

在神经NLP中，词向量（也称为词嵌入）占主导地位。可以使用预先训练的向量以及复杂神经网络中学习的向量表示。本文解释并展示了所有提
无水先生·2023-10-22 07:37

16 Transformer 的编码器（Encodes）——我在做更优秀的词向量

博客配套视频链接:https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0b站直接看配套github链接：https://github.com/nickchen121/Pre-training-language-model配套博客链接：https://www.cnblogs.com/nickchen121/p/15105048.ht
沧海之巅·2023-10-22 01:05

sklearn文本特征预处理2:Similarity, 聚类, LDA, word2vec

接上一篇五.Similarity特征#余弦相似度fromsklearn.metrics.pairwiseimportcosine_similaritysimilarity_matrix=cosine_similarity(tv_matrix)similarity_df=pd.DataFrame(similarity_matrix)similarity_df六.聚类特征fromsklearn.clu
弎见·2023-10-21 11:44

基于pytorch的文本情感识别（LSTM,CNN）

文章目录前言一、数据处理与Word2vec词向量训练二、创建神经网络的输入batch三、神经网络模型1.LSTM2.CNN四、训练与测试六、实验结果七、完整代码1.LSTM2.CNN前言本文使用pytorch
Die Young?·2023-10-20 23:18

pytorch nn.Embedding 读取gensim训练好的词/字向量（有例子）

1、利用gensim训练字向量（词向量自行修改）#得到每一行的数据[]datas=open('data/word.txt','r',encoding='gbk').read().split("\n")#
酸甜小龙虾·2023-10-20 23:47

Task10 BERT

目录1.Transformer的原理和实现1.1概述1.2Encoder-Decoder框架1.3整体架构1.4EncoderEncoderLayer和残差网络多头注意力机制层归一化1.5词向量前馈网络位置编码
Element简·2023-10-20 19:09

[一起学BERT]（二）：BERT快速使用

快速使用基于pytorch1.4BERT模型本质是一种词嵌入模型，也是句子嵌入模型，输入的最大长度是512BERT模型把离散的单词变成了空间中连续的向量，即把一个单词变成向量Bert词向量模型的好处：对比
笼中小夜莺·2023-10-20 14:00

2021斯坦福CS224N课程笔记~2

2NeuralClassifiers2.1本篇内容覆盖word2vec与词向量回顾算法优化基础计数与共现矩阵GloVe模型词向量评估wordsenses2.2.回顾：word2vec的主要思想2.2.1
mwcxz·2023-10-20 12:54

Stanford CS224N - word2vec

最近在听Stanford放出来的StanfordCS224NNLPwithDeepLearning这门课，弥补一下之前nlp这块基础知识的一些不清楚的地方，顺便巩固一下基础知识关于word2vec：1.
oveZ·2023-10-20 12:46

CS224D 课程学习笔记 L03

Lecture3.MoreWordVectorsLecture3这节课首先复习了上节课学到的word2vec模型，以及使用梯度下降和SGD优化参数，然后介绍了词向量的内部评测和外部评测，参数对于类比评测任务的影响
蜡笔大龙猫·2023-10-19 00:23

NLP学习------HanLP使用实验

学习内容在之前的实验中得到了不在词向量里的词与分词结果，结果有500多个词不在词向量里，解决方案就是重新分词，或再追加训练这些词到词向量里。但后者相对麻烦且目前样本量不大。
gladosAI·2023-10-18 12:03

词向量源码解析：（4.6）hyperwords源码解析之evaluation

similarity任务比analogy出现的时间早，是人们能想到的衡量词向量性质的最直接的方式。
Sailing_ZhaoZhe·2023-10-18 10:38

Python内置函数系统学习（2）——数据转换与计算 (详细语法参考+参数说明+应用场景示例), max()在列表、元组、字典中的综合应用 | 编程实现当前内存使用情况的监控

】基于知识图谱的电影问答系统（含问题记录与解决）附：源代码（含Bug解决）【Neo4j×知识图谱】图形化数据库基本操作:创建节点与关系、添加属性、查询节点|附：可视化构建四大名著知识图谱（含源代码）|word2vec
追光者♂·2023-10-18 06:04
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他