gram

NLP (二): word2vec

continuousbag-of-words)CBOW模型的推理最大化对数似然CBOW模型的学习word2vec的权重和分布式表示学习数据的准备CBOW模型的实现skip-gramskip-gramskip-gram
连理o·2022-11-10 10:38

python深度学习进阶（自然语言处理）—word2vec

word2vec有skip-gram和CBOW模型。CBOW模型从多个单词（上下文）预测1个单词（目标词）。skip-gram模型反过来从1个单词（目标词）预测多个单词（上下文）。
诗雨时·2022-11-10 10:37

【DL学习笔记10】《深度学习进阶——自然语言处理》——ch03: word2vec

2.简单的word2vecCBOW模型的推理与学习3.学习数据的准备上下文和目标词转化为one-hot表示数据预处理总结4.CBOW模型的实现5.word2vec的补充说明CBOW模型和概率skip-gram
yierrrr·2022-11-10 10:34

《深度学习进阶 自然语言处理》第三章：word2vec

简单的word2vec3.2.1CBOW模型的推理3.2.2CBOW模型的学习3.2.3word2vec的权重和分布式表示3.3word2vec的补充说明3.3.1CBOW模型和概率3.3.2skip-gram
【文言】·2022-11-10 10:00

一篇文章入门循环神经网络RNN

NLP一、循环神经网络1、文本的tokenizationtokenization：分词，分出的每一个词语就是token中英文分词的方法：把句子转化为词语、把句子转化为单个字2、N-gram表示方法句子可以用单个字
一只楚楚猫·2022-11-09 21:47

机器学习笔记七——特征工程之特征处理

类别型特征的处理—特征编码1.1处理少量特征1.2处理大量的类别特征2、文本特征的处理——文本形式转换为向量形式2.1词集模型2.2词袋（Bag-of-Words,Bow)模型2.3Bag-of-N-gram-Feature
珞沫·2022-11-08 17:17

20221107学习word2vec

，也就是词向量】可以通过多种方法进行模型的训练【pytorch、tensorflow、python的gensim库等】作用：可以查找某个词语的词向量、可以对比两个词语或者两句话的相似度原理：skip-gram
一条咸鱼在网游·2022-11-08 11:05

word2vec

无法得出彼此之间的相似性，无法得出词与词之间的语义信息2维度灾难2词的分布相似表示核心思想：“你应该通过一个单词的同伴知道它的意思”分布相似性是一种关于词汇语义的理论word2vecCBOW模型和Skip-gram
A52091·2022-11-08 10:14

《深度学习进阶 自然语言处理》学习笔记（1）

目录前言第一章神经网络的复习第二章自然语言和单词的分布式表示预处理背景基于计数的方法共现矩阵（co-occurencematrix）基于计数的方法的改进点互信息降维PTB数据集第三章word2vec基于推理的方法的概要CBOW模型skip-gram
Lewis_Sean·2022-11-08 09:35

11.1面试相关

首先数据预处理主要是对文本进行分词和去停用词；特征工程提取了文本的tf-idf特征，word2vec词向量，n-gram特征等选择了xgboost多标签分类模型调参部分选择了网格搜索和贝叶斯优化搜索算法
石头猿rock·2022-11-04 09:21

MySQL全文索引like模糊匹配查询慢解决方法

目录需求全文索引介绍全文索引使用中文分词与全文索引什么是N-gram？这个上面这个N是怎么去配置的？
·2022-11-02 16:16

【2022秋招面经】——NLP

文章目录Word2Vec基本原理1.CBOW(ContinuousBag-of-Words)连续词袋模型2.skip-gram跳字模型3.Hierachicalsoftmax（层级softmax）4.negativesampling
ywm_up·2022-11-02 15:59

word2vec

文章目录1.word2vec简述2.Skip-gram算法2.1Skip-gram介绍2.2Skip-gram步骤2.3参数更新3.CBOW算法4.两者对比5.算法改进5.1二次采样5.2负采样5.2.1
Suppose-dilemma·2022-10-30 17:32

自然语言生成之n-gram

自然语言生成之n-gramn-gram简介n-gram是指的一段文本中n个连续词组成的片段。
Adenialzz·2022-10-28 05:03

NLP-文本表示-词向量

NLP-文本表示-词向量一、词嵌入概述二、词嵌入模型1、模型的输入输出2、词嵌入矩阵建立3、模型数据集的构建1）简单方式-NNLM2）word2vec:CBOW3）word2vec:skip-gram4
大虾飞哥哥·2022-10-27 07:29

一文弄懂Word2Vec之skip-gram（含详细代码）

目录前言一、什么是Skip-gram算法二、目标是什么三、定义表示法3.1one-hot向量3.2词向量（wordvector）3.3单词矩阵3.4单词相似度3.5softmax函数3.6算法过程3.7
Dr.sky_·2022-10-23 09:01

Word2Vec源码解读（Pytorch版本）

模型结构图模型实现Skip-gram模型#codebyTaeHwanJung@graykodemodifiedby前行followimportnumpyasnpimporttorchimporttorch.nnasnnimporttorch.optimasoptimimportmatplotlib.pyplotaspltdefrandom_batch
前行follow·2022-10-21 20:07

Word2Vec(Skip-Gram和CBOW) - PyTorch

动手学深度学习笔记一、词嵌入(Word2vec)1.Skip-Gram2.CBOW模型二、负采样和分层softmax1.负采样2.分层Softmax三、用于预训练词嵌入的数据集1.下采样2.中心词和上下文词的提取
葫芦娃啊啊啊啊·2022-10-21 20:06

基于pytorch实现Word2Vec（skip-gram+Negative Sampling）

word2vec工具主要包含两个模型：跳字模型（skip-gram）和连续词模型（continuousbagofwords，简称CBOW），以及两种高效训练的方法：负采样（negativesampling
乌云tail·2022-10-21 20:03

英文词向量：使用pytorch实现CBOW

1my30wyqOk_WJD0jjM7u4TQ提取码：xxe0--来自百度网盘超级会员V1的分享中文都讲完了，英文没有什么好说的，相关的理论知识可以看之前的博客中文词向量：word2vec之skip-gram
Richard_Kim·2022-10-21 20:29

中文词向量：使用pytorch实现CBOW

之前已经使用numpy手动实现skip-gram,现在使用pytorch框架实现CBOW这是pytorch官网的CBOW案例的修改，简单明了，没有涉及底层
Richard_Kim·2022-10-21 20:59

自然语言处理 | (11) N-gram语言模型及其应用

目录1.前言2.什么是N-Gram模型3.利用N-Gram模型评估语句是否合理4.N-Gram模型评估语句合理性的例子5.N-Gram中N的选择及其对性能的影响6.N-Gram语言模型的其他应用7.使用
CoreJT·2022-10-13 10:10

NLP自然语言处理与神经网络——01.embedding实现（理论+实践）

在传统的机器学习中，用N-gram往往会取得很好的效果，但是在深度学习
头发没了还会再长·2022-10-04 07:40

基于改进胶囊网络的文本分类-论文研读

基于改进胶囊网络的文本分类0引言1相关工作1.1从标量到向量的转化1.2Squash压缩激活函数1.3动态路由2改进胶囊网络模型2.1N-gram卷积层2.2主胶囊层2.3卷积层2.4卷积胶囊层2.5全连接胶囊层
椒椒。·2022-10-01 07:22

【语音识别】自动语音识别（ASR）研究综述

研究综述零、参考资料1、参考文档2、参考论文3、参考代码一、语音识别基础知识1、特征提取（MFCC声学特征）2、声学模型（建立关于语音特征和音素的映射关系（条件概率），语音识别中最重要部分）3、语言模型（n-gram
王小希ww·2022-09-29 07:53

NLP技术基石：从N-gram统计语言模型到BERT预训练模型演变史概述

每天给你送来NLP技术干货！来自：老刘说NLP作者：刘焕勇统计语言模型语言模型(LanguageModel)，是当前非规则自然语言处理的根基，也是自然语言处理学科的精髓所在简单来说，语言模型简就是一串词序列的概率分布，语言模型的作用是为一个长度为m的文本确定一个概率分布P，表示这段文本存在的可能性。即，P(wi|w1,w2,...,wi−1)。不过，显而易见的是，我们在实际工作中会经常碰到文本长度
zenRRan·2022-09-27 16:45

自然语言处理（5）——语言模型

NLP学习笔记（5）——语言模型1.基本概念1.1概念导入1.2划分等价类的方法——n元文法模型（n-gram）1.3概率计算1.4语言模型的应用1.4.1音字转换问题1.4.2汉语分词问题2.参数估计
胖虎干嘛了·2022-09-25 07:31

自然语言处理——序列模型

HMM隐马尔可夫模型马尔可夫性是指当前状态t只和前一状态t-1相关(一阶)，和之前t-2之前的就不相关，这个也算是n-gram语言模型吧，都是为了控制模型复杂度（一方面模型过于复杂，数据集不够会导致模型达不到收敛
leeber_94·2022-09-25 07:27

AI实践者需要掌握的10大深度学习方法

QQ人工智能行业交流群：626784247.01本文总结了10个强大的深度学习方法，包括反向传播、随机梯度下降、学习率衰减、Dropout、最大池化、批量归一化、长短时记忆、Skip-gram、连续词袋
52AI人工智能·2022-09-22 12:36

神经网络：AI 实践者需要掌握的10大深度学习方法：反向传播、迁移学习、梯度下降……

【嵌牛导读】：本文总结了10个强大的深度学习方法，包括反向传播、随机梯度下降、学习率衰减、Dropout、最大池化、批量归一化、长短时记忆、Skip-gram、连续词袋、迁移学习等，这是AI工程师可以应用于他们的机器学习问题的
Robin Long 2018·2022-09-22 12:34

Keras深度学习实战（25）——使用skip-gram和CBOW模型构建单词向量

Keras深度学习实战（25）——使用skip-gram和CBOW模型构建单词向量0.前言1.skip-gram和CBOW模型1.1CBOW模型基本原理1.2skip-gram模型基本原理2.构建单词向量
盼小辉丶·2022-09-19 07:59

Brainteaser, since 2020-05-31

2020.05.31Sun)1Got10bagswithinfinitecoinsineachbag.Onebagwithforgeries,butyoucan'tremember.Normalcoinweighs1gram
Mc杰夫·2022-09-15 14:29

36、ARF Artistic Radiance Fields

常用的基于Gram矩阵的损失往往会产生模糊的结果，而没有忠实的笔触，论文引入了一种基于最近邻居的损失，这在捕捉风格细节时非常有效，同时保持多视图的一致性论文
C--G·2022-09-06 07:26

基于预训练模型 ERNIE-Gram 实现语义匹配-数据预处理

本案例介绍NLP最基本的任务类型之一：文本语义匹配，并且基于PaddleNLP使用百度开源的预训练模型ERNIE-Gram搭建效果优异的语义匹配模型，来判断2段文本语义是否相同。
lovealgorithm.·2022-09-02 07:34

基于预训练模型 ERNIE-Gram 实现语义匹配-模型搭建

本章继续分析该案例的模型搭建部分自从2018年10月以来，NLP个领域的任务都通过Pretrain+Finetune的模式相比传统DNN方法在效果上取得了显著的提升，本节我们以百度开源的预训练模型ERNIE-Gram
lovealgorithm.·2022-09-02 07:34

天池-新闻文本分类-task2 fasttext

FastText：快速的文本分类器文章目录一、word2vec1.1word2vec为什么不用现成的DNN模型1.2word2vec两种模型：CBOW和Skip-gram1.2word2vec两种优化解法
神洛华·2022-09-02 07:58

自然语言处理相关问题总结

自然语言处理相关问题总结基础算法结巴分词的原理Word2vec的两种训练目标是什么其中skip-gram训练的lossfunction是什么NER相关命名实体识别评价指标是什么？
城阙·2022-09-02 07:21

学习笔记【机器翻译评测指标】

机器翻译评测指标1.BLEU基于n-gram的精度度量。
hei_hei_hei_·2022-08-28 07:10

7.pytorch自然语言处理-循环神经网络与分词

一、基础知识1、tokenization分词分词，分出的每一个词语叫做token*清华大学API：THULAC；或者直接用jieba可以切分为词语，或者完全分成一个一个字2、N-gram表示把连续的N个词语作为特征
还我的鸭脖！·2022-08-21 07:41

【自然语言处理与文本分析】中文分词的基本原理，如何进行词性标注 使用HMM算法提高准确率

中文分词分词的难点法则式分词统计式分词词性标注：词性标注简介词性标注的难点词性的种类及意义保留某些词性的词分词：N-Gramvs.中文分词分词的难点法则式分词统计式分词词性标注：词性标注简介词性标注的难点词性的种类及意义保留某些词性的词N-Gram
晴天qt01·2022-07-22 07:20

【自然语言处理与文本分析】word2Vec（有监督神经网络模型）的两个子模型skip-gram和CBOW模型。

Word2vec前提首先说明一下神经网络的运作规则。最左边是输入字段（3个神经元），中间weights是权重隐藏层，bias是偏权值，中间是累加这里面是乘积。Z=4是神经元乘以权重，加上bias得到，然后经过激活函数（activationfunction）加工，左边部分是函数处理把这些部分作为基础单元，进行练习就会得到下面的神经网络神经元会结合到另一个神经元，连接的关系就是激活函数。XOR问线性不
晴天qt01·2022-07-22 07:20

Word2vec词向量本质

1.2Skip-gram和CBOW模型1.2.1Skip-gram和CBOW模型的简单情形1.2.2Skip-gram更一般的情形1.2.3CBOW更一般的情形1.3Word2vec训练trick1.4
莫杨94·2022-07-21 07:01

NLP基础入门：Word2Vec模型

文章目录0、结构1、语言模型基础1.1、概念1.2、缺陷1.3、K-Gram语言模型1.4、评价指标：困惑度2、NNLM与RNNLM模型2.1、NNLM2.1.1、结构2.1.2、损失函数2.1.3、存在问题
工程晓猿·2022-07-21 07:38

word2vec简单总结

目录一、Skip-Gram二、CBOW三、Gensim实现一、Skip-GramSkip-Gram模型假设中心词可以用来生成上下文词。
aelum·2022-07-21 07:05

利用机器学习进行恶意代码分类

此次比赛冠军采用三个黄金特征：恶意代码图像，OpCoden-gram,Headers个数并且使用xgboost和pypy加快训练速度转载当年乌云的一篇文章留底最近在Kaggle上微软发起了一个恶意代码分类的比赛
西杭·2022-07-14 21:29

自然语言处理理论和应用

自然语言处理理论和应用自然语言处理介绍什么是自然语言什么是自然语言处理（NLP）什么是自然语言理解（NLU）自然语言处理任务与方法预备知识语言模型什么是语言模型常见的语言模型N-Gram语言模型（n元模型
C君莫笑·2022-07-11 07:32

深度学习机器学习面试题——自然语言处理NLP,transformer,BERT,RNN,LSTM

cbow与skip-gram的区别和优缺点Bert的MLM预训练任务mask的目的是什么CRF原理Bert采用哪种Normalization结构，LayerNorm和BatchNorm区别，
冰露可乐·2022-07-08 07:33

NLP基础知识点：BLEU（及Python代码实现）

根据n-gram可以划分成多种评价指标，常见的指标有BLEU-1、BLEU-2、BLEU-3、BLEU-4四种，其中n-gram指的是连续的单词个数为n。
梆子井欢喜坨·2022-07-07 07:41

详解机器翻译任务中的BLEU

目录一、nnn元语法（N-Gram）二、BLEU（BilingualEvaluationUnderstudy）2.1BLEU定义2.2BLEU的探讨2.3BLEU的简单实现References一、nnn
aelum·2022-07-07 07:29

Deep Neural Networks for Learning Graph Representations——paper 笔记

展示两种word向量表示方法：1，负采样的skip-gram和基于PPMI矩阵的矩阵分解。矩阵分解，利用词和词的共现矩阵来产生词向量表示，主要缺点是一些没有语义价值的如
wang2008start·2022-07-06 07:26
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他