n-gram

学习笔记-简单概念记录

语言模型：衡量一句话是句子的概率假设有句子,根据语言模型计算s的概率为通常还使用n-gram语言模型计算句子概率1-gram语言模型(uni-grammodel):2-gram语言模型(bi-grammodel
Pluto_wl·2023-11-01 07:54

【笔记3-6】CS224N课程笔记 - RNN和语言模型

CS224N（六）RecurrentNeuralNetworksandLanguageModels语言模型语言模型介绍n-gram基于窗口的神经语言模型RNNRNNLossandPerplexityRNN
jessie_weiqing·2023-10-31 23:47

word2vec及其优化

1.算法背景：（1）N-gram：n-1阶的Markov模型，认为一个词出现的概率只与前面n-1个词相关；统计预料中各种词串（实际应用中最多采用n=3的词串长度）的出现次数，并做平滑处理（应对count
码一码码码·2023-10-29 09:03

大语言模型(LLM)综述(二)：开发大语言模型的公开可用资源

RESOURCESOFLLMS3.1公开可用的模型CheckPoints或API3.2常用语料库3.3库资源前言随着人工智能和机器学习领域的迅速发展，语言模型已经从简单的词袋模型（Bag-of-Words）和N-gram
青云遮夜雨·2023-10-27 20:33

大语言模型(LLM)综述(一)：大语言模型介绍

1.INTRODUCTION2.OVERVIEW2.1大语言模型的背景2.2GPT系列模型的技术演变前言随着人工智能和机器学习领域的迅速发展，语言模型已经从简单的词袋模型（Bag-of-Words）和N-gram
青云遮夜雨·2023-10-27 20:02

利用传统方法（N-gram，HMM等）、神经网络方法（CNN，LSTM等）和预训练方法（Bert等）的中文分词任务实现

自然语言处理中文分词利用传统方法（N-gram，HMM等）、神经网络方法（CNN，LSTM等）和预训练方法（Bert等）的中文分词任务实现【Thewordsegmentationtaskisrealizedbyusingtraditionalmethods
JackHCC·2023-10-25 09:46

4个可以写进简历的京东 NLP 项目实战

：文本处理与特征工程|BagofWords模型|从tf-idf到Word2Vec|SkipGram与CBOW|HierarhicalSoftmax与NegativeSampling|FastText|N-gram
Amusi（CVer）·2023-10-23 13:16

NLP：从头开始的文本矢量化方法

这种表示通常称为向量，它可以应用于文本的任何合理单位：单个标记、n-gram、句子、段落，甚至整个文档。在整个语料库的统计NLP中，应用了不同的向量化技术，例如one-hot、计数或频率编码。
无水先生·2023-10-23 08:41

Bag of Tricks for Efficient Text Classification(FastText)阅读笔记

HierarchicalsoftmaxN-gramfeatures实验任务1Sentimentanalysis任务2Tagprediction总结FastTextfastText的核心思想：将整篇文档的词及n-gram
Leokb24·2023-10-22 14:00

NLP：从头开始的文本矢量化方法

这种表示通常称为向量，它可以应用于文本的任何合理单位：单个标记、n-gram、句子、段落，甚至整个文档。在整个语料库的统计NLP中，应用了不同的向量化技术，例如one-hot、计数或频率编码。
无水先生·2023-10-22 07:37

n-gram语言模型

一、StatisticalLanguageModel在自然语言处理中的一个基本问题：如何计算一段文本序列在某种语言下出现的概率？之所为称其为一个基本问题，是因为它在很多NLP任务中都扮演着重要的角色。例如，"我经常会去图书馆____"，预测该句后面的词。我们会通过已有的语料或上下文，来统计预测这句话可以填某个词的概率。将概率最大的作为预测结果返回。再比如机器翻译中，‘IlikeTomsomuch.
布口袋_天晴了·2023-10-20 02:44

pytorch_神经网络构建4

文章目录循环神经网络LSTM词嵌入skip-Gram模型N-Gram模型词性预测RNN循环神经网络的基础模块实现RNN识别图片RNN时间序列预测词向量模块词向量运用N-Gram模型lstm词性预测循环神经网络这个网络主要用来处理序列信息
lidashent·2023-10-17 08:21

在 Elasticsearch 中实现自动完成功能 2：n-gram

但在此之前，让我们先看看什么是n-gram。根据维基百科-n-gram是给定文本或语音序列中n个项目的连续序列有关n-gram的更多详细的介绍，请参阅之前的文章“Elasticsearch:Ngra
Elastic 中国社区官方博客·2023-10-14 21:12

NLP 学习3

N-gram加入相邻单词组合成新的单词，加
Cxgoal·2023-10-11 23:34

经典循环神经网络(一)RNN及其在歌词数据集上的应用

在语言模型方向，n-gram是当时最为流行的语言模型方法。n-gram的问题是其捕捉句子中长期依赖的能力非常有限。另外n-gram算法过于简单，其是否有能力取得令人信服的效果的确要打一个大的问号。
undo_try·2023-10-03 13:36

使用Gensim库对文本进行词袋、TF-IDF和n-gram方法向量化处理

Gensim库简介机器学习算法需要使用向量化后的数据进行预测，对于文本数据来说，因为算法执行的是关于矩形的数学运算，这意味着我们必须将字符串转换为向量。从数学的角度看，向量是具有大小和方向的几何对象，不需过多地关注概念，只需将向量化看作一种将单词映射到数学空间的方法，同时保留其本身蕴含的信息。Gensim是世界上最大的NLP/信息检索Python库之一，兼具内存高效性和可扩展性。Gensim的可扩
今天喝奶茶了嗎·2023-09-28 13:11

在 Python 中从文本创建 N-Grams

文章目录使用for循环在Python中从文本创建n-gram使用NLTK在Python中创建n-gram在计算语言学中，n-gram对于语言处理、上下文和语义分析非常重要。
迹忆客·2023-09-28 13:07

Unigram,Bigram，N-gram介绍

Unigram,Bigram，N-gram介绍Unigram,Bigram，N-gram这三个概念，在学习自然语言的过程中大家可能会遇到。
Mr Gao·2023-09-28 11:16

【自然语言处理基础技能（NLP)】语言模型基础

2.1从假设性独立到联合概率链规则2.2从联合概率链规则到n-gram语言模型2.3怎样选择依赖词的个数"n"？
皮卡丘的忧伤·2023-09-28 04:02

从统计语言模型到预训练语言模型---神经网络语言模型

随着神经网络的发展，神经语言模型（NeuralNetworkLanguageModels，NNLM）展现出了比统计语言模型更强的学习能力，克服了N-gram语言模型的维度灾难，并且大大提升了传统语言模型的性能
hanscalZheng·2023-09-23 22:16

nlp面试题大全

词袋模型与N-gram  最基本的文本表示模型是词袋模型(BagofWords)。基本思想是把每篇文章看成一袋子词，并忽略每个词出现的顺序。具体来看：将整段文本表示成一个长向量，每一维代表一个单词。
Viterbi·2023-09-20 08:44

NLP任务评价指标(BLEU，METOR，ROUGH，CIDEr)

首先根据n-gram划分一个
Yuezero_·2023-09-19 22:54

大语言模型学习引言

Task01引言目录1.1什么是语言模型1.2语言模型进化史信息论、熵N-gram语言模型Word2VecELMoTransformerBert1.3大语言模型1.1什么是语言模型说到大模型，首先介绍语言模型
Runjavago·2023-09-19 17:35

动手学中文分词视频教程

mp4课时4NLP概述.mp4课时5中文分词简介.mp4课时6中文分词算法简介.mp4课时7正向最大匹配算法讲解.mp4课时8逆向最大匹配算法讲解.mp4课时9双向最大匹配算法讲解.mp4课时10基于N-gram
globals_11de·2023-09-19 00:22

文本分类总结

一、TextCNN→TextRNN→TextBiRNN→TextRCNN→Text-ATT-BI-RNN→HAN1.TextCNN特点：CNN的kernel_size类似N-gram中的N。
许志辉Albert·2023-09-09 02:02

自编码模型与自回归模型记录

自回归模型处理自然语言时，通常会从左到右的计算前后词汇间的概率，如n-gram，此时只考虑了前文词汇的影响，如果从右到左的增加后文词汇的影响时，则称为自回归模型，如使用单向transformer的GPT
Mark_Aussie·2023-09-08 05:09

NLP（1）--NLP基础与自注意力机制

目录一、词向量1、概述2、向量表示二、词向量离散表示1、one-hot2、Bagofwords3、TF-IDF表示4、Bi-gram和N-gram三、词向量分布式表示1、Skip-Gram表示2、CBOW
Struart_R·2023-09-05 00:25

ChatGPT和大型语言模型(LLM)是什么关系？

LargeLanguageModel，从量变到质变https://zhuanlan.zhihu.com/p/32829048#自然语言处理中N-Gram模型介
祈心无尘·2023-08-30 08:28

评价指标BLUE了解

BLEU指标根据生成的句子与人工参考句子之间的词、短语和n-gram匹配来计算模型的性能。BLEU指标通常在0和1之间取值，其中1表示完美匹配。BLEU指标计算方法如下：1.
leap_ruo·2023-08-26 20:45

NLP（三十）利用ALBERT和机器学习来做文本分类

在文本分类中，有两个大的思路，一个是机器学习，主要是利用n-gram等特征将文本转化为特征向量，这种方法便于
山阴少年·2023-08-24 23:38

CNN

窗口大小其实就是识别n-gram信息。池化层一般都是对每个Filter向量取Max值。这个特征跟出现位置无关，不论出现在哪里，都取最强那个。有多少个Filter就
dreampai·2023-08-21 02:25

论文《Logram:使用n-Gram词典的高效日志解析》翻译

论文《Logram：EfficientLogParsingUsingn-GramDictionaries》翻译Logram：EfficientLogParsingUsingn-GramDictionaries翻译
Programmer Monkey·2023-08-20 17:42

Day 4 语言模型

语言模型一段语言模型可以看成一个离散时间序列N-gram假设序列,,...中的每个词是依次生成的，我们有Formula==n元语法序列长度增加，计算和存储多个词共同出现的概率的复杂度会呈指数级增加。
Crystality·2023-08-18 13:29

经典的语言模型：N-gram

语言模型一个语言模型通常构建为字符串的S的概率分布P(s)。比如，每个人100句话中平均大约有一句“你好”，那么“你好”这句话的概率大致为，像“野猪会做饭烧菜”，基本没人会说，则可以认为其概率为0。语言模型中的句子和语法无关，只和出现的可能性相关。假设构成一个句子。其概率计算公式可以表示为：,随着句子的增长，计算难度是呈指数型增长的。一个比较实际的做法是只考虑当前词只和前n个词相关，其余无关。这种
一心一意弄算法·2023-08-14 03:51

perplexity 衡量指标_求通俗解释NLP里的perplexity是什么？

润风：困惑度(perplexity)的基本概念及多种模型下的计算(N-gram,主题模型,神经网络)zhuanl
weixin_39805998·2023-08-13 22:55

一文详解自然语言处理两大任务与代码实战：NLU与NLG

目录1.自然语言处理定义NLP的定义和重要性NLP的主要挑战2.基础模型语言模型统计语言模型n-gram模型连续词袋模型3.基础概念词向量Word2VecSkip-GramGloVeFastText1.
TechLead KrisChang·2023-08-11 19:16

学习笔记-n-gram中的平滑方法

在n-gram语言模型中，一些词语的组合没有在语料中出现过，所以其统计概率会为0，但是这是不合理的。所以需要使用平滑方式调整概率值。
Pluto_wl·2023-08-06 20:15

NLP - ngram - N元语言模型 python 实现

NLP-ngram-N元语言模型python实现一、说明N-GramN元语言模型：N-Gram（有时也称为N元模型）是自然语言处理中一个非常重要的概念，通常在NLP中，人们基于一定的语料库，可以利用N-Gram
草青工作室·2023-08-05 11:52

深入NLTK：Python自然语言处理库高级教程

在前面的初级和中级教程中，我们了解了NLTK库中的基本和进阶功能，如词干提取、词形还原、n-gram模型和词云的绘制等。
青春不朽512·2023-08-05 10:10

掌握NLTK：Python自然语言处理库中级教程

在本篇中级教程中，我们将进一步探索NLTK的更多功能，包括词干提取、词形还原、n-gram模型以及词云的绘制。一、词干提取词干提取是一种将词语简化为其基本形式或词干的过程。
青春不朽512·2023-08-05 07:48

AI大语音（十）——N-gram语言模型（深度解析）

本文来自公众号“AI大道理”。这里既有AI，又有生活大道理，无数渺小的思考填满了一生。上一专题搭建了一套GMM-HMM系统，来识别连续0123456789的英文语音。但若不是仅针对数字，而是所有普通词汇，可能达到十几万个词，解码过程将非常复杂，识别结果组合太多，识别结果不会理想。因此只有声学模型是完全不够的，需要引入语言模型来约束识别结果。让“今天天气很好”的概率高于“今天天汽很好”的概率，得到声
AI大道理·2023-07-29 01:57

【NLP入门教程】十五、FastText保姆教程

1.FastText简介FastText是一种基于词袋模型和n-gram特征的文本分类算法。相比于传统的词袋模型，Fas
晨星同行·2023-07-28 19:37

N-Gram+最短路径分词

仅仅是演示了一个从训练模型到应用的完整过程简介关于这种分词方法，网上的相关文章已经是相当相当少了，最出名的就是NLPIR分词中采用了这种方法（貌似最早也是这个分词工具的作者提出的）相关文章自然语言处理中的N-Gram
matrices·2023-07-28 08:42

BERT预训练模型

bert之前的语言模型n-gram语言模型：根据前面n个词预测当前词，它的缺点是，一般只能取1-2，n越大计算成本越高，这就使得它关注的信息是非常局限的。
不会念经的木鱼仔·2023-07-28 00:59

BLUE 评价指标

根据n-gram可以划分为多个评价指标。常见的有BLUE-1、BLUE-2、BLUE-3、BLUE-4四种，其中的数字表示连续单词的个数。
孤舟独钓寒江雪·2023-07-22 10:11

NLP | 生成任务指标: BLEU, ROUGE

文章目录1、BLEU：2、ROUGE：1、BLEU：BLEU思想（越大越好）：比较候选译文和参考译文里的n-gram的重合程度，重合程度越高就认为译文质量越高。
#苦行僧·2023-07-19 23:47

[nlp] 自动文摘评测 Rouge-1、Rouge-2、Rouge-L、Rouge-S

ROUGE-N：系统摘要和参考摘要之间的n-gram[2]重叠。
心心喵·2023-07-19 21:09

人工智能自然语言处理：N-gram和TF-IDF模型详解

人工智能自然语言处理：N-gram和TF-IDF模型详解1.N-gram模型N-Gram是一种基于统计语言模型的算法。
汀、人工智能·2023-07-16 22:43

循环神经网络和自然语言处理介绍||文本情感分类|| 循环神经网络||循环神经网络实现文本情感分类||Pytorch中的序列化容器

循环神经网络和自然语言处理介绍目标知道token和tokenization知道N-gram的概念和作用知道文本向量化表示的方法1.文本的tokenization1.1概念和工具的介绍tokenization
Jason_Honey2·2023-07-16 19:49

2020-3-5 深度学习笔记12 - 深度学习应用 4（其他应用-推荐系统 / 知识表示、推理和回答）

大规模深度学习）2020-3-1深度学习笔记12-深度学习应用2（计算机视觉，语音识别）2020-3-2深度学习笔记12-深度学习应用3（自然语言处理NLP-n-gram/神经语言模型NNLM/高维输出/结合n-gram
没人不认识我·2023-07-16 12:31
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他