n-gram

《动手学》：语言模型_课后作业

语言模型一段自然语言文本可以看作是一个离散时间序列，给定一个长度为T的词的序列w1,w2,…,wT，语言模型的目标就是评估该序列是否合理，即计算该序列的概率：P(w1,w2,…,wT).本节我们介绍基于统计的语言模型，主要是n元语法（n-gram
木头杨_88f8·2023-11-24 10:54

深入NLTK：Python自然语言处理库高级教程

在前面的初级和中级教程中，我们了解了NLTK库中的基本和进阶功能，如词干提取、词形还原、n-gram模型和词云的绘制等。
Python老猿·2023-11-24 04:50

自然语言处理常用方法和评价指标

语言模型：预测下一个词或字的模型，如基于n-gram的模型、循环神经网络（RNN
jieHeEternity·2023-11-23 19:41

文本分析：NLP 魔法！

我将在本博客中介绍BagOfWords和n-gram以及朴素贝叶斯分类模型。这个博客的独特之处（这使得它很长！）是我已经展示了如何根据我们手中的数据集为我们选择正确的模型。那么，让我们开始吧。
无水先生·2023-11-22 09:15

仿京东淘宝搜索框实战

imageimageimage搜索框功能主要有3部分组成：智能补全关联数量拼写纠错实现流程ES官方文档建议通过phraseSuggester实行搜索框的自动补全，但这种查询对中文支持不太友好，经常会不做提示；下面我们通过n-gram
易企秀工程师·2023-11-21 08:55

【nlp】1.4 文本特征处理（n-gram特征、文本长度规范：补齐与截断）

文本特征处理1什么是n-gram特征2文本长度规范及其作用文本特征处理的作用:文本特征处理包括为语料添加具有普适性的文本特征，如:n-gram特征，以及对加入特征之后的文本语料进行必要的处理，如:长度规范
lys_828·2023-11-14 10:51

【nlp】1文本预处理总括目录（附各章节链接）

2.2.1one-hot编码2.2.2Word2vec2.2.3WordEmbedding2.3文本语料的数据分析2.3.1标签数量分布2.3.2句子长度分布2.3.3词频统计与关键词词云2.4文本特征处理2.4.1添加n-gram
lys_828·2023-11-13 17:56

01_文本向量表示(one-hot,TF-IDF,Embedding)学习总结(不对的地方欢迎留言指正)

文本表示分为离散表示和分布式表示，离散表示代表有词袋模型，One-hot向量，TF-IDF，n-gram这些都可以看作词袋子模型，分布式表示也叫做词嵌入，经典的模型有word2vec，包括后来的ELMO
竹林风w·2023-11-13 03:52

#最全面# NLP获取词向量的方法（Glove、n-gram、word2vec、fastText、ELMo 对比分析）

文章目录1Glove-基于统计方法1.1实现步骤1.2优点1.3存在的问题2基于语言模型的方法2.1基于n-gram的语言模型2.2基于神经网络的语言模型2.2.1word2vec2.2.2fastText2.2.3ELMo1
energy_百分百·2023-11-13 03:18

ngram模型 java_自然语言处理中的N-Gram模型详解

N-Gram(有时也称为N元模型)是自然语言处理中一个非常重要的概念，通常在NLP中，人们基于一定的语料库，可以利用N-Gram来预计或者评估一个句子是否合理。
Stark Einstein·2023-11-12 22:04

【NLP】N-gram模型及其平滑优化

从chain-rule说起▶语言模型计算词序列出现的概率p(W)=p(w1,w2,w3...wn)p(W)=p(w_1,w_2,w_3...w_n)p(W)=p(w1,w2,w3...wn)给定一个词序列，下一个词出现的概率p(w5｜w4，w3，w2，w1)p(w_5｜w_4，w_3，w_2，w_1)p(w5｜w4，w3，w2，w1)p(W)p(W)p(W)或p(wn∣w1,w2,...,wn−1
samarua·2023-11-12 21:59

自然语言处理——N-gram模型

NLP相关知识理解整理文章目录一、N-gram模型简介二、N-gram模型的问题与思考1.数据稀疏2.思考总结一、N-gram模型简介N-gram模型属于概率语言模型，其要解决的问题其实很简单，那就是从是否符合自然语言的角度评估一个句子的质量
Vii ging·2023-11-12 21:28

n-gram语言模型——句子概率分布计算与平滑

n-gram语言模型——句子概率分布计算与平滑前言语言模型等价假设n元语法句子概率分布计算方式数据平滑Lidstone平滑(1-gram)Laplace平滑(1-gram)附上两种平滑在1-gram下代码
征途黯然.·2023-11-12 21:55

ZEN-基于N-gram的中文Encoder(从论文到源码)

但是中文的最小单位并不是字，中文的语义和N-gram有很大的关系。
lynne233·2023-11-11 18:12

n-gram语言模型——文本生成源码

n-gram语言模型——文本生成源码n-gram模型的基本原理文本生成的步骤1.准备和分词2.构建n-gram模型3.平滑技术的应用4.生成文本源码  在自然语言处理的领域中，n-gram语言模型是一种基础而强大的工具
征途黯然.·2023-11-11 18:35

主题模型LDA教程：n-gram N元模型和nltk应用

文章目录N-Gram模型原理概率估计nltk使用n-gramN-Gram模型N-Gram（N元模型）是自然语言处理中一个非常重要的概念。N-gram模型也是一种语言模型，是一种生成式模型。
Cachel wood·2023-11-11 15:16

大语言模型(LLM)综述(七)：大语言模型设计应用与未来方向

8.2结果与分析9APPLICATIONS10CONCLUSIONANDFUTUREDIRECTIONS前言随着人工智能和机器学习领域的迅速发展，语言模型已经从简单的词袋模型（Bag-of-Words）和N-gram
青云遮夜雨·2023-11-09 14:08

NLP任务常见评价指标

首先根据n-gram划分一个短语包含单词的数
NLP_victor·2023-11-07 06:04

深度学习-Embedding(词嵌入)

文本向量化是指将原始文本转化为数值张量的过程，有多种实现方式：1.将文本分割为单词，并将每个单词转化为一个向量2.将文本分割为字符，并将每个字符转化为一个向量3.提取单词或字符的n-gram(多个连续的单词或字符
夏都美少年·2023-11-05 06:26

深度学习【NLP介绍、文本情感分类案例】

`N-gram`表示方法3.向量化3.1one-hot编码3.2wordembedding3.3wordembeddingAPI3.4数据的形状变化二文本情感分类1.案例介绍2.思路分析3.准备数据集3.1
OneTenTwo76·2023-11-03 07:02

学习笔记-简单概念记录

语言模型：衡量一句话是句子的概率假设有句子,根据语言模型计算s的概率为通常还使用n-gram语言模型计算句子概率1-gram语言模型(uni-grammodel):2-gram语言模型(bi-grammodel
Pluto_wl·2023-11-01 07:54

【笔记3-6】CS224N课程笔记 - RNN和语言模型

CS224N（六）RecurrentNeuralNetworksandLanguageModels语言模型语言模型介绍n-gram基于窗口的神经语言模型RNNRNNLossandPerplexityRNN
jessie_weiqing·2023-10-31 23:47

word2vec及其优化

1.算法背景：（1）N-gram：n-1阶的Markov模型，认为一个词出现的概率只与前面n-1个词相关；统计预料中各种词串（实际应用中最多采用n=3的词串长度）的出现次数，并做平滑处理（应对count
码一码码码·2023-10-29 09:03

大语言模型(LLM)综述(二)：开发大语言模型的公开可用资源

RESOURCESOFLLMS3.1公开可用的模型CheckPoints或API3.2常用语料库3.3库资源前言随着人工智能和机器学习领域的迅速发展，语言模型已经从简单的词袋模型（Bag-of-Words）和N-gram
青云遮夜雨·2023-10-27 20:33

大语言模型(LLM)综述(一)：大语言模型介绍

1.INTRODUCTION2.OVERVIEW2.1大语言模型的背景2.2GPT系列模型的技术演变前言随着人工智能和机器学习领域的迅速发展，语言模型已经从简单的词袋模型（Bag-of-Words）和N-gram
青云遮夜雨·2023-10-27 20:02

利用传统方法（N-gram，HMM等）、神经网络方法（CNN，LSTM等）和预训练方法（Bert等）的中文分词任务实现

自然语言处理中文分词利用传统方法（N-gram，HMM等）、神经网络方法（CNN，LSTM等）和预训练方法（Bert等）的中文分词任务实现【Thewordsegmentationtaskisrealizedbyusingtraditionalmethods
JackHCC·2023-10-25 09:46

4个可以写进简历的京东 NLP 项目实战

：文本处理与特征工程|BagofWords模型|从tf-idf到Word2Vec|SkipGram与CBOW|HierarhicalSoftmax与NegativeSampling|FastText|N-gram
Amusi（CVer）·2023-10-23 13:16

NLP：从头开始的文本矢量化方法

这种表示通常称为向量，它可以应用于文本的任何合理单位：单个标记、n-gram、句子、段落，甚至整个文档。在整个语料库的统计NLP中，应用了不同的向量化技术，例如one-hot、计数或频率编码。
无水先生·2023-10-23 08:41

Bag of Tricks for Efficient Text Classification(FastText)阅读笔记

HierarchicalsoftmaxN-gramfeatures实验任务1Sentimentanalysis任务2Tagprediction总结FastTextfastText的核心思想：将整篇文档的词及n-gram
Leokb24·2023-10-22 14:00

NLP：从头开始的文本矢量化方法

这种表示通常称为向量，它可以应用于文本的任何合理单位：单个标记、n-gram、句子、段落，甚至整个文档。在整个语料库的统计NLP中，应用了不同的向量化技术，例如one-hot、计数或频率编码。
无水先生·2023-10-22 07:37

n-gram语言模型

一、StatisticalLanguageModel在自然语言处理中的一个基本问题：如何计算一段文本序列在某种语言下出现的概率？之所为称其为一个基本问题，是因为它在很多NLP任务中都扮演着重要的角色。例如，"我经常会去图书馆____"，预测该句后面的词。我们会通过已有的语料或上下文，来统计预测这句话可以填某个词的概率。将概率最大的作为预测结果返回。再比如机器翻译中，‘IlikeTomsomuch.
布口袋_天晴了·2023-10-20 02:44

pytorch_神经网络构建4

文章目录循环神经网络LSTM词嵌入skip-Gram模型N-Gram模型词性预测RNN循环神经网络的基础模块实现RNN识别图片RNN时间序列预测词向量模块词向量运用N-Gram模型lstm词性预测循环神经网络这个网络主要用来处理序列信息
lidashent·2023-10-17 08:21

在 Elasticsearch 中实现自动完成功能 2：n-gram

但在此之前，让我们先看看什么是n-gram。根据维基百科-n-gram是给定文本或语音序列中n个项目的连续序列有关n-gram的更多详细的介绍，请参阅之前的文章“Elasticsearch:Ngra
Elastic 中国社区官方博客·2023-10-14 21:12

NLP 学习3

N-gram加入相邻单词组合成新的单词，加
Cxgoal·2023-10-11 23:34

经典循环神经网络(一)RNN及其在歌词数据集上的应用

在语言模型方向，n-gram是当时最为流行的语言模型方法。n-gram的问题是其捕捉句子中长期依赖的能力非常有限。另外n-gram算法过于简单，其是否有能力取得令人信服的效果的确要打一个大的问号。
undo_try·2023-10-03 13:36

使用Gensim库对文本进行词袋、TF-IDF和n-gram方法向量化处理

Gensim库简介机器学习算法需要使用向量化后的数据进行预测，对于文本数据来说，因为算法执行的是关于矩形的数学运算，这意味着我们必须将字符串转换为向量。从数学的角度看，向量是具有大小和方向的几何对象，不需过多地关注概念，只需将向量化看作一种将单词映射到数学空间的方法，同时保留其本身蕴含的信息。Gensim是世界上最大的NLP/信息检索Python库之一，兼具内存高效性和可扩展性。Gensim的可扩
今天喝奶茶了嗎·2023-09-28 13:11

在 Python 中从文本创建 N-Grams

文章目录使用for循环在Python中从文本创建n-gram使用NLTK在Python中创建n-gram在计算语言学中，n-gram对于语言处理、上下文和语义分析非常重要。
迹忆客·2023-09-28 13:07

Unigram,Bigram，N-gram介绍

Unigram,Bigram，N-gram介绍Unigram,Bigram，N-gram这三个概念，在学习自然语言的过程中大家可能会遇到。
Mr Gao·2023-09-28 11:16

【自然语言处理基础技能（NLP)】语言模型基础

2.1从假设性独立到联合概率链规则2.2从联合概率链规则到n-gram语言模型2.3怎样选择依赖词的个数"n"？
皮卡丘的忧伤·2023-09-28 04:02

从统计语言模型到预训练语言模型---神经网络语言模型

随着神经网络的发展，神经语言模型（NeuralNetworkLanguageModels，NNLM）展现出了比统计语言模型更强的学习能力，克服了N-gram语言模型的维度灾难，并且大大提升了传统语言模型的性能
hanscalZheng·2023-09-23 22:16

nlp面试题大全

词袋模型与N-gram  最基本的文本表示模型是词袋模型(BagofWords)。基本思想是把每篇文章看成一袋子词，并忽略每个词出现的顺序。具体来看：将整段文本表示成一个长向量，每一维代表一个单词。
Viterbi·2023-09-20 08:44

NLP任务评价指标(BLEU，METOR，ROUGH，CIDEr)

首先根据n-gram划分一个
Yuezero_·2023-09-19 22:54

大语言模型学习引言

Task01引言目录1.1什么是语言模型1.2语言模型进化史信息论、熵N-gram语言模型Word2VecELMoTransformerBert1.3大语言模型1.1什么是语言模型说到大模型，首先介绍语言模型
Runjavago·2023-09-19 17:35

动手学中文分词视频教程

mp4课时4NLP概述.mp4课时5中文分词简介.mp4课时6中文分词算法简介.mp4课时7正向最大匹配算法讲解.mp4课时8逆向最大匹配算法讲解.mp4课时9双向最大匹配算法讲解.mp4课时10基于N-gram
globals_11de·2023-09-19 00:22

文本分类总结

一、TextCNN→TextRNN→TextBiRNN→TextRCNN→Text-ATT-BI-RNN→HAN1.TextCNN特点：CNN的kernel_size类似N-gram中的N。
许志辉Albert·2023-09-09 02:02

自编码模型与自回归模型记录

自回归模型处理自然语言时，通常会从左到右的计算前后词汇间的概率，如n-gram，此时只考虑了前文词汇的影响，如果从右到左的增加后文词汇的影响时，则称为自回归模型，如使用单向transformer的GPT
Mark_Aussie·2023-09-08 05:09

NLP（1）--NLP基础与自注意力机制

目录一、词向量1、概述2、向量表示二、词向量离散表示1、one-hot2、Bagofwords3、TF-IDF表示4、Bi-gram和N-gram三、词向量分布式表示1、Skip-Gram表示2、CBOW
Struart_R·2023-09-05 00:25

ChatGPT和大型语言模型(LLM)是什么关系？

LargeLanguageModel，从量变到质变https://zhuanlan.zhihu.com/p/32829048#自然语言处理中N-Gram模型介
祈心无尘·2023-08-30 08:28

评价指标BLUE了解

BLEU指标根据生成的句子与人工参考句子之间的词、短语和n-gram匹配来计算模型的性能。BLEU指标通常在0和1之间取值，其中1表示完美匹配。BLEU指标计算方法如下：1.
leap_ruo·2023-08-26 20:45

NLP（三十）利用ALBERT和机器学习来做文本分类

在文本分类中，有两个大的思路，一个是机器学习，主要是利用n-gram等特征将文本转化为特征向量，这种方法便于
山阴少年·2023-08-24 23:38
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他