N-gram

TextCNN：文本卷积神经网络模型

通过在文本数据上应用卷积操作来提取局部特征，这些特征可以捕捉到文本中的局部模式，如n-gram（连续的n个单词或字符）。定义TextCNN类importtorch.nnasn
一只天蝎·2024-09-13 07:48

深度学习100问29:rnn语言模型与传统的语言模型有何不同

比如那种n-gram语言模型，它只能记住前面几个词，再多就不行啦，就像脑袋里的小抽屉只能装那么点东西。但RNNLM可不一样，它就像有个超级强大的记忆宝盒。
不断持续学习ing·2024-09-02 01:10

人工智能中的语言模型演变

这些模型通常被称为n-gram模型，通过计算词序列的频率来预测句子中的下一
机器之心AI·2024-08-23 01:27

Python chardet.detect 字符编码检测

具体来说，chardet.detect使用了一种叫做统计字符n-gram（通常为n=1或n=2）的方法。它会统计字节串中每个字符或字符对出现的频率，并将这些统计结果与预先训练好的字符编码模型进行比较。
in_tsz·2024-03-16 14:50

探索NLP中的N-grams：理解，应用与优化

简介n-gram[1]是文本文档中n个连续项目的集合，其中可能包括单词、数字、符号和标点符号。N-gram模型在许多与单词序列相关的文本分析应用中非常有用，例如情感分析、文本分类和文本生成。
冷冻工厂·2024-02-08 09:23

NLP_神经概率语言模型(NPLM)

NPLM的实现1.构建实验语料库2.生成NPLM训练数据3.定义NPLM4.实例化NPLM5.训练NPLM6.用NPLM预测新词NPLM小结NPLM的起源在NPLM之前，传统的语言模型主要依赖于最基本的N-Gram
you_are_my_sunshine*·2024-02-07 13:20

NLP_语言模型的雏形N-Gram

文章目录N-Gram模型1.将给定的文本分割成连续的N个词的组合(N-Gram)2.统计每个N-Gram在文本中出现的次数，也就是词频3.为了得到一个词在给定上下文中出现的概率，我们可以利用条件概率公式计算
you_are_my_sunshine*·2024-02-04 22:52

自然语言处理——5.2 语言模型（参数估计）

最大似然估计求法对于n-gram，参数可由最大似然估计求得：其中，是历史串在给定语料中出现的次数，即,不管是什么。是在给定的条件下出现的相对频度，分子为与同出现的次数。
SpareNoEfforts·2024-02-03 13:28

NLP_统计语言模型的发展历程

其中，词向量表示的学习为语言模型提供了更高质量的输入信息（词向量表示）1948年，著名的N-Gram模型诞生，思路是基于前N-1个项目来预测序列中的第N个项目，所谓的“项目”，就是词或者短语。
you_are_my_sunshine*·2024-02-03 10:58

使用Gensim库对文本进行词袋、TF-IDF和n-gram方法向量化处理

Gensim库简介机器学习算法需要使用向量化后的数据进行预测，对于文本数据来说，因为算法执行的是关于矩形的数学运算，这意味着我们必须将字符串转换为向量。从数学的角度看，向量是具有大小和方向的几何对象，不需过多地关注概念，只需将向量化看作一种将单词映射到数学空间的方法，同时保留其本身蕴含的信息。Gensim是世界上最大的NLP/信息检索Python库之一，兼具内存高效性和可扩展性。Gensim的可扩
Yuki_lsq·2024-01-31 03:02

程序员书单|本月有哪些新书值得关注？

这一本小书，希望从纯技术的角度，为你梳理生成式语言模型的发展脉络，对从N-Gram、Bag-of-Word、Word2Vec、NPLM、RNN、S2S、Atten
人邮异步社区·2024-01-28 14:54

【自然语言处理】【深度学习】NLP中的N-gram理解

N-gram是自然语言处理（NLP）中的一个概念，它描述的是文本中连续的n个项（通常是单词或字符）。这个概念主要用于语言建模和文本分析中。
忘却的旋律dw·2024-01-25 07:55

【自然语言处理】【深度学习】文本向量化、one-hot、word embedding编码

即：把待处理的文档进行分词或者是N-gram处理，然后进行去重得到词典。例：假设我们有一个文档：“深度学习”，那么进行one-hot处理后得到的结果如下to
忘却的旋律dw·2024-01-25 07:47

fastText

这些输入是n-gram向量，这些向量是随机生成的。由于n-gram的量远比word大的多，完全存下所有的n-gram也不现实。Fasttext采用了Has
吹洞箫饮酒杏花下·2024-01-25 01:22

python深度学习—第6章（波斯美女）

提取单词或字符的n-gram，并将每个n-gram转换为一个向量。n-gram是多个连续单词或字符
weixin_42963026·2024-01-21 13:55

[学习笔记]刘知远团队大模型技术与交叉应用L1-NLP&Big Model Basics

语言模型如何从N-gram发展成预训练语言模型PLMs。然后介绍了大模型在NLP任务上的表现，以及它遵循的基本范式。最后介绍了本课程需要用到的编程环境和GPU服务器。
N刻后告诉你·2024-01-14 21:50

自然语言处理中的语言模型

发展历程统计语言模型：N-gram模型：基于前N-1个词预测下一个词。这种模型简单且易于实现，但面临着维度灾难和数据稀疏问题。隐马尔可夫模型（HMM）：常用于语音识别和某些类型的文本处理。H
天一生水water·2024-01-09 20:23

N-gram 分词

概述本课程作业主要借助python工具，实现了N-gram分词中的Unigram和Bigram分词器，并将前向最大切词FMM和后向最大切词的结果作为Baseline，对比分析N-gram分词器在词语切分正确率
Silence_Dong·2024-01-09 16:23

自然语言处理学习笔记

3、N-Gram语言模型：计算概率和最大似然估计来估计参数4、Word2Vec:CBOW(ContinuousBag-of-Word)SG(Skip-Gram)5
追求科技的足球·2024-01-08 19:36

语言模型：从n-gram到神经网络的演进

从最初的n-gram模型到如今基于神经网络的深度学习模型，语言模型的发展经历了漫长的演进。本文将探讨语言模型的演化历程，介绍不同阶段的技术，并深入探讨神经语言模型的重要性及其对自然语言处理的影响。
cooldream2009·2023-12-29 08:10

基于LSTM和N-gram序列的英文文本生成

如果文章对你有帮助的话，欢迎评论点赞收藏加关注+目录1.项目背景2.数据集介绍3.技术工具4.实验过程4.1数据探索4.2数据预处理4.3标记文本4.4创建N-gram序列4.5填充序列4.6词嵌入4.7
艾派森·2023-12-26 11:15

文本处理

将文本分解成的单元（单词、字符或n-gram）叫作标记（token），将文本分解成标记的过程叫作分词（tokenization）所有文本向量化过程都是应用某种分词方案，然后将数值向量与生成的标记相关联。
smile_怡远·2023-12-22 07:58

「X」Embedding in NLP｜神经网络和语言模型 Embedding 向量入门

在「X」EmbeddinginNLP进阶系列中，我们介绍了自然语言处理的基础知识——自然语言中的Token、N-gram和词袋语言模型。
Zilliz Planet·2023-12-19 20:25

探索人工智能中的语言模型：原理、应用与未来发展

1.语言模型的原理统计语言模型：基于概率统计的传统语言模型，如N-gram模型。
鳗小鱼·2023-12-18 14:48

「X」Embedding in NLP｜神经网络和语言模型 Embedding 向量入门

在「X」EmbeddinginNLP进阶系列中，我们介绍了自然语言处理的基础知识——自然语言中的Token、N-gram和词袋语言模型。
Zilliz Planet·2023-12-16 04:58

Token 和 N-Gram、Bag-of-Words 模型释义

尤其是了解Token和N-gram对于理解几乎所有当前自回归和自编码模型都十分重要。本文为“「X」EmbeddinginNLP”的进阶版
Zilliz Planet·2023-12-06 08:14

机器翻译，文本生成评估指标BELU，BERTSCORE

，N-gram的精确率，一般N设置为4即可，公式中的Pn指n-gram的精确率。Wn指n-gram的权重，一般
不当菜鸡的程序媛·2023-12-05 17:16

NLP-语言模型

目录一、NoisyChannelModel二、语言模型1.句子的概率2.马尔科夫假设3.语言模型：N-gram①Unigram②Bigram4.计算语言模型的概率5.评估语言模型6.平滑①拉普拉斯平滑②Interpolation
Swayzzu·2023-11-29 09:44

Kneser-Ney平滑（Kneser-Ney smoothing）简介

它是由Kneser和Ney在1995年提出的，被广泛应用于n-gram语言模型中。在语言模型中，n-gram是指由n个连续的词组成的序列。
MilkLeong·2023-11-28 19:11

2022-03-22

自然语言处理实验演示-14.N-Gram模型应用N-Gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度是N的字节片段序列。
跨象乘云·2023-11-26 21:23

《动手学》：语言模型_课后作业

语言模型一段自然语言文本可以看作是一个离散时间序列，给定一个长度为T的词的序列w1,w2,…,wT，语言模型的目标就是评估该序列是否合理，即计算该序列的概率：P(w1,w2,…,wT).本节我们介绍基于统计的语言模型，主要是n元语法（n-gram
木头杨_88f8·2023-11-24 10:54

深入NLTK：Python自然语言处理库高级教程

在前面的初级和中级教程中，我们了解了NLTK库中的基本和进阶功能，如词干提取、词形还原、n-gram模型和词云的绘制等。
Python老猿·2023-11-24 04:50

自然语言处理常用方法和评价指标

语言模型：预测下一个词或字的模型，如基于n-gram的模型、循环神经网络（RNN
jieHeEternity·2023-11-23 19:41

文本分析：NLP 魔法！

我将在本博客中介绍BagOfWords和n-gram以及朴素贝叶斯分类模型。这个博客的独特之处（这使得它很长！）是我已经展示了如何根据我们手中的数据集为我们选择正确的模型。那么，让我们开始吧。
无水先生·2023-11-22 09:15

仿京东淘宝搜索框实战

imageimageimage搜索框功能主要有3部分组成：智能补全关联数量拼写纠错实现流程ES官方文档建议通过phraseSuggester实行搜索框的自动补全，但这种查询对中文支持不太友好，经常会不做提示；下面我们通过n-gram
易企秀工程师·2023-11-21 08:55

【nlp】1.4 文本特征处理（n-gram特征、文本长度规范：补齐与截断）

文本特征处理1什么是n-gram特征2文本长度规范及其作用文本特征处理的作用:文本特征处理包括为语料添加具有普适性的文本特征，如:n-gram特征，以及对加入特征之后的文本语料进行必要的处理，如:长度规范
lys_828·2023-11-14 10:51

【nlp】1文本预处理总括目录（附各章节链接）

2.2.1one-hot编码2.2.2Word2vec2.2.3WordEmbedding2.3文本语料的数据分析2.3.1标签数量分布2.3.2句子长度分布2.3.3词频统计与关键词词云2.4文本特征处理2.4.1添加n-gram
lys_828·2023-11-13 17:56

01_文本向量表示(one-hot,TF-IDF,Embedding)学习总结(不对的地方欢迎留言指正)

文本表示分为离散表示和分布式表示，离散表示代表有词袋模型，One-hot向量，TF-IDF，n-gram这些都可以看作词袋子模型，分布式表示也叫做词嵌入，经典的模型有word2vec，包括后来的ELMO
竹林风w·2023-11-13 03:52

#最全面# NLP获取词向量的方法（Glove、n-gram、word2vec、fastText、ELMo 对比分析）

文章目录1Glove-基于统计方法1.1实现步骤1.2优点1.3存在的问题2基于语言模型的方法2.1基于n-gram的语言模型2.2基于神经网络的语言模型2.2.1word2vec2.2.2fastText2.2.3ELMo1
energy_百分百·2023-11-13 03:18

ngram模型 java_自然语言处理中的N-Gram模型详解

N-Gram(有时也称为N元模型)是自然语言处理中一个非常重要的概念，通常在NLP中，人们基于一定的语料库，可以利用N-Gram来预计或者评估一个句子是否合理。
Stark Einstein·2023-11-12 22:04

【NLP】N-gram模型及其平滑优化

从chain-rule说起▶语言模型计算词序列出现的概率p(W)=p(w1,w2,w3...wn)p(W)=p(w_1,w_2,w_3...w_n)p(W)=p(w1,w2,w3...wn)给定一个词序列，下一个词出现的概率p(w5｜w4，w3，w2，w1)p(w_5｜w_4，w_3，w_2，w_1)p(w5｜w4，w3，w2，w1)p(W)p(W)p(W)或p(wn∣w1,w2,...,wn−1
samarua·2023-11-12 21:59

自然语言处理——N-gram模型

NLP相关知识理解整理文章目录一、N-gram模型简介二、N-gram模型的问题与思考1.数据稀疏2.思考总结一、N-gram模型简介N-gram模型属于概率语言模型，其要解决的问题其实很简单，那就是从是否符合自然语言的角度评估一个句子的质量
Vii ging·2023-11-12 21:28

n-gram语言模型——句子概率分布计算与平滑

n-gram语言模型——句子概率分布计算与平滑前言语言模型等价假设n元语法句子概率分布计算方式数据平滑Lidstone平滑(1-gram)Laplace平滑(1-gram)附上两种平滑在1-gram下代码
征途黯然.·2023-11-12 21:55

ZEN-基于N-gram的中文Encoder(从论文到源码)

但是中文的最小单位并不是字，中文的语义和N-gram有很大的关系。
lynne233·2023-11-11 18:12

n-gram语言模型——文本生成源码

n-gram语言模型——文本生成源码n-gram模型的基本原理文本生成的步骤1.准备和分词2.构建n-gram模型3.平滑技术的应用4.生成文本源码  在自然语言处理的领域中，n-gram语言模型是一种基础而强大的工具
征途黯然.·2023-11-11 18:35

主题模型LDA教程：n-gram N元模型和nltk应用

文章目录N-Gram模型原理概率估计nltk使用n-gramN-Gram模型N-Gram（N元模型）是自然语言处理中一个非常重要的概念。N-gram模型也是一种语言模型，是一种生成式模型。
Cachel wood·2023-11-11 15:16

大语言模型(LLM)综述(七)：大语言模型设计应用与未来方向

8.2结果与分析9APPLICATIONS10CONCLUSIONANDFUTUREDIRECTIONS前言随着人工智能和机器学习领域的迅速发展，语言模型已经从简单的词袋模型（Bag-of-Words）和N-gram
青云遮夜雨·2023-11-09 14:08

NLP任务常见评价指标

首先根据n-gram划分一个短语包含单词的数
NLP_victor·2023-11-07 06:04

深度学习-Embedding(词嵌入)

文本向量化是指将原始文本转化为数值张量的过程，有多种实现方式：1.将文本分割为单词，并将每个单词转化为一个向量2.将文本分割为字符，并将每个字符转化为一个向量3.提取单词或字符的n-gram(多个连续的单词或字符
夏都美少年·2023-11-05 06:26

深度学习【NLP介绍、文本情感分类案例】

`N-gram`表示方法3.向量化3.1one-hot编码3.2wordembedding3.3wordembeddingAPI3.4数据的形状变化二文本情感分类1.案例介绍2.思路分析3.准备数据集3.1
OneTenTwo76·2023-11-03 07:02
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他