N-gram

爬虫中的网页去重最适合的算法---simhash算法

Simhash算法的基本思想是将字符串分解成一些基本的特征，如字符、单词、n-gram等，然后对每个特征计算一个hash值，并将这些hash值合并成一个整体hash值。
lovoo·2023-07-15 19:01

文本向量化学习笔记

离散表示方式包括one-hot，tfidf，N-gram以及共现矩阵等方式。分布式连续表示有word2vec和fasttext等方式。
仰望星空的小狗·2023-07-15 12:47

语言模型笔记

参考n-gram：https://blog.csdn.net/songbinxu/article/details/80209197（n-gram、NNLM、RNNLM、word2vec）本篇讲述语言模型及重要的几个概念
愿better·2023-06-23 18:18

ChatGPT和其他自然语言处理模型有什么不同之处？

ChatGPT是一种基于变压器神经网络的自然语言生成模型，与传统的语言模型和其他自然语言处理模型相比，具有以下几个显著的不同之处：1.能够生成连贯、长文本传统的语言模型（如N-gram模型）通常只能生成短文本
心似浮云️·2023-06-21 07:17

NLP基础知识（语法语义、LDA、N-gram、词嵌入）

文章目录本节课大纲Hyper-simplifiedlinguisticsTermspotting+handlingnegation,uncertaintyMLtoexpandtermspre-NNMLtoidentifyentitiesandrelationsLatentDirichletAllocation(LDA)StatisticalModelsofLanguage:Zipf'slawvec
丸丸丸子w·2023-06-18 00:56

R语言进行文本挖掘

整洁的数据整洁的数据应该是这样的每一行都是一次观测每一列都是一个变量对于整洁的文本数据，储存在每行中的数据通常是单个单词，但也可以是n-gram，句子或段落。
Liam_ml·2023-06-17 18:19

CNN 文本原理

首先需要理解N-gramhttps://zhuanlan.zhihu.com/p/32829048对于在NLP中N-gram的理解，一元，二元，三元gram大多数NLP任务的输入不是图像像素，而是以矩阵表示的句子或文档
James0824·2023-06-17 09:15

【文本生成评价指标】 BLEU原理及代码示例py

比较候选译文和参考译文里的n-gram的重合程度。多用于翻译
zz_Lambda·2023-06-17 01:08

N-Gram语言模型工具kenlm的详细安装教程

【本配置过程基于Linux系统】下载源代码：wget-O-https://kheafield.com/code/kenlm.tar.gz|tarxz编译：makdirkenlm/buildcdkenlm/buildcmake..&&make-j4发现报错：系统中没有cmake，按照错误提示，执行以下命令：sudoapt-getinstallcmake安装完成后，再次cmake：cmake..又报错
尚拙谨言·2023-06-16 13:50

深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等本专栏主要方便入门同学快速掌握相关知识。后续会持续把深度学习涉及知识原理分析给大家，让大家在项目实操的同时也能知识储备，知
汀、人工智能·2023-06-12 14:18

深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：智能标注、多分类算法、文本信息抽取等

深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等1.N-GramN-Gram是一种基于统计语言模型的算法
·2023-06-12 11:50

深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：智能标注、多分类算法、文本信息抽取等

深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等1.N-GramN-Gram是一种基于统计语言模型的算法
·2023-06-12 11:47

NLP（2）N-gram language Model （缺了一些平滑的方式介绍）

文章目录N-gramLanguageModelTrigramExample存在的问题smoothingLaplacian（add-one）smoothing案例1案例2Add-ksmoothingAbsoluteDiscounting案例Interpolation在自然语言处理（NLP）中，语言模型（LanguageModels）是用来预测文本序列中下一个单词或者字符的概率分布的模型。语言模型的主
暖仔会飞·2023-06-09 20:22

自然语言处理: N-Gram实战

自然语言处理:第一章N-Gram一.理论定义:语言模型在wiki的定义是统计式的语言模型是一个几率分布，给定一个长度为m的字词所组成的字串W1,W2，···，Wn，派几率的字符串P(S)=P(W1,W2
曼城周杰伦·2023-06-09 03:43

MySql中的Full Text Search全文索引优化

目录开篇一个简单的DEMO天下没有免费的午餐无索引使用B树索引引入反向索引在默认解析器中使用反向索引在n-gram解析器中使用反向索引InnoDB反向索引性能下降备选方案开篇在我们的生产环境中,有一个模糊检索的文档框
·2023-06-06 21:33

N-Gram 采样与 Session 数据获取 For EGES

目录一.引言二.订单数据预处理1.数据样例2.订单数据处理3.用户Session构建三.构造sku_id游走序列1.获取完整SessionList2.统计sku_id转移词频3.构建sku_id图4.游走构造sku序列四.商品侧信息预处理1.读取商品信息2.LeftJoin匹配侧信息3.Id2Index构建五.基于Ngram与NegativeSample的样本生成1.自定义Ngram样本生成2.k
BIT_666·2023-04-19 22:10

【Chatgpt4 教学】 NLP（自然语言处理）第十一课 n-gram模型原理

王老师带我成为救世主》（1）---------------------------------------------------------------------------------------我：简要介绍n-gram
醉醉大笨牛·2023-04-18 23:35

Prompt之文本生成详解教程

prompt在生成方面的应用从两个方面进行介绍：评估手段具体任务评估手段生成任务的评估手段主要分为四种类型：1).基于N-gram匹配2).基于编辑距离3).基于词向量4).基于可学习方式。
奇奇.,·2023-04-17 17:48

Rouge | 自动文摘及机器翻译评价指标

rouge-N指N-gram的个数在中文中计算时，需要用空格将每个字分开（如同英
wenweny2020·2023-04-14 07:13

Word2vec

预备知识：LR、贝叶斯公式、赫夫曼编码、统计语言模型、n-gram模型、神经概率语言模型、词向量、词袋模型、softmax、负采样，可以参考word2vec中的原理Word2vec将词映射到K维向量空间
rssivy·2023-04-14 00:39

区块链文章总结

对于区块链智能合约安全的内容总结对于近几年对于该问题的解决方法有以下的三种解决方式，当然不仅仅局限于这三种方法；1.把源代码当成一个文本内容进行输入利用(NLP)的技术模型（N-gram以及bag-of-words
weixin_47988292·2023-04-12 01:04

【精通特征工程】学习笔记（二）

2.5&D3章&P33-51页3、文本数据:扁平化、过滤和分块3.1元素袋:将自然文本转换为扁平向量3.1.1词袋一个特征就是一个单词，一个特征向量由这个单词在每篇文档中出现的次数组成3.1.2n元词袋n-gram
小小孩儿的碎碎念·2023-04-05 21:17

文本特征提取

{"我":1,"要":1,"从":1,"文本":1,"提取":1,"如下":1,"特征":1}N-gram分析：将文本切分成N个
哈都婆·2023-04-04 15:24

这些年，NLP常见的预训练模型剖析

传统的词向量有one-hot（杜热编码）、词袋模型（TF_IDF）、N-Gram、Word2Vec、Glove等，其中word2vec和Glove是属于wordembedding。one
樱缘之梦·2023-04-01 23:13

那些年的面试

给一段话，怎么判断是乱码还是正常输入，提示n-gram语言模型12-17百度面试，百度智能云AI应用部，NLP算法工程师一面cdssm原理、和dssm区别逻辑回归推导决策树、剪枝过拟合的起因及解决方法，
你_是谁家的美啊·2023-03-30 02:57

2020-3-2 深度学习笔记12 - 深度学习应用 3（自然语言处理NLP - n-gram / 神经语言模型NNLM / 高维输出 / 结合 n-gram 和神经语言模型 / 神经机器翻译）

第十二章应用中文官网英文原版2020-2-29深度学习笔记12-深度学习应用1（大规模深度学习）2020-3-1深度学习笔记12-深度学习应用2（计算机视觉，语音识别）自然语言处理NLP统计语言建模的目标是学习语言中单词序列的联合概率函数。自然语言处理让计算机能够使用人类语言，例如英语或法语。为了让简单的程序能够高效明确地解析，计算机程序通常读取和发出特殊化的语言。而自然的语言通常是模糊的，并且可
没人不认识我·2023-03-27 07:23

语言模型（一）—— 统计语言模型n-gram语言模型

作为NLP的基础知识，语言模型可能是我们最早接触的知识点之一了，那么语言模型到底是什么呢？在看过一些文章之后我最后形成了我自己的理解：语言模型就是计算词序列（可以是短语、句子、段落）概率分布的一种模型，它的输入是文本句子，输出是该句子的概率，这个概率表明了这句话的合理程度，即这句话符合人类语言规则的程度。或者我们可以这么理解：传统的语言模型是基于词袋模型（Bag-of-Words）和one-hot
知了爱啃代码·2023-03-27 07:19

NLP中的n-gram模型

NLP中的n-gram模型1.什么是语言模型2.n-gram模型2.1什么是n-gram模型2.2n-gram评价语句是否合理2.3n-gram模型小结参考：1.什么是语言模型什么是语言模型？
hzq201435·2023-03-27 07:10

[VLDB2019]DLM:微信大规模分布式n-gram语言模型系统

本文是对原VLDB2019论文的简要翻译摘要n-gram语言模型广泛用于语言处理，例如自动语音识别(ASR)。它可以对从发生器（例如声学模型）产生的候选单词序列进行排序。
OpenIM·2023-03-27 07:09

自然语言处理（二）： N-gram Language Models

目录1.Probabilities:JointtoConditional概率：从联合到条件1.1TheMarkovAssumption马尔可夫假设1.2MaximumLikelihoodEstimation最大似然估计1.3Book-endingSequences书籍结尾序列1.4Trigramexample1.5SeveralProblems2.Smoothing2.1Laplacian(Add
小羊和小何·2023-03-27 07:08

【大道至简】浅谈自然语言处理（NLP）学习路线（二）：N-Gram模型，一文带你理解N-Gram语言模型

本文相关文章：浅谈自然语言处理(NLP)学习路线（一）---概述_nlp学习路线_尚拙谨言的博客-CSDN博客大家好，我是尚拙谨言。欢迎来到大道至简专栏之自然语言处理学习路线。在本系列往期文章中，我介绍过学习自然语言处理技术的技术路线，也就是你大概需要先学会哪些基本知识。没看过的朋友可以回到那篇看一下，链接在文章开头。那么，本篇开始，我们就针对这一系列基础进行进一步介绍。另外，之所以我把这一系列博
尚拙谨言·2023-03-27 07:07

NLP系列-中文分词（基于统计）

统计分词一般做如下两步操作：1.建立统计语言模型（n-gram）2.对句子进行单词划分，然后对划分结果做概率计算，获取概率最大的分词方式。这里就用到了统计学习算法，如隐马尔科夫模型（HMM），条
城市中迷途小书童·2023-03-26 12:07

搭建一个分词工具 Python版

一、基于枚举方法来搭建中文分词工具最简单的分词是不依赖语句关系的，每一个词都是独立的，叫unigram语言模型有unigram->bi-gram->n-gram从简单到难，
学人工智能的菜菜·2023-03-24 12:55

自然语言处理

1.语言模型举一个例子，我今天下午打篮球，P(S)称为语言模型，即用来计算一个句子概率的模型，P(S)的表达式如下：存在两个问题：1.数据过于稀疏2.参数空间太大N-gram模型：在意识到这两个问题后，
Angeliaaa·2023-03-20 07:19

fasttext简单理解及应用

在训练时，通过N-gram把词向量喂入模型，输出属于各类的概率，并比对标签修正模型在预测时，输入的是词序列，输出的是属于各类概率，取最大概率实际上还是一个单层的神经网络系统，一般来说损失函数用得softmax
机器不能学习·2023-03-18 07:49

从零开始NLP

文本离散表示的代表就是词袋模型，one-hot（也叫独热编码）、TF-IDF、n-gram都可以看作是词袋模型。
LegendNeverDied-24·2023-03-16 07:04

【笔记】NLP分类方法

一文简述文本分类任务的7个模型0.数据预处理这一部分讲述了数据来源({0,1}情感数据)、测试集划分(1/10)、噪声清洗(http网址、#主题、@用户)清洗后的数据1.基于词级ngram的词袋模型流程：提取n-gram
PancakeCard·2023-03-12 18:43

N-gram模型和神经语言模型

概率模型统计语言模型实际上是一个概率模型，所以常见的概率模型都可以用于求解这些参数常见的概率模型有：N-gram模型、决策树、最大熵模型、隐马尔可夫模型、条件随机场、神经网络等目前常用于语言模型的是N-gram
wenjian12·2023-03-10 07:59

实验大纲

1.实验大纲：（1）one-hot:字、n-gram、字模板、分词、词模板（2）wordvector:字vs词（3）分级预测：充分利用韵律的层级信息，误差累计，导致最后IPH预测效果比较差，对合成语音韵律影响最大
dingchuang·2023-02-18 02:13

机器学习：Recurrent Neural Network-RNN

应用举例如果有很多词汇的时候，one-encode会导致很长，可以将不常见的归类到other，也可以用n-gram进行编码输出的是一个概率分布相同的词得到不同的结果，需要网络具有记忆，RNN网络的设计就是使得网络具有部分的记忆能力
uncle_ll·2023-02-17 12:58

Chatgpt的介绍-内容由chatgpt生成

语言模型的发展可以追溯到最初的n-gram模型。n-gram模型是一种基于统计学的模型，通过统计语料库中单词序列的频率来预测下一个单词。
蓑雨春归·2023-02-16 21:43

N-gram和NNLM语言模型

背景：one-hot:缺点：1.高维稀疏，2.不能体现句子中词的重要性，3.不能体现词与词之间的关系。embedding:1.解决了高维稀疏tf-idf：2.解决了one-hot中不能体现句子中词的重要性这一特点。语言模型：3.解决不能体现词与词之间的关系。前馈神经网络:上一层的输出只作为下一层的输入(即标准神经网络NN)反馈神经网络/循环神经网络:当前层的输出除了作为下一层的输入，还返回回来重新
小杨变老杨·2023-02-03 16:44

N-gram语言模型和Word2Vec

N-gram语言模型–潘登同学的NLP学习笔记文章目录N-gram语言模型--潘登同学的NLP学习笔记语言模型N-gram概率模型马尔科夫假设选取N的艺术举例说明OOV问题平滑处理总结NPLM(NeuralProbabilisticLanguageModel
PD我是你的真爱粉·2023-02-03 16:41

fasttext文本分类

这些包括了使用词袋以及n-gram袋表征语句，还有使用子字(subword)信息，并通过隐藏表征在类别间共享信息。我们另外采用了一个so
AI小太阳·2023-02-02 18:25

NLP：n-gram模型

主要的应用场景：1️⃣人们基于一定的语料库，可以利用N-Gram来预计或者评估一个句子是否合理；2️⃣通过输入的前N个词预言下一个词（常见于输入法，这种类型的LM被称为自回归语言模型(Autoregressio
Dawn_www·2023-02-02 08:09

文档向量化算法综述

文档向量化算法综述文档向量化方法：算法简介One-Hoe算法词袋模型算法Bi-gram、N-gram算法简介TF-IDF算法共现矩阵算法简介word2vec简介方法的优劣性：One-hot的优、缺点代码
楚楚小甜心·2023-01-31 09:42

LanguageModel API 语言模型

publicinterfaceLanguageModelextendsConfigurable代表了对言一个N（N-Gram）元语模型的一般接口。所有的概率都在log域的。
eternity668·2023-01-30 12:16

NLP最基础的零碎知识点整理

一、N-gram语言模型语言模型的训练，其实就是在训练p(He)、p(is∣He)、p(AI∣isstudying)p(He)、p(is|He)、p(AI|isstudying)p(He)、p(is∣He
Xu_Wave·2023-01-29 00:06

NLP-Beginner 任务一：基于机器学习的文本分类(超详细！！)

NLP-Beginner任务一：基于机器学习的文本分类传送门一.介绍1.1任务简介1.2数据集1.3流程介绍二.特征提取2.1词袋特征（Bag-of-word）2.2N元特征（N-gram）三.最优化求解
0oTedo0·2023-01-26 07:09

NLP-Task1:基于机器学习的文本分类

的文本分类数据集：ClassifythesentimentofsentencesfromtheRottenTomatoesdataset网盘下载链接见文末需要了解的知识点：文本特征表示：Bag-of-Word，N-gram
Navajo_c·2023-01-26 07:08
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他