E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
n-gram
WFST
speechrecognitionwithweightedfinate-statetraWFST简单笔记（一）WFST(weightedfinaite-statetransducer)用于大规模的语音识别，包括HMM模型，词典，
n-gram
sky1170447398
·
2020-09-16 10:04
语音识别
Spark 用户自定义函数 Java 示例
由于中文文字分词之后(
n-gram
)再加上昵称允许各个特殊字符（数字、字母、各种符号……），如果直接在原来的文本数据上进行聚类，由于文本的“多样性”，聚类效果并不一定好。
weixin_34075268
·
2020-09-15 03:29
【开源python模块使用】sklearn feature_extraction.text 统计中文文档
n-gram
的出现次数
【使用场景】有100+的专业文档，需要通过
n-gram
的方式统计出专业强相关的词汇【主要方向】sklearnfeature_extraction.text的CountVectorizer类【使用方式】#
tong_xin2010
·
2020-09-14 20:24
sklearn
Python
word2vec背后的数学原理+从零开始纯Python实现(上)
这两个句子，只是"cat"和"dog"不同，word2vec认为它们是相似的，而
n-gram
模型做不到这一点。word2vec有
愤怒的可乐
·
2020-09-14 17:58
人工智能
读书笔记
自然语言处理
深度学习
word2vec
python
word2vec
python实现词向量
自由度+凝固度+统计的新词发现
关键词：自由度、凝固度、
n-gram
。自由度：———表示了一个词组的左右两边的词的固定程度。
羚谷光
·
2020-09-14 15:59
【sckit-learn学习（0）】numpy基础
最近看到同事用sckit-learn的统计
n-gram
的库省去了好多麻烦，决定从基础开始看sckit-learn，从numpy基础重新开始复习，尽量每天一篇，内容会同步到https://github.com
胖大星越来越胖
·
2020-09-14 02:47
python
numpy
sckit笔记
python
FastText使用总结
一.简介FastText是2016年由FacebookAIResearch开源的算法，算法主要包含三个部分：模型架构，层次Softmax和
N-gram
特征。
一个小白的自述
·
2020-09-14 00:27
NLP
自然语言处理
MySQL 全文检索 ngram插件
在MySQL5.7.6中我们能使用一个新的全文索引插件来处理它们：n-gramparser.什么是
N-gram
？在全文索
limeOracle
·
2020-09-12 16:26
adversarial evaluation of Dialogue models- 类似gan的思路来做对话评测
modelExperiment分析小总结文章链接：AdversarialEvaluationofDialogueModels常用的评价方法：perplexity：从fit层面，但是不能评估在具体任务中的表现
N-gram
猫猫猫玺
·
2020-09-12 14:23
NLP-理论
自然语言处理-----语言模型 Language Model
文章目录LanguageModel(LM)简介ChainRulesparsity稀疏性问题马尔可夫假设LanguageModel:Unigram,Bigram,
N-gram
举例：Unigram,Bigram
丁磊_Ml
·
2020-09-12 00:51
自然语言处理
自然语言处理
深度学习
自然语言处理-手写笔记
分词、隐马尔科夫模型隐马尔科夫、信息熵互信息、相对熵条件概率、
N-gram
模型条件随机场、维特比算法图论、网络爬虫、pagerank网页排名有限状态机、余弦定理信息指纹伪随机数产生算法、最大熵原理、GIS
母神
·
2020-09-11 22:22
机器学习
NLP基础--文本特征提取&&中文分词&&word2vec原理
基于词典匹配的分词方法2.1.1正向最大匹配（MM，MaximumMatching）2.1.2逆向最大匹配（RMM，ReverseMaximumMatching）2.1.3双向匹配2.2基于统计的分词方法2.2.1基于
n-gram
你搁这儿写bug呢？
·
2020-09-11 09:14
NLP
python
NLP
【精通特征工程】学习笔记（二）
Day2&2.5&D3章&P33-页3、文本数据:扁平化、过滤和分块3.1元素袋:将自然文本转换为扁平向量3.1.1词袋一个特征就是一个单词，一个特征向量由这个单词在每篇文档中出现的次数组成3.1.2n元词袋
n-gram
Janet_zyh
·
2020-09-11 07:24
特征工程
介绍
N-gram
比较清楚的博客
from:https://www.cnblogs.com/think90/articles/11522978.html无监督构建词库：更快更好的新词发现算法新词发现是NLP的基础任务之一，主要是希望通过无监督发掘一些语言特征（主要是统计特征），来判断一批语料中哪些字符片段可能是一个新词。“新词发现”是一个比较通俗的叫法，更准确的叫法应该是“无监督构建词库”，因为原则上它能完整地构建一个词库出来，而
hellocsz
·
2020-09-10 13:53
机器翻译, 文本生成等任务评价指标 BLEU, ROUGE, PPL(困惑度)
，
N-gram
的精确率，一般N设置为4即可，公式中的Pn指
n-gram
的精确率。Wn指
n-gram
的权重，一般
Shaw_Road
·
2020-08-26 16:13
自然语言处理
NLP
PPL
BLEU
ROUGE
自然语言处理
Kaggle[3] - Job Salary Prediction (Adzuna)
后续会用到，
n-gram
，tfidf建立特征。先看看处理特征的方法。这一块主要是在Title、和FullDescr
杨之之
·
2020-08-26 14:40
Kaggle
python深度学习——深度学习用于文本和序列1
将文本分解而成的单元（单词、字符或
n-gram
）叫作标记（token），将文本分解成标记的过程叫作分（tokenization）。
换种方式生活
·
2020-08-25 01:28
书籍学习
入门NLP新闻文本分类Task4——基于深度学习的文本分类之FastText
学习目标学会FastText的使用和基础原理学会使用验证集进行调参在机器学习的文本处理中，常用One-hot、BagofWords、
N-gram
、TF-IDF来进行文本分类，并使用了sklearn进行了实践
暮雨潇潇_
·
2020-08-24 04:47
机器学习
Python
NLP修炼之旅（Day9）
word2vec词向量原理并实践，用来表示文本词袋模型文本表示分为离散表示与分布式表示，其中词袋模型BoW(Bag-of-words)是
n-gram
语法模型的特例1元模型，该模型忽略掉文本的语法和语序等要素
我就叫小灰灰
·
2020-08-24 04:18
NLP(08)_RNN神经网络语言模型
参考资料:AndrejKarpathy的RNN博客LanguageModel:ASurveyoftheState-of-the-ArtTechnology我们从基于
n-gram
的传统统计语言模型，过渡到典型的前馈神经网络模型和循环神经网络模型
Pei_tian
·
2020-08-24 04:38
nlp
【NLP】天池新闻文本分类（四）——基于深度学习的文本分类1
上一篇是基于机器学习的文本分类，使用的是传统机器学习算法来实现新闻分类建模：介绍了几种文本的表示方法，如One-hot、Bagofwords、
N-gram
、TF-IDF
阿黄一号
·
2020-08-24 02:23
N-gram
统计语言模型(总结)
N-gram
统计语言模型1.统计语言模型自然语言从它产生开始，逐渐演变成一种上下文相关的信息表达和传递的方式，因此让计算机处理自然语言，一个基本的问题就是为自然语言这种上下文相关特性建立数学模型。
阳光的颜色
·
2020-08-24 02:24
经典算法
数学之美
N-gram
特征，浅谈FastText文本分类利器解读（2）
为了弥补这个不足，FastText增加了
N-gram
的特征。何为
N-gram
特征为了处理词顺序丢失的问题，FastText增加了
N-gram
的特征。
蜂口小程序_ IT
·
2020-08-24 02:13
蜂口
知识分享
文本摘要（一） textrank 论文 源码 使用
textrank是个基于图的算法，类似于熟悉的
N-gram
算法，在textrank中每一个词与其前面的N个词以
昕晴
·
2020-08-24 02:29
自然语言处理
零基础入门NLP - 新闻文本分类(五、基于深度学习的文本分类2 - 2 - TextCNN)
TextCNN利用CNN（卷积神经网络）进行文本特征抽取，不同大小的卷积核分别抽取
n-gram
特征，卷积计算出的特征图经过MaxPooling保留最大的特征值，然后将拼接成一个向量作为文本的表示。
FunYoung0407
·
2020-08-23 23:40
NLP
FastText概要
两个用途构建字符级别
N-gram
的词向量实现快速文本分类1.实现快速文本分类结构类似Word2Vec的CBOW模型两者不同点：word2vec：输入为每个单词的one-hot，并通过1~t-1,t+1~
Wzz_Liu
·
2020-08-23 22:59
NLP笔记
cs224n学习笔记 03:Subword Models（fasttext附代码）
课程内容语言学的一点小知识词级字符级模型
n-gram
思想FastText模型1、人类语言声音：语音学和音系学语音学是音流，这是属于物理层面的东西词法学：一个n-grams的代替方案在基于单词的模型中存在一些问题
Irving_III
·
2020-08-22 14:06
自然语言处理
N-Gram
模型预测单词
词嵌入只有先将单词编码为数字，每个单词匹配一个数字，才能传入Embedding中，进行词向量的转化。word_to_ix={'hello':0,'world':1}embeds=nn.Embedding(2,5)hello_idx=torch.LongTensor([word_to_ix['hello']])hello_idx=Variable(hello_idx)hello_embed=embe
长安过客君
·
2020-08-22 14:49
深度学习
仿京东淘宝搜索框实战
搜索框功能主要有3部分组成：智能补全关联数量拼写纠错实现流程ES官方文档建议通过phraseSuggester实行搜索框的自动补全，但这种查询对中文支持不太友好，经常会不做提示；下面我们通过
n-gram
易企秀工程师
·
2020-08-22 14:54
大数据
搜索
R语言文本挖掘tf-idf,主题建模，情感分析,
n-gram
建模研究
原文链接：[](https://www.cnblogs.com/tecda...http://tecdat.cn/?p=6864[](https://www.cnblogs.com/tecda...我们将对1993年发送到20个Usenet公告板的20,000条消息进行分析。此数据集中的Usenet公告板包括新闻组用于政治，宗教，汽车，体育和密码学等主题。预处理我们首先阅读20news-bydat
LT_Ge
·
2020-08-22 14:45
r语言
文本处理
神经机器翻译中的Attention机制
由于NMT不再依赖于
n-gram
计数，而是捕捉文本更高层的含义。基于encoder-decoder的模型NMT系统使用RNN将源语句（比如，一句德语）编码为一个向量，然后同样用RNN将其解码为英语。
u010105243
·
2020-08-22 13:58
自然语言处理
深度学习与机器学习
pytorch入门NLP教程(一)——NNLM
NNLM这里我假定你已经了解了One-Hot编码和
n-gram
的相关知识，现在让我们学习第一个语言模型。
difendDF
·
2020-08-22 13:52
深度学习
NLP
Pytorch实现语言模型
文章目录0.前言1.实现RNN语言模型1.1数据预处理1.2模型构建1.3模型训练和评价2.总结0.前言说到语言模型，可能会想到
n-gram
这一经典的统计语言模型。但是究竟什么是语言模型呢？
LotusQ
·
2020-08-22 13:20
炼丹笔记
cs224n学习1：Word2Vec发展及代码实现
Word2Vec语言模型计算缺点基于马尔科夫的假设
n-gram
模型构造语言模型词向量独热编码语言模型生成词向量word2vecContinuousBagofWords（CBOW）Skip-gram训练技巧目标函数公式推导代码实现语言模型语
Rock_y
·
2020-08-22 12:57
unigrams,bigrams,trigrams
参考自然语言处理中的
N-Gram
模型详解
小楼闻夜雨
·
2020-08-22 03:54
NLP
《Python自然语言处理》学习笔记-第五章
第五章：分类和标注词汇引入①本章将介绍NLP中的一些基本技术，包括序列标注，
N-gram
模型、回退和评估。②词性标注（简称标注）：是将词汇按照它们的词性进行分类和标注的过程。
huangjx36
·
2020-08-22 01:35
自然语言处理
19.有哪些文本表示模型，他们各有什么优缺点
1.词袋模型/
N-gram
每篇文章表示成一个N维向量，每一维度表示一个单词，值为这个词对这篇文章的重要程度，计算公式为：TF-IDF(t,d)=TF(t,d)*IDF(t)其中，TF(t,d)为单词t在文档
haidixipan
·
2020-08-22 01:39
技术面试
Python自然语言处理 5 分类和标注词汇
基本技术，包括序列标注，
N-gram
模型，回退和评估一使用词性标注器text=nltk.word_tokenize("andnowforsomethingcompletelydifferent")nltk.pos_tag
CopperDong
·
2020-08-22 00:10
NLP
N-gram
算法
其基本思想是，由于
N-Gram
比N+1-Gram出现的可能性大的多，所以使用
N-Gram
估计N+1-Gram的概率，例如trigram的计算公式如下：其中，参数l的确定：将训练数据分为两部分，一部分用于估计
小芸
·
2020-08-21 15:17
数据仓库
算法
语言
仿京东淘宝搜索框实战
搜索框功能主要有3部分组成：智能补全关联数量拼写纠错实现流程ES官方文档建议通过phraseSuggester实行搜索框的自动补全，但这种查询对中文支持不太友好，经常会不做提示；下面我们通过
n-gram
易企秀工程师
·
2020-08-21 00:51
大数据
搜索
仿京东淘宝搜索框实战
搜索框功能主要有3部分组成：智能补全关联数量拼写纠错实现流程ES官方文档建议通过phraseSuggester实行搜索框的自动补全，但这种查询对中文支持不太友好，经常会不做提示；下面我们通过
n-gram
易企秀工程师
·
2020-08-21 00:51
大数据
搜索
R语言文本挖掘tf-idf,主题建模，情感分析,
n-gram
建模研究
原文链接：[](https://www.cnblogs.com/tecda...http://tecdat.cn/?p=6864[](https://www.cnblogs.com/tecda...我们将对1993年发送到20个Usenet公告板的20,000条消息进行分析。此数据集中的Usenet公告板包括新闻组用于政治，宗教，汽车，体育和密码学等主题。预处理我们首先阅读20news-bydat
LT_Ge
·
2020-08-21 00:49
r语言
文本处理
R语言文本挖掘tf-idf,主题建模，情感分析,
n-gram
建模研究
原文链接：[](https://www.cnblogs.com/tecda...http://tecdat.cn/?p=6864[](https://www.cnblogs.com/tecda...我们将对1993年发送到20个Usenet公告板的20,000条消息进行分析。此数据集中的Usenet公告板包括新闻组用于政治，宗教，汽车，体育和密码学等主题。预处理我们首先阅读20news-bydat
LT_Ge
·
2020-08-21 00:48
r语言
文本处理
NLP入门（一）之
N-gram
语言模型。
文章来自公众号：【机器学习炼丹术】
N-gram
语言模型
N-gram
是一种语言模型（Languagemodel，这个后面讲），是一种概率模型。
机器学习炼丹术
·
2020-08-20 17:03
人工智能
机器学习
自然语言处理
数据挖掘
NLP入门（一）之
N-gram
语言模型。
文章来自公众号：【机器学习炼丹术】
N-gram
语言模型
N-gram
是一种语言模型（Languagemodel，这个后面讲），是一种概率模型。
机器学习炼丹术
·
2020-08-20 17:02
人工智能
机器学习
自然语言处理
数据挖掘
由浅入深理解 RNN
传统的NLP使用
N-gram
模型来预测，前面N个词影响当前位置的预测结果（此案例中要向前包含到“我”
熊非子
·
2020-08-20 08:57
【Pattern学习】概述
它具有数据挖掘工具（谷歌，推特和维基百科API，Web爬虫，HTMLDOM解析器）、自然语言处理（词性标注、
n-gram
搜索，情感分析，WordNet），机器学习（向量空间模型，聚类，支持向量机）、网络分析和可视化
qq280929090
·
2020-08-19 18:43
Pattern
语音识别/声纹识别的基础概念
N-gram
模型：
N-gram
模型基于一个假设：第N个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现的概率的乘积。
wy_19940822
·
2020-08-19 04:52
深度学习
自然语言处理(NLP)预备知识
#语言模型，Languagemodelhttp://www.statmt.org/book/slides/07-language-models.pdf#自然语言处理中
N-Gram
模型的Smoothing
zhangxiangchn
·
2020-08-18 23:36
自然语言处理
NLP学习记录（三）语言模型
语言模型通俗的来说就是通过语料，计算某个句子出现的概率
N-Gram
（有时也称为N元模型）是自然语言处理中一个非常重要的概念，通常在NLP中，人们基于一定的语料库，可以利用
N-Gram
来预计或者评估一个句子是否合理
只想安静的一个人
·
2020-08-17 15:58
NLP自然语言处理理论篇
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类：
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他