E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
n-gram
【NLP】基于深度学习的文本分类应用
作者：罗美君，算法工程师，Datawhale优秀学习者在基于机器学习的文本分类中，我们介绍了几种常见的文本表示方法：One-hot、BagsofWords、
N-gram
、TF-IDF。
风度78
·
2020-08-16 06:27
算法
python
机器学习
人工智能
深度学习
自然语言处理中的
N-Gram
模型详解
登录 | 注册收藏成功确定收藏失败，请重新收藏确定*标题标题不能为空网址标签位置个人主页 - 我的知识同时保存至：选择知识图谱选择知识图谱新建？公开取消收藏分享资讯传PPT/文档提问题写博客传资源创建项目创建代码片设置昵称编辑自我介绍，让更多人了解你帐号设置退出社区博客论坛下载知识库技术问答极客头条英雄会服务JOB学院CODE活动CSTOC币兑换俱乐部CTO俱乐部高校俱乐部白马负金羁数据挖掘|统计
低空飞行的
·
2020-08-15 23:20
从
n-gram
到Bert聊一聊词向量：神经概率语言模型
神经网络语言模型NNLM：论文：Bengio,Yoshua,etal."Aneuralprobabilisticlanguagemodel."http://jmlr.org/papers/volume3/bengio03a/bengio03a.pdf目标是学一个好的模型，分解函数为两个部分：一是V中任何元素i到实数向量的映射C，C表示与词汇表中的每个单词相关联的分布式特征向量。训练时，C由的矩阵表
姬香
·
2020-08-15 15:50
NLP
深度学习
阅读论文
自然语言处理——语言模型(二)
引言本文主要介绍
N-Gram
语言模型相关知识。
N-Gram
从上篇文章，我们知道。
愤怒的可乐
·
2020-08-15 09:22
人工智能
读书笔记
《商业数据分析》读书笔记（十）
词袋呈现；TFIDF计算；N-grams;填充；命名的实体抽取；主题模型为什么文本重要为什么文本困难呈现词袋词组频率测量稀疏性：逆向文件频率组合它们：TFIDF例子：爵士音乐家*IDF和熵的关系词袋之外
N-gram
棒子皮蹦蹦床
·
2020-08-12 00:13
读书笔记
文本相似度-相似度度量
文本相似度目录前言字面距离commonlang库相同字符数莱文斯坦距离(编辑距离)定义实现方式Jaro距离定义实现方式应用SimHash定义基本流程相似性度量存储索引实现应用语义相似性背景知识统计语言模型
n-gram
stay_foolish12
·
2020-08-11 04:08
自然语言处理
R语言文本挖掘tf-idf,主题建模，情感分析,
n-gram
建模研究
原文链接：http://tecdat.cn/?p=6864我们将对1993年发送到20个Usenet公告板的20,000条消息进行分析。此数据集中的Usenet公告板包括新闻组用于政治，宗教，汽车，体育和密码学等主题。预处理我们首先阅读20news-bydate文件夹中的所有消息，这些消息组织在子文件夹中，每个消息都有一个文件。我们可以看到在这样的文件用的组合read_lines()，map()和
qq_19600291
·
2020-08-11 03:41
算法
数据分析
Python自然语言处理nltk库中的一些重要的模块
nltk.stem————字符串处理——————分词，句子分解，提取主干——nltk.collocations————搭配探究——————t检验，卡方检验，点互信息——nltk.tag————词性标识符——————
n-gram
Quanworld
·
2020-08-10 06:49
程序员
相似度-未完待续
如：
N-gram
相似度将文本映射到向量空间，再利用一些基本的相似度算法（如：余弦相似
明星海棠果
·
2020-08-10 01:33
NLP
Deep
Learning
第16天：NLP——语言模型(下)
上一篇文章我们介绍了语言模型的相关理论，包括NosiyChannelModel、ChainRule以及很典型的MarkovAssumption，另外就是介绍了Unigram、Bigram以及
N-gram
stefan之风起长林
·
2020-08-09 18:14
NLP学习
深度学习之Image captioning的评分指标篇（BLEU、CIDEr）
BLEU参考：https://www.cnblogs.com/by-dream/p/7679284.htmlBLEU采用一种
N-gram
的匹配规则+召回率+惩罚因子组合方式。
一只帅气的小菜鸡
·
2020-08-09 01:08
深度学习
NLP点滴——文本相似度
目录前言字面距离commonlang库相同字符数莱文斯坦距离(编辑距离)定义实现方式Jaro距离定义实现方式应用SimHash定义基本流程相似性度量存储索引实现应用语义相似性背景知识统计语言模型
n-gram
weixin_30745641
·
2020-08-08 23:39
无监督分词中ngram片段的基础特征总结
无监督分词，主要思路就是从未标注的语料(生语料)中抽取
n-gram
片段，然后计算这些n-grams的特征，进而根据这些特征判别哪些是“词”，哪些不是“词”。然后根据这些特征对字符串进行分词。
wangliang_f
·
2020-08-08 23:05
分词
统计分词/无字典分词学习(2):
n-gram
词频统计
第一步肯定是找到所有可能是词的片段了，常用的方法就是
n-gram
切分了，如假设词的最大长度是3，则句子“abcd”的
n-gram
切分就是：1-gram切分：abcd2-gram切分：abbccd3-gram
wangliang_f
·
2020-08-08 23:05
分词
动手学深度学习Pytorch版本学习笔记整理链接
Task01线性回归模型，softmax分类模型，多层感知机笔记链接Task02文本预处理，传统的
n-gram
模型，循环神经网络基础笔记链接Task03过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶笔记链接
夜灬凄美
·
2020-08-08 16:51
深度学习之——word2vec
离散表示的代表就是词袋模型，one-hot（也叫独热编码）、TF-IDF、
n-gram
都可以看作是词袋模型。分布式表示也叫做词嵌入（wordembed
小鱼儿的博客
·
2020-08-08 02:32
NLP学习笔记
word2vec
NLP 文本表示：从one-hot到word2vec
文本表示可分为离散表示（离散、高维、稀疏）：代表就是词袋模型，one-hot（也叫独热编码）、TF-IDF、
n-gram
都可以看作是词袋模型。
533_
·
2020-08-07 16:09
NLP
DPCNN做文本分类《Deep Pyramid Convolutional Neural Networks for Text Categorization》
模型本文提出的模型为Word-leveldeeppyramidCNN(DPCNN)，其结构如下图所示：1.Regionembedding这个步骤可以理解为，将onehotlookup(或
n-gram
，bow
ttv56
·
2020-08-06 13:09
自然语言处理
基于jieba中文分词进行
N-Gram
jieba提供很好的中文分词，但是并没有提供
N-Gram
；sklearn的CountVectorizer能提供很好的
N-Gram
分词，但却没有jieba那么对切词灵活，下面就介绍基于jieba分词进行
N-Gram
姚贤贤
·
2020-08-06 10:42
机器学习
第3章 词性标注（pos、
N-gram
、NER等标注器）
第3章词性标注1.什么是词性标注？词性（POS）主要指比如名词，形容词，动词等等。虽然目前最先进的词性标注算法在预测给定单词的词性上已经有了较高的精确度（约97％）。首先，我们需要学习一些现成的POS标注器。主要的词性有哪些呢？标签相关说明NNP专用名词的单数形式NNPS专用名词的复数形式PDT前置限定词POS所有格结束符PRP人称代词PRP$所有格代词RB副词RBR相对副词RBS最高级副词RP小
LYsdu
·
2020-08-06 10:19
N-Gram
sklearn实战-乳腺癌细胞数据挖掘（博主亲自录制视频教程）https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=shareN-Gram是大词汇连续语音识别中常用的一种语言模型，对中文而言，
weixin_34038652
·
2020-08-04 20:18
Kenlm的使用
安装
N-gram
语言模型打分，我使用的是kenlm，kenlm是基于cmake编译的C++程序，非root权限下需要指定几个参数，还有一些依赖包需要手动装。
摸鱼的辉辉酱
·
2020-08-03 16:55
NLP入门（一）之
N-gram
语言模型。
文章来自公众号：【机器学习炼丹术】
N-gram
语言模型
N-gram
是一种语言模型（Languagemodel，这个后面讲），是一种概率模型。
机器学习炼丹术
·
2020-08-01 11:55
人工智能
机器学习
自然语言处理
数据挖掘
[深度学习概念]·主流声学模型对比
也正是因为如此，语音识别的模型也层出不穷，其中语言模型包括了
N-gram
、RNNLM等，在声学模型
小宋是呢
·
2020-07-30 19:48
深度学习
深度学习概念
深度学习概念
智能纠错（
N-gram
、编辑距离、转化拼音）
frombasicInfoimportBasicInfoimportjiebafrompypinyinimportpinyin,lazy_pinyinfromdataServerimportDataServerclassErrorRecovery(object):def__init__(self,dataSer):self.basic=BasicInfo()self.data=dataServer
macb007
·
2020-07-30 08:10
python技能
2.文本分类——fastText模型
文章目录一、fastText简介二、fastText模型架构三、层次softmax四、
N-Gram
特征五、使用fastText进行文本分类实践六、参考一、fastText简介fastText算法是一种有监督的模型
晴晴_Amanda
·
2020-07-29 22:53
文本分类
fasttext原理与实战
参考文档：https://zhuanlan.zhihu.com/p/32965521一、模型框架二、核心思想将输入文档的词及
n-gram
的向量叠加平均得到文档向量；然后采用文档向量做softmax的多分类
默默沉淀
·
2020-07-29 20:28
算法
NLP之新闻文本分类——Task4
Task4——基于深度学习的文本分类fasttext1.文本表示方法现有文本表示方法的缺陷：在上一章节，我们介绍几种文本表示方法：One-hot、BagofWords、
N-gram
、TF-IDF但上述方法都或多或少存在一定的问题
Jone.D
·
2020-07-29 15:59
NLP
深度学习
机器学习
python
FastText的实践小结
对于文本分类任务，fasttext引入了
n-gram
特征，可以更好获得句子的语义特征。另外fasttext对于类别数较多时，也采用Hierarchicalsoftmax来降低计算复杂度。
jingyi130705008
·
2020-07-29 10:33
深度学习
NLP面试知识点整理（2）：fastText
目录1.字符级别的n-gram2.模型架构3.fastText的优点4.代码实现1.字符级别的
n-gram
英语单词通常有其内部结构和形成⽅式。
xz23333
·
2020-07-29 08:39
NLP
新闻本文分类-04 基于fastText的文本分类
BagofTricksforEfficientTextClassification1.fastText模型剖析1.1概念FastText是一种典型的深度学习词向量的表示方法，它的核心思想是将整篇文档的词及
n-gram
cymx66688
·
2020-07-29 08:45
新闻文本分类
nlp
语言模型1（
N-Gram
）：进行NLP的基础
自然语言处理（naturallanguageprocessing，NLP）是近年来发展十分迅速的一门涵盖自然语言学、数学与计算机科学的交叉性学科，研究的是在人与人交际中以及人与计算机交际中的语言问题。在现今社会中应用十分频繁，其中就有我们日常使用的语音识别输入、中英文翻译等。它不仅是社会需求十分巨大的应用技术，也是一门具有非常重要科学意义的自然科学。要掌握NLP，我们需要有概率论、信息论等预备知识
温柔目光
·
2020-07-15 20:28
自然语言处理
语言模型2：二元文法求句子概率代码
回顾如果想再一次回顾语言模型的理论知识，可以直接点击语言模型（
N-Gram
）语料库：研究生物很有意思。他是研究应用。踏实研究生物的。他实验救生物的。他大学时代是研究生物的。生物专业是他的首选目标。
温柔目光
·
2020-07-15 20:28
自然语言处理
自然语言处理之Word2Vec视频课程
课程目录001、课程简介002、自然语言处理与深度学习003、语言模型004、
N-gram
模型005、词向量006、神经网络模型007、HierarchicalSoftmax008、CBOW模型实例009
m0_46238290
·
2020-07-14 15:21
sklearn中fit、transform、fit_transform
例如
N-gram
模型中文本特征提取，fit后可以得到feature_names（一个单词顺序词组），某些词会组成词组作为单独的特征放到向量表示中去。
ErinLiu❤
·
2020-07-13 07:08
sklearn
语音识别技术之连续语音识别
|X_1)*P(X_3|X_1,X_2)*P(X_4|X_1,X_2,X_3)P(X1,X2,X3,X4)=P(X1)∗P(X2∣X1)∗P(X3∣X1,X2)∗P(X4∣X1,X2,X3)常见形式为
N-Gram
墨香染墨色
·
2020-07-12 13:21
笔记
Web Scraping with Python 学习笔记7
Chapter7:CleaningYourDirtyDataCleaninginCode首先简单介绍一下
N-Gram
，
N-Gram
是大词汇连续语音识别中常用的一种语言模型，对中文而言，我们称之为汉语语言模型
struggleee_luo
·
2020-07-12 01:56
Python语言学习
文本处理
文本向量化及词袋模型 - NLP学习（3-1）
Tokenization）-NLP学习（1）N-grams模型、停顿词（stopwords）和标准化处理-NLP学习（2）之前我们都了解了如何对文本进行处理：（1）如用NLTK文本处理库将文本的句子成分分成了
N-Gram
asdv78901
·
2020-07-11 02:24
自然语言处理 学习笔记（二）
笔记：学习材料CS124、COSC572和《SpeechandLanguageProcessing》第三版自然语言处理学习笔记（二）1.语言模型(languagemodeling)1.1.概率语言模型（
N-gram
VinceLim
·
2020-07-10 10:57
自然语言处理入门
Elastic search
N-gram
tokenizer
N-gramtokenizerngram分词器，首先将text文本切分，执行时采用
N-gram
切割算法。N-grams算法，就像一个穿越单词的滑窗，是一个特定长度的持续的字符序列。
InvQ
·
2020-07-10 05:59
elasticsearch
ROUGE和pyrouge的安装
该方法中考虑的重叠单元有
n-gram
,wordsequences,word-pairs等，并提出了四个测量标准ROUGE-N,ROUGE-L,ROUGE-W,ROUGE-S。
冷漠的蓝炮仗
·
2020-07-10 04:43
服务器
FastText算法调研
介绍字符级别的
n-gram
模型架构分层softmax分类例子HashingTricks结论和思考参考介绍FastText是Facebook于2016年开源的一个词向量计算和文本分类工具，在学术上并没有太大创新
舟
·
2020-07-09 14:13
数据挖掘/机器学习
fasttext算法原理及使用
fastText的核心思想就是：将整篇文档的词及
n-gram
向量叠加平均得到文档向量，然后使用文档向量做softmax多分类。
Cherzhoucheer
·
2020-07-09 07:30
特征工程
机器学习
NLP学习笔记（二）：创建特征及训练（关键词：词袋，TFIDF）
需要提及的是，本次只是单纯的从原始数据中创建特征，未涉及到wordembedding（词向量）等操作，也未涉及到
n-gram
等牵涉到语序的模型。
yyhhlancelot
·
2020-07-09 04:50
自然语言处理
L25词嵌入进阶GloVe模型
已经能够成功地将离散的单词转换为连续的词向量，并能一定程度上地保存词与词之间的近似关系，但Word2Vec模型仍不是完美的，它还可以被进一步地改进：子词嵌入（subwordembedding）：FastText以固定大小的
n-gram
xiuyu1860
·
2020-07-09 02:43
伯禹-训练营pytorch入门
笔记
历史回顾——NLP问题解决方案的演变史
基于总体概括的算法（例如，文字袋（bag-of-words））证明了不足以捕捉文本的连续性，而
n-gram
努力克服这些困
weixin_34248849
·
2020-07-08 17:34
常用中文分词方法
四、
N-gram
双向最大匹配基于字符串的分词方法中的正向最大
佳佳holiday
·
2020-07-08 11:57
TF-IDF方法提取文本特征--TfidfVectorizer 工具
前言从基本的内容讲起，我们可以利用TF-IDF来提取文本特征，在python中有TfidfVectorizer这中工具可以方便我们使用，对所有样本分词，并且通过设置
N-gram
来获得特征，然后以这些词作为维度特征对每个样本向量化
予亭
·
2020-07-08 03:13
学术
多线程微服务模型预测
导入必备的工具包importjsonimportthreadingimportrequestsfromsklearn.externalsimportjoblib#从任意的模型训练文件中导入add_ngram增加
n-gram
baihaisheng
·
2020-07-08 01:27
NLP
神经网络
数据挖掘
自然语言处理
基于
N-gram
的双向最大匹配中文分词
•摘要这次实验的内容是中文分词。将一个句子的所有词用空格隔开，将一个字串转换为一个词序列。而我们用到的分词算法是基于字符串的分词方法中的正向最大匹配算法和逆向最大匹配算法。然后对两个方向匹配得出的序列结果中不同的部分运用Bi-gram计算得出较大概率的部分。最后拼接得到最佳词序列。•理论描述中文分词指的是将一个汉字序列切分成一个一个单独的词。双向最大匹配算法是两个算法的集合，主要包括:正向最大匹配
果7
·
2020-07-07 18:03
NLP（自然语言处理）
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类：
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他