语料第30页

【0x0001】文本生成：从零实现的char-RNN

在我兴致勃勃找到他的源码后，却发现不是自己想的那样，原作者并没有使用任何的NLP算法，只是使用程序在语料库中进行的随机摘抄[2]。短短54行代码就实现了这么高大上的功能，我等自然也不能浪费这个创意，

Lonficer·2022-11-21 12:38

python文本数据分析-新闻分类任务

python文本数据分析-新闻分类任务文本分析文本数据停用词：1.语料中大量出现；2.没啥大用；3.留着过年嘛？所以根据停用词表进行筛选，去掉这些停用词。

最白の白菜·2022-11-21 11:24

30天数据分析与机器学习实践之Day16——Python文本数据分析：新闻分类任务

30天数据分析与机器学习实践之Day16——Python文本数据分析：新闻分类任务一、文本分析与关键词提取1.1文本数据1.2停用词1.语料中大量出现2.没啥大用3.留着过年嘛？

名功·2022-11-21 11:24

NLP常用知识点总结

，需要总结下自然语言处理的方方面面和常用知识点NLP领域首先总结NLP主要研究问题：机器翻译实体识别文本分类问答系统自动摘要情感分析阅读理解对话机器人机器写作语音识别NLP研究方法1.语言模型定义通过语料计算某个句子出现的概率

饥渴的小苹果·2022-11-21 09:16

知识图谱学习笔记（五）——实体识别（2）

实体识别（信息抽取）知识图谱学习笔记（五）——实体识别(1)2.信息抽取的基础：分词和词性标注2.6基于统计的分词方法基于统计的方法需要标注训练语料训练模型，可分为生成式统计分词和判别式统计分词2.6.1

Aidanmomo·2022-11-21 04:22

lda主题模型的可视化_Gensim LDA主题模型实验

本文利用gensim进行LDA主题模型实验，第一部分是基于前文的wiki语料，第二部分是基于Sogou新闻语料。

清水荷叶粥·2022-11-21 03:17

词典构造方法之LDA主题模型

词典构造方法之LDA主题模型主题模型LDA原理理解LDA是一种非监督学习技术，可以用来识别大规模文档集（documentcollection）或语料库（corpus）中潜藏的主题信息。

笑傲NLP江湖·2022-11-21 03:03

spacy库的安装与使用_自然语言处理库nltk、spacy安装及配置方法

nltk配置安装nltk库，命令行输入以下命令pip3installnltk有些时候的nltk代码需要语料库才能运行，nltk语料库很庞大,这时候运行下面的python代码，就会下载语料库importnltknltk.download

编剧学徒·2022-11-20 23:12

利用python进行自然语言处理学习笔记——chap2

第二章.获得文本语料与词汇资源语料库和相关资源条件概率分布3.WordNet古登堡语料库：ProjectGutenbergimportnltknltk.corpus.gutenberg#includingfileids

foursight·2022-11-20 22:40

维基百科中文语料分析（附实际评论案例）

这个维基百科中文语料库在网上有很多资源，我就

py学习小白·2022-11-20 17:13

论文笔记 Inter-sentence Relation Extraction with Document-level Graph Convolutional Neural Network

一、动机为了抽取文档级别的关系，许多方法使用远程监督（distantsupervision）自动地生成文档级别的语料，从而用来训练关系抽取模型。

庞加莱·2022-11-20 15:11

语音识别笔记

语言模型表示一个个词串（如何结合了词典，就可以成为一个个音素串）它们在语料库中出现的概率大小（比如，不合语法的词串（句子）概率接近0，很合乎语法的词串概率大）；3.什么是解码器解码器就是基于Viterbi

zh515858237·2022-11-20 14:27

语音识别语言模型介绍

语言模型建模过程中，包括词典、语料、模型选择，对产品的性能有至关重要的影响。语言模型的建模需要利用复杂的模型公式进行模拟计算，是人工智能领域的关键技术之一。

道法—自然·2022-11-20 14:26

谷歌采样修正的双塔模型

weixin_42453761·2022-11-20 14:05

correct-softmax:谷歌youtube召回修正样本采样双塔模型

1.简介本文介绍谷歌团队在2019年提出的基于采样偏差修正的双塔模型对大规模语料进行召回推荐。

rosefunR·2022-11-20 13:21

pytorch下使用BiLSTM_CRF完成命名实体识别（BiLSTM_CRF的NER任务）

理论部分有空再写..全部实现实践代码环境：pytorch1.3.1;sklearn;tqdm训练语料：链接：https://pan.baidu.com/s/1Pa42E2q9fZ2zXLJ7vLvx8g

Richard_Kim·2022-11-20 03:30

GPT2模型详解

OpenAI组织在2018年于GPT模型的基础上发布的新预训练模型，其论文原文为language_models_are_unsupervised_multitask_learnersGPT2模型的预训练语料库为超过

zhurui_xiaozhuzaizai·2022-11-19 20:48

利用python分析电商_基于Word2Vec+SVM对电商的评论数据进行情感分析

Word2Vec-sentiment基于Word2Vec+SVM对电商的评论数据进行情感分析首先是利用word2vec对正负评论数据进行词向量训练，然后利用SVM分类器对语料进行分类，具体的过程如下：第一步

weixin_39890452·2022-11-19 12:02

gensim Word2Vec 训练和使用(Model一定要加载到内存中，节省时间！！！)

训练模型利用gensim.models.Word2Vec(sentences)建立词向量模型该构造函数执行了三个步骤：建立一个空的模型对象，遍历一次语料库建立词典，第二次遍历语料库建立神经网络模型可以通过分别执行

weixin_30877227·2022-11-19 12:31

论文阅读：Neural Snowball for Few-Shot Relation Learning

名词介绍实例：这里实例指的实际上就是语料库中的句子最终目的针对每一个新关系r，训练得到一个

Accepted_Lam·2022-11-19 10:51

初学NLPday1笔记部分

2.了解两个最常见的语料库：nltk（英文语料库，具有分类，分词多种功能）jieba（中文语料库，这个库是github开源并且在不断更新的一个语料库，随着网络语言的发展，词汇与语料不断增多）3.一条文本的处理流程

WJY991202·2022-11-19 08:04

Vision Transformer（ViT）

论文地址：https://arxiv.org/pdf/2010.11929v2.pdf基于纯自注意力机制的Transform模型，现在在自然语言处理领域占据着首要的地位，它主要是在大型文本语料库上进行预训练

Seven7_Lu·2022-11-19 07:55

基于TextRank算法的单领域多文本摘要（英文摘要）

文章目录基于TextRank算法的单领域多文本摘要一、实现步骤二、语料tennis_articles_v4.csv三、实现代码四、实现效果基于TextRank算法的单领域多文本摘要一种抽取式的无监督的文本摘要方法详细介绍可看

篱下浅歌生·2022-11-19 07:43

[语音识别] kaldi -- aidatatang_200zh脚本解析: run.sh

/path.sh#定义语料库位置和下载路径data=/DATA/disk1/ASRdata_url=www.openslr.org/resources/62#下载数据##输入：语料库位置（$data）数据下载路径

MachineLP·2022-11-19 04:39

【新手入门】课程10-深度学习进阶NLP-机器翻译

数据预处理：将每个源语言到目标语言的平行语料

dadliao·2022-11-19 04:54

Kaldi语音识别技术(四) ----- 完成G.fst的生成

Kaldi语音识别技术(四)-----完成G.fst的生成文章目录Kaldi语音识别技术(四)-----完成G.fst的生成一、N-Gram语言模型简介二、环境准备srilm工具的安装三、文件准备(一)准备语料

Python-AI Xenon·2022-11-19 04:47

学习笔记：情感分析

一、项目目标（一）将Twitter数据集可视化，制作出直方图、词云等；（二）掌握LSTM算法原理；（三）学会利用NLTK语料库进行数据清洗；（四）可以用深度学习进行预测分析。

海盐味的小圆饼·2022-11-19 02:22

高频词汇快背

柯林斯词典有一个高达2.5亿的语料库，从语料库中筛选出了最常用的14450词用五星标注。

treasureB·2022-11-18 14:02

NLP自然语言处理学习笔记（十一）（转自咕泡AI）

至于回答的问题的类型，取决于我们的语料。

程哥哥吖·2022-11-17 20:35

自然语言处理学习笔记七(词性标注)

不同的语料库采用不同的词性标注集，一般含有形容词、动词、名词等常见词性。1.2词性的用处词性的作用就是提供词语的抽象表示，词性支撑许多的高级应用，当下游应用遇到OOV时，可以通过OOV的词性猜测用法。

犀利哗啦760596103·2022-11-17 20:05

中文词向量：word2vec之skip-gram实现（不使用框架实现词向量模型）

代码中使用的中文语料，停用词语料，之后的英文语料：链接：https://pan.baidu.com/s/1XshI0_zRu9NzBSiGXi8U7A提取码：csg6介绍在自然语言处理任务中，首先需要考虑词如何在计算机中表示

Richard_Kim·2022-11-16 16:47

nlp-with-transformers系列-04_多语言命名实体识别

到本章为止，我们已经使用Transformers模型来解决英文语料的NLP任务，但如果我们语料是用Greek,Swahili或者Klingon等语言组成，现在怎么办？

致Great·2022-11-15 09:14

python基于神经机器翻译技术的翻译网站实现

在训练神经机器翻译模型时，首先对原始语料数据集进行清洗，去除长度占比不合理的句子与含有违法字符的语句，随后使用分词组件对语料进行第一轮分词，第一轮分词后使用BPE（字节对编码）算法对词级别的语料进一步切分

weixin_ancenhw·2022-11-15 09:13

【Transformer】Syntax-augmented Multilingual BERT for Cross-lingual Transfer 阅读笔记

Syntax-augmentedMultilingualBERTforCross-lingualTransferAbstract近年来，我们发现，通过使用许多语言的大型语料库来预训练多语言文本编码器来促进跨语言迁移学习

Vincy_King·2022-11-15 09:43

《Monolingual and Cross-Lingual Intent Detection without Training Data in Target Languages》论文的研读

我就是我2333·2022-11-15 09:43

论文笔记：Cross-Lingual Semantic Role Labeling with High-Quality Translated Training Corpus

基于高质量翻译训练语料库的跨语言语义角色标注摘要介绍2相关工作3SRLTranslation（SRL翻译）4TheSRLModel4.1WordRepresentation（词语表征）4.2EncodingLayer4.3OutputLayer5Experiments5.1UniversalPropositionBank5.2SRLTranslation5.3Settings5.4Cross-Li

帅帅梁·2022-11-15 09:11

知识图谱从0到-1的笔记——4.知识抽取与知识挖掘

数据源）：1.2信息抽取、知识抽取的区别与联系1.3知识抽取的基本流程及相关任务2.面向结构化数据的知识抽取1.2.1直接映射DM1.2.2R2RML3.面向非结构化数据的知识抽取3.1实体抽取3.3.1语料标注

大墅哥哥·2022-11-14 13:17

【高级RNN】预训练词嵌入导入文本分类任务——GLOVE模型

使用无监督方法从头训练词向量通常需要极大的语料库。在实践中，我们使用预训练的词嵌入,这些词嵌入是从巨大语料库上训练的，可以通过网络获取。在本文中，我们将展

FallenDarkStar·2022-11-14 12:33

NLP小白学习路线(2)——Glove模型

上一篇我们讲到了，怎么让计算机理解人类的语言，那就是构建让计算机可以理解的one-hot向量，但是由于语料库太庞大，one-hot容易导致维度灾难，并且不能计算词之间的相似性，所以我们引入了WordEmbedding

yuting_·2022-11-14 12:02

NLP ——GloVe

顾名思义，该模型用到了语料库的全局特征，即单词的共现频次矩阵，并且，其优化目标函数是对数线性的，并用回归的形式进行求解。本质上是对共现矩阵进行降维。

Cater Chen·2022-11-14 11:30

NLP的Glove模型

总体上看，GloVe模型是一种对“词-词”矩阵进行分解从而得到词表示的方法Glove模型是基于语料库构建词的共现矩阵，然后基于共现矩阵和GloVe模型对

hxxjxw·2022-11-14 11:26

Zero-shot learning（零样本学习）

在ZSL中，某一类别在训练样本中未出现，但是我们知道这个类别的特征，然后通过语料知识库，便可以将这个类别识别出来。ze

weixin_30426957·2022-11-14 09:19

Nltk——语料库

自带的语料库在nltk.corpus包下，提供了几类标注好的语料

big_matster·2022-11-11 08:47

SnowNLP使用自定义语料进行模型训练（情感分析）

SnowNLPSnowNLP是一个功能强大的中文文本处理库，它囊括了中文分词、词性标注、情感分析、文本分类、关键字/摘要提取、TF/IDF、文本相似度等诸多功能，像隐马尔科夫模型、朴素贝叶斯、TextRank等算法均在这个库中有对应的应用。如果大家仔细观察过博主的博客，就会发现博主使用了摘要提取这一功能来增强博客的sEO，即通过自然语言处理(NLP)技术，提取每一篇文章中的摘要信息。因为SnowN

艾派森·2022-11-11 07:37

CHIP-2020 中文医学文本实体关系抽取

一、数据集CHIP-2020-2中文医学文本实体关系抽取数据集数据集包含儿科训练语料和百种常见疾病训练语料，儿科训练语料来源于518种儿科疾病，百种

世界划水锦标赛冠军·2022-11-11 00:17

百分点认知智能实验室：如何打造工业级的机器翻译

语料如何处理？在本篇文章中，百分点认知智能实验室基于多年的经验积累，分享了百分点科技在工业级机器翻译领域的技术

Percent_bigdata·2022-11-10 12:52

深度学习进阶：自然语言处理入门：第2章自然语言和单词的分布式表示

自然语言处理入门第2章自然语言和单词的分布式表示2.1什么是自然语言处理单词含义2.2同义词词典2.2.1 WordNet2.2.2 同义词词典的问题2.3基于计数的方法（*）2.3.1 基于Python的语料库的预处理语料库的准备工作

xiao52x·2022-11-10 10:38

动手学深度学习（十二、自然语言处理进阶知识）

动手学深度学习（十二、自然语言处理进阶知识）一、求近义词和类比词在大规模语料上预训练的词向量常常可以应用于下游自然语言处理任务中。可以应用预训练的词向量求近义词和类比词。

jiangchao98·2022-11-10 10:33

跑实验_word2vector词向量实现_基于搜狗新闻预料+维基百科

文章目录1运行代码0设备环境1.获取语料库2.语料库预处理3.训练4.开动！

surrender2u·2022-11-07 23:26

自然语言处理从零到入门词干提取与词形还原

Stemming2.2、词形还原-Lemmatisation三、词干提取和词形还原的4个相似点四、词干提取和词形还原的5个不同点五、3种主流的词干提取算法六、词形还原的实践方法总结参考词干提取和词形还原是英语语料预处理中的重

BlackStar_L·2022-11-07 23:24

推荐频道

语料