语料第27页

NLP文本语料库

ChineseNlpCorpus搜集、整理、发布中文自然语言处理语料/数据集，与有志之士共同促进中文自然语言处理的发展。

Junruiqwertyuiop·2022-12-08 14:01

70+个NLP语料库数据集

TED演讲数据集女性用户网购服装反馈数据集新闻类别数据集中华古诗数据集中文敏感词库人民日报文章数据集(1979-2010)人民日报文章数据集(1949-1978)1998人民日报标注语料库（PFR）知乎大厂

qazwsxpy·2022-12-08 14:01

4 NLP语料库

文本语料库是一个大型结构化文本的集合NLTK包含了许多语料库：（1）古滕堡语料库（2）网络和聊天文本（3）布朗语料库（4）路透社语料库（5）就职演讲语料库（6）标注文本语料库词汇列表语料库（1）词汇列表

dili8870·2022-12-08 14:31

【NLP】语料库和词汇知识库

语料库(corpus)语料库(corpus)就是存放语言材料的仓库(语言数据库)，基于语料库进行语言学研究–语料库语言学(corpuslinguistics)。

拟禾·2022-12-08 14:30

《论文阅读》Building a Dialogue Corpus Annotated with Expressed and Experienced Emotions

BuildingaDialogueCorpusAnnotatedwithExpressedandExperiencedEmotions简介idea来源数据集结果表明创新点代码未来应用期刊：ACL2022类型：构建两种情感的数据集特点：创建一种带有两种情感的对话语料本文带来

365JHWZGo·2022-12-08 13:46

《深度学习进阶：自然语言处理》读书笔记：第7章基于RNN生成文本

如果语言模型通过语料库正确学习了单词的出现模式，我们就可以期待该语言模型生成的文本对人类而言是自然的、有意义的。这个世界充满了时序数据。文本数据、音频数据和视频数据都是时序数据。

feiwen110·2022-12-08 09:05

PyTorch笔记 - Word Embeddings & Word2vec 原理与源码

blog.csdn.net/caroline_wendy本文地址：https://blog.csdn.net/caroline_wendy/article/details/128227529语言建模基于已有的人类组织的文本语料

SpikeKing·2022-12-08 07:30

文本聚类简单实现

在文本的预处理中，聚类同样可以发挥作用比如在标注语料之前，通常需要从生语料中选取一定数量有代表性的

lllhhhv·2022-12-07 22:26

自然语言处理学习笔记十（文本聚类）

一、概述文本聚类是聚类在文本上的应用，即在不需要标注语料的情况下，在文档层级上，用无监督方法自动找出文档与文档间的关联。

犀利哗啦760596103·2022-12-07 22:56

NLP学习笔记-Seq2Seq实现聊天机器人（六）

所以这里我们从github上使用一些开放的数据集来训练我们的闲聊模型数据地址：https://github.com/codemayq/chaotbot_corpus_Chinese主要的数据有两个：小黄鸡的聊天语料

吃一口桃酥·2022-12-07 21:27

基于CNN-LSTM命名实体识别和关系抽取联合学习

Word2vecGensim训练Word2vec步骤1将语料库预处理：一行一个文档或句子，将文档或句子分词（以空格分割，英文可以不用分词，英文单词之间已经由空格分割，中文预料需要使用分词工具进行分词，常见的分词工具有

毛线岛民·2022-12-07 12:29

GNN在文本分类上的应用 | (2) Text Level Graph Neural Network for Text Classification

他有如下的两个问题：1）TextGCN为整个数据集/语料库构建一个异构图(包括(待分类)文档节点和单词节点),边的权重是固定的(单词节点间的边权重是

CoreJT·2022-12-07 11:28

NLP浅谈语料库

NLP浅谈语料库1.浅谈语料库1.1语料和语料库语料通常指在统计自然语言处理中实际上不可能观测到大规模的语言实例。

授渔·2022-12-07 08:07

python数据挖掘与分析心得体会_Python数据挖掘——文本分析

一、语料库(Corpus)语料库是我们要分析的所有文档的集合。二、中文分词2.1概念：中文分词(ChineseWordSegmentation)：将一个汉字序列切分成一个一个单独的词。

weixin_39793576·2022-12-07 01:48

融合迁移学习与文本增强的中文成语隐喻知识识别与关联研究

首先,爬取成语及其外在事物类别获取外部知识;随后,迁移情感词典获取学习语料,将成语集和情感词典匹配到的成语用于第一轮迁移学习,将情感词典中除首轮测试集

米朵儿技术屋·2022-12-06 23:10

一个简单的语言模型（transformer）的使用，代码逐行解析版

embedding层等importtorch.nnasnn#工具包中装载了网络中那些只进行计算，而没有参数的层importtorch.nn.functionalasF#torch经典文本数据集有关的工具包#可以做文本语料加载

退役熬夜冠军选手·2022-12-06 23:35

Python NLP 入门

情感分析情感分析的重点是在文本语料库中区分意见、态度，甚至是表情符号。因此，定义情感的范

qq_40523298·2022-12-06 22:47

生成式摘要调研

定义新的评价方式——很难，不要做过多讨论看指代消解对摘要是否影响很大，问题——要自己标数据集，查找是否有相应的语料图网络建立，节点间的重合。在这方面进行优化看一下指代消解本身是否有意义，值不值得做。

The Crooked Man·2022-12-06 18:53

【NLP】自然语言处理的语料库与词库

大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流个人主页－Sonhhxg_柒的博客_CSDN博客欢迎各位→点赞+收藏⭐️+留言系列专栏-机器学习【ML】自然语言处理【NLP】深度学习【DL】foreword✔说明⇢本人讲解主要包括Python、机器学习（ML）、深度学习（DL）、自然语言处理（NLP）等内容。如果你对这个系列感兴趣的话，可以关注订阅哟文章目录

Sonhhxg_柒·2022-12-06 16:17

NLP自然语言处理（二）—— 语料及词性标注 & 分词 & TFIDF

通常，NLP无法一下子处理完整的段落或句子，因此，第一步往往是分句和分词分词的话，对于英语句子，可以使用NLTK中的word_tokenize函数，对于中文句子，则可使用jieba模块语料及词性标注词性标注就是给每个词打上词类标签

hxxjxw·2022-12-05 16:32

NLP-文本预处理

文章目录1、文本预处理及其作用2、文本预处理中包含的主要环节3、文本处理的基本方法4、文本张量表示方法5、文本语料的数据分析6、文本特征处理7、数据增强方法1、文本预处理及其作用文本语料在输送给模型之前一般需要一系列的预处理工作

一蓑烟雨紫洛·2022-12-05 12:58

非结构化大数据分析课程设计

目录背景一、语料库1、读入语料库：二、分词1、自定义词典2、词性标注：三、词云1、词频统计2、绘制词云：三、情感分析1、情感分析2、情感数据分析3、绘制情感分析直方图4、绘制词云图5、关键词提取6、积极评论与消极评论占比

随便1111·2022-12-05 09:34

《文本分析》结课报告

一、语料库1、读入语料库：importpandasaspdraw=pd.read_csv(r"C:\Users\Administrator\Desktop\1-8章节python相关资料\金庸-射雕英雄传

随便1111·2022-12-05 09:04

关于gensim库中lda主题模型困惑度和一致性python图像绘制

关于gensim库中lda主题模型困惑度和一致性python图像绘制第三方库使用:matplotlib前期准备函数参数解释num_topics：主题数量corpus：处理过的文档语料texts：二维列表

WUNNAN·2022-12-04 20:56

CCF-NLP走进高校(郑州大学)

www.yanxishe.com/events/ccf-nlp-zzu（一）分享主题：预训练模型在多语言、多模态任务的进展——周明pre-trainedmodel:AnewparadigmofNLP大规模语料库

存在computer·2022-12-04 20:57

人工智能论文术语集11

conveythesameinformation传达相同的信息～一般指语料中表达的真实含义。underthepremiseofguaranteeingvalidity在保证有效的

从416到北京的ZMZ·2022-12-04 18:10

python3 使用fasttext 进行文本分类（一定要用linux ）

直接上代码怎么用，具体原理你参照其他人的环境python3linuxpycharm训练语料文件：具体的文件这里我涉及到业务的问题没办法放出来格式就是excel如下图后面用pandas处理读取这个函数时处理成我们

地主家的小兵将·2022-12-04 17:01

中文医疗NLP领域数据集，论文，知识图谱，语料，工具包

中文评测数据集中文医学知识图谱英文数据集相关论文中文医疗领域语料医学em

zenRRan·2022-12-04 12:06

python 自然语言处理NLP（Chapter 1）

Chapter1语言处理与python用的自然语言工具包是nltk，语言处理任务与相应NLTK模块以及功能描述如下：语言处理任务NLTK模块功能描述获取语料库nltk.corpus语料库和词典的标准化接口字符串处理

王山而RR·2022-12-04 12:19

自然语言处理（nlp) 学习--分词

##day1自然语言处理基础梳理文章目录##day1自然语言处理基础梳理前言一、nlp基本处理流程二、数据库/语料库&数据集/语料分析1.数据库/语料库：2.数据集/语料分析三、基于规则的方法和基于统计的方法

RongYunYunDai·2022-12-04 12:19

Keras生成式学习（五）

举个例子，输入从文本语料中提取的N个字符组成的字符串

東方海竹·2022-12-04 09:36

使用Fairseq进行机器翻译

文件的划分四、Sub-BEP处理五、二值化处理六、进入训练七、使用tensorbord查看训练的结果八、使用模型预测1.生成式翻译2.交互式翻译九、译文处理总结前言使用fairseq工具以及简单的中英文语料使用

DonngZH·2022-12-04 03:12

AI实时质检-基于语义分类模型的实现

语料数据由于涉及信息安全，不能提供，仅提供具体的技术实现过程。首先是模型的选择，我们选择百度语义模型ernie_tiny，选择tiny只是为了训练

wxl781227·2022-12-03 18:15

一个使用公式化序列分类的EAL学术写作的辅助环境

然而，可用的FS语料库是通用的，而且规模非常有限。先前的研究已经报道了使用少量FSs的书面使用FS的有效性。本研究提出了一个通过使用特定领域的FSs来改进学术写作的辅助环境。

xiaoyuji_·2022-12-03 17:45

【NLP】词袋模型（bag of words model）和词嵌入模型（word embedding model）

1.2词袋及编码方法1one-hot编码2TF编码3TF-IDF表示法2词嵌入模型2.1CBOW模型2.2Skip-Gram模型两种模型对比3示例先来初步理解一个概念和一个操作：一个概念：词袋：一张由训练语料得到的词汇表

学渣渣渣渣渣·2022-12-03 08:32

序列模型-NLP和词嵌入

1、词汇表征：one-hot表征、词嵌入2、学习词嵌入word2vec：Word2vec算法是一种简单的计算更加高效的方式来实现对词嵌入的学习Skip-gram：所做的是在语料库中选定某个词（Context

weixin_34132768·2022-12-03 08:01

中文语音识别数据集总结

目录OpenSLR国内镜像1.FreeSTChineseMandarinCorpus2.PrimewordsChineseCorpusSet13.爱数智慧中文手机录音音频语料库（MandarinChineseReadSpeech

buaa996·2022-12-02 16:48

使用kaldi+清华大学开源语料数据集thchs30训练语音识别模型

使用kaldi训练清华大学开源语料数据集thchs301.下载kaldi命令:gitclonehttps://github.com/kaldi-asr/kaldi.git安装过程就不细表了。

nlp_traindata·2022-12-02 16:15

bert 自己语料预训练pre-train、微调fine-tune；tensorflow/pytorch矩阵点乘、叉乘区别

1、bert预训练模型加自己语料再训练pre-train参考：https://github.com/zhusleep/pytorch_chinese_lm_pretrainhttps://github.com

loong_XL·2022-12-02 16:08

Moses使用教程之安装

1.安装环境:Ubuntu16.042.最低软件需求:MosesGIZA++,生成平行语料的词对齐IRSTLM,SRILM,或者KenLM,生成语言模型估计3.安装依赖sudoapt-getinstallbuild-essentialgit-corepkg-configautomakelibtoolwgetzlib1g-devpython-devlibbz2

懵懂小卡通·2022-12-02 12:25

python命名实体识别工具包结巴_分词、词性标注、命名实体识别、句法分析？三行Python代码调用斯坦福自然语言处理工具~...

相较于市面上较为流行的自然语言处理工具，StanfordCoreNLP主要有以下优势：训练语料标注质量较高，中英

Clover青子·2022-12-01 23:26

GPT-2中文文本训练及生成

运行环境导入语料由于使用单一文本进行训练，只需要把数据集放置在./data/train.json即可。如果需要合并txt文本，使用批处理type*.txt>>all.txt即可。模型训练pyth

是木子啦~·2022-12-01 23:53

Zero-shot

什么是Zero-shot在ZSL中，某一类别在训练样本中未出现，但是我们知道这个类别的特征，然后通过语料知识库，便可以将这个类别识别出来。

六六fan·2022-12-01 20:31

Pytorch实现Seq2Seq（Attention）字符级机器翻译

数据集准备数据集我使用的数据集是从B站某个视频拿到的，但是忘了是哪个视频了，是已经排好序的中英平行语料，数据不多，两万多条正适合用来做练习。数据集链接发在csdn了，大家可以去下载。

孤独腹地·2022-12-01 17:30

文本预处理

1.1认识文本预处理学习目标文本预处理及其作用文本语料在输送给模型前一般需要一系列的预处理工作,才能符合模型输入的要求,如:将文本转化成模型需要的张量,规范张量的尺寸等,而且科学的文本预处理环节还将有效指导模型超参数的选择

AI耽误的大厨·2022-12-01 17:59

Pytorch+LSTM 的词汇预测

[email protected]#@FILE:torch_LSTM.py#@Time:2022/6/710:59#@Software:PyCharm#@site:#@Description:采用LSTM进行语料库预测

linxizi0622·2022-12-01 16:53

文本自动生成研究进展与趋势之文本到文本的生成（二）

前言文本生成旨在利用NLP技术，根据给定信息产生特定目标的文本序列，应用场景众多，并可以通过调整语料让相似的模型框架适应不同应用场景。

jinhao_2008·2022-12-01 13:03

一、自然语言处理（新手上路）

自然语言处理层次2.1语音、图像和文本2.2中文分词、词性标注和命名实体识别2.3信息抽取2.4文本分类与文本聚类2.5句法分析2.6语义分析与篇章分析2.7其它高级任务3.NLP发展历史4.机器学习5.语料库前言自然语言处理

卡拉比丘流形·2022-11-30 19:56

CVPR 2021 UniT: Multimodal Multitask Learning with a Unifified Transformer

前人的研究表明，在大型语料库中训练的transformer在一系列的下游语言任务中学习了强大的表征。

smile909·2022-11-30 19:18

【transformer】|基础知识

如图3是编码器和解码器的详细网络结构，编码器由两部分组成自注意力和前馈神经网络层，输入首先通过Word2Vec等词嵌入方法将输入语料转化成特征向量。以512为例。

rrr2·2022-11-30 16:45

推荐频道

语料