语料

聊天机器人语料批量处理-自动提取关键词并自动写入文件

介绍：目前市面上的大多数聊天机器人（如图灵机器人）仍是基于规则来人为添加语料（尤其是专业问题）。作者在工作过程中发现专业问题语料数量庞大，人为去添加关键词耗时耗力。
weixin_33895475·2020-08-09 00:57

无监督分词中ngram片段的基础特征总结

无监督分词，主要思路就是从未标注的语料(生语料)中抽取n-gram片段，然后计算这些n-grams的特征，进而根据这些特征判别哪些是“词”，哪些不是“词”。然后根据这些特征对字符串进行分词。
wangliang_f·2020-08-08 23:05

统计分词/无字典分词学习(2):n-gram词频统计

我们现在面对的是“wheninthecourseofhumaneventsitbecomesnecessary”这样一堆语料，要获取词典，怎么办？
wangliang_f·2020-08-08 23:05

doc2vec计算文档相似度

使用过程1.读取文件，os.walk()遍历文件夹2.构建语料库，分词，过滤停用词。用gensim.models.doc2vec.TaggedDocument()为文档打tag3.创建modelmo
母神·2020-08-08 22:25

使用DL4J读取词向量并计算语义相似度

/blog.csdn.net/svenhuayuncheng/article/details/79073883笔者按在将词向量用于语义相似度计算时，如笔者前文所述：Windows系统下使用维基百科中文语料训练
龙前尘·2020-08-08 21:21

【分享】2600人中文普通话手机语音数据库（样例 男）

数据介绍不同籍贯、性别的发音人在手机环境下录制的中文普通话语料，所有数据均做过人工转写。可用于手机语音识别研发。实际参加录音人数3000多人，平均每人300句。
狗熊不偷白菜·2020-08-08 21:39

机器学习入门 --- 贝叶斯 - 中文新闻分类任务

文本分析停用词语料中大量出现，但没有大的用处Tf-idf关键词提取TF−IDF=词频(TF)∗逆文档频率(IDF)TF-IDF=词频(TF)*逆文档频率(IDF)TF−IDF=词频(TF)∗逆文档频率(
六之·2020-08-08 20:51

基于Python和图灵机器人的图灵测试系统--（20180522人工智能作业）

和图灵机器人的图灵测试系统姓名郭畅院系计算机科学与技术学院学号153921015实验地点理工楼二栋二楼实验时间2018.5.22实验课表现出勤、表现得分实验报告得分实验总分操作结果得分实验目的：结合百度图灵机器人接口，自己更新相应的语料库
郭畅小渣渣·2020-08-08 20:06

中文语料 自动分词、标注词性 工具

基于已有的第三方网站在线语料切分，分析其获取规则，制作的小小的工具参数均为须标注的文章或字符串，返回值均为标注好词性的内容链接如下：语料库在线传媒语言语料库在线分词标注系统请合理使用，勿频繁使用它们的接口
匆匆流年。·2020-08-08 17:48

1012

另一个类似的工具afl-cmin采用了类似的技巧来消除任何大型测试语料库中的冗余文件。
MuMuLee_·2020-08-08 13:47

常用音频数据库记录

TheDARPATIMITAcoustic-PhoneticContinuousSpeechCorpus,是由德州仪器(TI)、麻省理工学院(MIT)和坦福研究院(SRI)合作构建的声学-音素连续语音语料库
weixin_33834628·2020-08-08 11:18

Doc2vec计算文本相似度

算法的主要思想在以下两个方面：训练过程中新增了paragraphid，即训练语料中每个句子都有一个唯一的id。
咘叮的米粉·2020-08-08 11:17

pytorch 学习笔记 part 6 循环神经网络基础

1.从零开始实现循环神经网络读入数据还是使用周杰伦的歌词作为语料importtorchimporttorch.nnasnnimporttimeimportmathimportsyssys.path.append
符尔摩斯·2020-08-08 11:42

智能问答中的NLU意图识别流程梳理

NLU意图识别的流程说明基于智能问答的业务流程，所谓的NLU意图识别就是针对已知的训练语料(如语料格式为\((x,y)\)格式的元组列表，其中\(x\)为训练语料，\(y\)为期望输出类别或者称为意图)
yhzhou·2020-08-08 08:00

第六章（1.2）自然语言处理实战——打造属于自己的中文word2vector工具

一、环境python3.6安装anaconda安装jieba安装gensim安装IDEA编辑器安装二、实战演练训练语料source.txt9月12日随着颁奖典礼的结束,我院获得了商委系统运动会系列活动之一
两只橙·2020-08-08 01:50

CRF的简单应用--【中文分词】

首先需要训练的语料，这个越大越好，但是为了处理方便只用了80M的语料啊，下载可以从这里http://pan.baidu.com/s/1bnhXX6Z当然这个是我们的一般的语料，想要成为CRF++的训练数据还需要进行加工一番
Assassin__is__me·2020-08-08 00:38

Python-实现筛选出文件夹下含有特定名字的文件

当我为所有测试语料都用拼音命名完后，遇到要按不同的产品挑出对应词条的语料，在几千个文件里一次挑一个太慢了。挑几百个我就想歇菜了。那可以不可以有个方法一次性挑出所有我想要的文件，答案是：有！
zkw_1998·2020-08-07 23:49

垃圾邮件分类实战(SVM)

1.数据集说明trec06c是一个公开的垃圾邮件语料库，由国际文本检索会议提供，分为英文数据集（trec06p）和中文数据集（trec06c），其中所含的邮件均来源于真实邮件保留了邮件的原有格式和内容,
weixin_30448603·2020-08-07 19:31

R语言文本挖掘tm包详解（附代码实现）

4OCR5常用算法6文本挖掘处理流程7相应R包简介8文本处理词干化stemmingsnowball包记号化TokenizationRWeka包中文分词Rwordseg包9tm包常用操作介绍tm包具体操作建立语料库导出语料库语料库检索和查看元数据查看与管理词条
ABeM·2020-08-07 16:42

深入浅出讲解语言模型

（词语序列）它的概率可以表示为：可是这样的方法存在两个致命的缺陷：參数空间过大：条件概率P(wn|w1,w2,..,wn-1)的可能性太多，无法估算，不可能有用；数据稀疏严重：对于非常多词对的组合，在语料库中
茅坤宝骏氹·2020-08-07 15:05

文本表示：从one-hot到word2vec

假设在一个语料集合中，一种有n个不同的词，则可以使用一个长度为
张酒肉·2020-08-07 11:09

基于TF-IDF对文本向量化

TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。
ogghanxi·2020-08-07 10:05

几个小技巧，LSTM seq2seq模型训练提速数倍

>本文测试用的模型神经网络类型：LSTMseq2seq深度：5层Embedding维度：300其它技术：双向encode、残差技术、dropout技术、注意力机制>测试用的语料集QA语料集，2000组对话
彭朝劲·2020-08-06 13:35

MOJITALK: Generating Emotional Responses at Scale论文阅读

我们收集了大量的Twitter对话语料库，其中包括回应中的表情
食物发动机·2020-08-06 13:07

一文盘点预训练神经语言模型

语言模型（LanguageModel,LM）包括统计语言模型和神经语言模型，能够表示自然语言文本在语料中的概率分布，可用于判断语句是否为正常描述，也可理解为判断文本是否为“人话”。
PaperWeekly·2020-08-06 12:34

2021秋招-NLP基础任务模型-NER

任务定义简单综述数据集细节总结模型细节总结损失函数计算总结NLP实战-中文命名实体识别条件随机场的理解及BI-LSTM+CRF实战超详综述|基于深度学习的命名实体识别目录1.全文简介NER任务的常用标注语料现成的
LBJ_King2020·2020-08-06 12:36

【论文阅读】An Interactive Multi-Task Learning Network for End-to-End Aspect-Based Sentiment Analysis

AnInteractiveMulti-TaskLearningNetworkforEnd-to-EndAspect-BasedSentimentAnalysis简单来说本文是将aspectextraction和aspectsenmetimentclassification整合成一个任务，然后同时用document语料进行多任务训练一部分共享参数
BeforeEasy·2020-08-06 12:42

TF-IDF原理及算法实现

termfrequency–inversedocumentfrequency，词频-逆向文件频率)是一种用于信息检索（informationretrieval）与文本挖掘（textmining）的常用加权技术.TF-IDF是一种统计方法，用以评估字词对于一个文件集或一个语料库中的其中一份文件的重要程度
AthenaHe·2020-08-05 20:21

中文维基百科语料上的Word2Vec实验

说明：此文主要参考52nlp-中英文维基百科语料上的Word2Vec实验，按照上面的步骤来做的，略有改动，因此不完全是转载的。
yangyangrenren·2020-08-05 15:43

2020美赛C题赛后总结之——文本预处理Pyhotn编程代码

1.背景介绍美赛C题涉及到文本处理之间的工作，笔者学艺不精，广为搜罗了很多代码加以完善改进，封装成一个个的函数，这些函数都很有针对性，主要应用于文本预处理包括，排序、分词、获取语料库、去标点、统计词频、
李烟云·2020-08-05 12:31

《人工智能》随笔

然后对这个观点进行了详尽的说明：从苹果Siri、微软小冰等不同的智能助理（从数据库中查找到符合条件的语料），到现在的智能程序自动撰写表达清晰，通顺的新闻稿件，
qq_41291769·2020-08-05 01:40

BERT和ERNIE谁更强？这里有一份4大场景的细致评测

采用大规模语料上进行无监督预训练的深层模型，在下游任务数据上微调一下，即可达到很好的效果。曾经需要反复调参、精心设计结构的
lovenlper·2020-08-05 01:13

基于深度学习的文本分类2

因此，word2vec模型可以方便地从新增语料中学习到新增词的向量表达，是一种高效的在线学习算法（onlinelearning）。word2vec的主要思路：通过单
越前浩波·2020-08-04 21:43

NLP学习笔记（一）

1.分词针对语料库中，所存在的单词的概率进行不同方法的概率计算，来选择分词概率最大的一种分词方法。
王帅博·2020-08-04 21:49

语料预处理总结

目录1.用于处理最后的输出结果，主要是将英文去掉2.去除了停用词，并且针对的是列表中的每一个字段3.去除了停用词，并且针对的是列表中的每一个字段4.将最后结果中的标点符号进行规整，将列表中指定字段的字符串中重复标点去掉5.判断一个词语是不是人名1.用于处理最后的输出结果，主要是将英文去掉importjiebaimportreeve_list=["测试中出现Power_Type_check","依据
北木.·2020-08-04 21:53

《数学之美》中的自然语言处理

2.语言的数据，我们称之为语料，尤其是双语或者多语的对照语料对翻译至关重要，它是我们从事机器翻译研究的基础。现在自然语言处理多用统计语言模型。
莫小鱼726·2020-08-04 18:12

16Python文本数据分析：新闻分类任务 (贝叶斯算法应用实例)

唐宇迪《python数据分析与机器学习实战》学习笔记16Python文本数据分析：新闻分类任务(贝叶斯算法应用实例)**一、流程分析**数据如下图：content为主体内容，1.1停用词:在语料中大量出现又没啥大用
小食青年·2020-08-04 17:13

【算法设计】基于大规模语料的新词发现算法

对中文资料进行自然语言处理时，我们会遇到很多其他语言不会有的困难，例如分词——汉语的词与词之间没有空格，那计算机怎么才知道“已结婚的和尚未结婚的”究竟是“已／结婚／的／和／尚未／结婚／的”，还是“已／结婚／的／和尚／未／结婚／的”呢？这就是所谓的分词歧义难题。不过，现在很多语言模型都已能比较漂亮地解决这一问题了。但在中文分词领域里，还有一个比分词歧义更令人头疼的东西——未登录词。中文没有首字母大写
yuyu2223·2020-08-04 09:12

Is Word Segmentation Necessary for Deep Learning of Chinese Representations? 论文笔记

分词带来的问题词的稀疏性，很多词仅出现一次，引起过拟合和OOV问题汉语的vague带来分词的困难，不同分词器不同结果据说分词会带来更多的语义信息，但目前不能确定，因为语料库太小而不能看到性能的提升深度学习前在
Arvid Y·2020-08-04 07:38

glove 学习笔记

动机：现有的词向量模型，1局部上下文建模的方法例如word2vector用通俗的话来讲就是，如果两个词在训练语料中出现的上下文比较类似，比如“食堂”和“餐厅”，都在“我”，“去”，“吃饭”这种上下文上出现了许多次
trayfour·2020-08-04 03:32

类vgg网络实现端到端识别验证码

项目起因大二在做weibo爬虫抓取用于情感分析语料时遇到了模拟登陆的问题，其中关键的一环就是验证码识别。由于当时专业知识有限选择了对接打码平台来解决这个痛点，在时间不充分情况下这是效率最高的方法。
一条死在减速带的大鱼·2020-08-03 23:30

TF-IDF算法介绍

TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。总结
早起的小虫子·2020-08-03 22:00

文本情感分析

文本情感分类—搭建LSTM（深度学习模型）做文本情感分类的代码https://blog.csdn.net/qq_34941023/article/details/77839781基于Gensim的维基百科语料库中文词向量训练
prin1127·2020-08-03 20:07

TF-IDF：概念与python实现

词频（TF，TermFrequency）表示给定词语在文件或语料中出现的频率（归一化以屏蔽长短文件的差异）；逆文本频率（IDF，InverseDoc
机器学习Zero·2020-08-03 15:17

Word2Vec报错：KeyError: "word 'XXX' not in vocabulary"

原文地址分类目录——情感识别发生在想通过model['XXX']观察一下XXX的词向量的时候原因一最简单的原因就是这个词不在你做来做训练的语料库中原因二在定义模型时model=word2vec.Word2Vec
BBJG_001·2020-08-03 12:37

基于SVM进行文本分类

由于LibSVM的输入语料格式有一定的要求。故有时候怎样把我们的训练语料转换成LibSVM的输入语料格式，是一个比较麻烦的事情。
weixin_33943347·2020-08-03 06:26

重磅 | 数据挖掘之父韩家炜：文本语料库的数据挖掘（附视频+PPT下载）

近期，美国伊利诺伊大学厄巴纳香槟分校计算机科学AbelBliss教授韩家炜在清华大学FIT楼多功能厅进行了关于文本语料库数据挖掘的主题分享。
数据派THU·2020-08-03 04:21

jiaba库之关键词提取（增量更新自定义语料）

一、提取语句关键词在自然语言处理中，经常会遇见对文章或者信件进行关键词提取。而jiaba库正给我们提供了两种简单的关键词提取方法（TF-idf与TextRank）。本文不讲这两方式提取关键词的原理，只注重如何实现。在Python中，短短四个语句就能实现关键词的提取，我们所使用的文本数据为《红楼梦》中的某个章节。第二回贾夫人仙逝扬州城冷子兴演说荣国府诗云一局输赢料不真，香销茶尽尚逡巡。欲知目下兴衰兆
Xiaozhu_a·2020-08-03 03:50

影评情感分析

先介绍一个自然语言处理的常用工具NLTK，里面包含了语料库、停用词、搜索文本和计数词汇等等的常用操作。首先读入数据并查看df=pd.read_csv('..
小智rando·2020-08-03 03:39

无所不能的Embedding 1 - Word2vec模型详解&代码实现

word2vec是google2013年提出的，从大规模语料中训练词向量的模型，在许多场景中都有应用，信息提取相似度计算等等。
li123128·2020-08-03 01:01
上一页 41 42 43 44 45 46 47 48 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他