语料

整理常用的中英文预训练词向量（Pretrained Word Vectors）

文章目录引言腾讯中文词汇/短语向量（TencentAILabEmbeddingCorpusforChineseWordsandPhrases）使用方法中文词向量语料库by北京师范大学&人民大学StanfordGloVeEmbeddings
虾米小馄饨·2022-05-27 07:58

NLP实战-基于弱标注数据的文本分类

目录分析现有数据解决方案初始语料集构建特征选择过滤语料1、词频逆文档评率2、信息增益3、卡方检验训练模型缺失标签数据处理总结最近在做CSDN文库标签的分类，文库的数据比博客数据要短一些，特征比较分散，时间紧任务重
行走的人偶·2022-05-27 07:26

深入浅出语言模型（四）——BERT的后浪们（RoBERTa、MASS、XLNet、UniLM、ALBERT、TinyBERT、Electra）

针对Bert的改进，主要体现在增加训练语料、增添预训练任务、改进mask方式、调整模型结构、调整超参数、模型蒸馏等。下面对近年来Bert的改进版本的关键点做叙述。深入浅出语言模型
fond_dependent·2022-05-23 07:34

pythonlda模型_lda主题模型python实现篇_主题模型TopicModel：通过gensim实现LDA

gensim中的算法包括：LSA(LatentSemanticAnalysis),LDA(LatentDirichletAllocation),RP(RandomProjections),通过在一个训练文档语料库中
小叮当做事小丁当·2022-05-21 07:58

lda主题模型python实现篇_主题模型TopicModel：通过gensim实现LDA

gensim中的算法包括：LSA(LatentSemanticAnalysis),LDA(LatentDirichletAllocation),RP(RandomProjections),通过在一个训练文档语料库中
weixin_39993301·2022-05-21 07:20

Praat脚本-003 | 一种高效的将连续录制的音频切分的方案

文章目录前言引题要点数据Demo技术方案步骤一人工定句子边界步骤二利用脚本切分第一种情况，直接使用数字保存第二种情况，利用标注的内容作为文件名运行脚本特别说明如何获取脚本关注版权说明前言引题在语音处理过程中，整理语料
极地语音工作室·2022-05-20 08:51

可怕！微软AI：一张面部照片一段音频，完美生成头像演讲视频

越来越多的研究表明，只要语料库足够大，几乎任何人的面部动作都可以与语音片段同步。今年6月，来自三星的应用科学
我爱计算机视觉·2022-05-20 08:20

电影音频自动剪辑语料

电影电视剧语音数据集剪辑工具前言一、语音识别任务二、代码实现1.语音定位2.根据时间剪辑对应音频总结前言ASR语音识别任务通常使用开源数据集进行训练，为了补充语音识别数据，通过脚本自动生成一些视频片段进行自动标注，可以有效地减少认为标注的工作量。一、语音识别任务通过ASR深度学习模型识别出语音的文字。二、代码实现通过程序自动从电影或电视剧中剪辑对应的音频内容，保存本地作为语音识别任务的数据源。经过
L.ikJ.·2022-05-20 08:48

LDA主题模型绘制困惑度（perplexity）-主题数曲线——python

LDA作为一种无监督机器学习技术，利用词袋方法识别隐藏在大规模文档集或语料库中的主题信息。LDA模型可挖掘出文档集或语料库中的潜在
阿丢是丢心心·2022-05-12 10:26

LDA主题模型的原理及使用教程

LDA常被用于识别语料中潜在的主题信息。LDA
灵海之森·2022-05-12 10:23

自然语言处理入门——新手上路

目录一、自然与语言与编程语言二、自然语言处理的层次三、自然语言处理的流派五、语料库六、开源工具七总结自然语言处理（NLP）是一门融合了计算机科学、人工智能以及语言学的交叉学科。
海伦•·2022-05-08 07:57

基于BiLSTM-CRF的命名实体识别

基于BiLSTM-CRF的命名实体识别1.任务说明1.1任务定义1.2语料说明2.实验环境3.算法说明（按文件说明）3.1model.py3.2data.py3.3predict.py3.4evaluate.py3.5run.py4
回锅肉炒肉·2022-05-07 07:46

智能客服闲聊模块三种方案对比

目前业界针对于闲聊模块的方案一般以下三个方案基于固定模板我们都知道业务问答通用方案是基于模板式问答，同理模板式问答也适用于闲聊系统，这种方式的优势在于易于控制，用少量的模板满足多种问题需求，劣势在于出现答非所问的概率比较大基于语料库这种做法是先收集
·2022-05-07 00:15

python mooc-课程资源 | Python语言系列专题MOOC

众所周知，计算语言学的研究和应用需要大料的语料，但是语料规模扩大之后人工处理就显得捉襟见肘。因此，机器自动处理就显得很有必要。要想让机器按照自己的想法处理语料，学习一点编程语言是必要的。
weixin_39634438·2022-04-28 07:29

nltk自然语言处理

一些知识点concordanceconcordance查找语料库中特定的单词的上下文,检索词指定窗口大小的上下文。
Suzerk·2022-04-15 07:54

Paddleocr文本识别数据集的合成与制作----超级详细

目录前言一、数据集的总体概括1.1训练集和测试集1.2文本识别所需字典二、文本识别数据集的合成前期准备2.1数据集合成概括2.2语料和目标场景图像模板的准备和处理2.3制作语料2.4制作字典2.5制作目标场景图像模板三
炮哥带你学·2022-04-14 07:13

gan 5小时速成

语义之间的多模态学习图像标记：用词语对图像中不同内容进行多维度表述图像描述：把一幅图片翻译为一段描述文字获取图像的标记词语理解图像标记之间的关系生成人类可读的句子词向量模型：Word2Vec是从大量文本语料中以无监督的方式学
weixin_45955767·2022-04-12 08:20

素养立意下的命题特点

以考查学生语文核心素养为目标的中考语文试题，坚持立德树人的根本任务，语料形式丰富多样；依据课标与教材命题，实现教、学、考的统一；创设真实的命题情境，探索项目化学习方式；关注学生的学习过程和思维形式，积极导向初中语文教学
本真语文·2022-03-31 16:30

机器学习笔记（二）1

早期又叫模式识别PR（偏向具体任务，eg：光学字符识别、语音识别、人脸识别等）2.基本概念特征/属性：标签：：=>样本/示例数据集/语料库训练集/测试样本测试集/训练样本特征向量学习算法A又叫学习器3.
foxxxx·2022-03-29 19:00

Python全角与半角之间相互转换的方法总结

全角转半角：6.半角转成全角：附：如何通过python转换全角字符串为半角字符串实例说在后面：1.应用领域：全角和半角的转换通常用在自然语言处理过程中，由于全角和半角的不一致会导致信息抽取不一致，在使用语料训练语言模型会导致模型的效果不准确
·2022-03-29 18:41

5分钟NLP：快速实现NER的3个预训练库总结

NER模型的作用是识别文本语料库中的命名实体例如人名、组织、位置、语言等。NER模型可以用来理解一个文本句子/短语的意思。
·2022-03-24 14:59

关于使用[MASK]做完形填空时需要注意的点

文章目录题目关键点Q1:选取谁做[MASK]Q2:如何实现[MASK]Q3:为什么自己训练的模型loss不会下降题目关于使用[MASK]做完形填空时需要注意的点关键点Q1:选取谁做[MASK]A:关于这个问题取决于语料库中的每句话的平均长度比如我在
365JHWZGo·2022-03-16 07:49

Raki的读paper小记：Style Transformer

摘要与总结将内容和风格在隐空间解耦在不成对文本风格迁移的是非常流行的，然而现在的模型不太行，主要体现在两点：模型Z是经过编码后的文本表示，S是styleembeddingDiscriminatorNetwork因为缺少平行语料
爱睡觉的Raki·2022-03-14 07:41

Raki的读paper小记：GloVe: Global Vectors for Word Representation

大名鼎鼎来自StanfordChrisManning组的GloVe词向量摘要本方法提出的初衷是，基于shallow-window的方法的缺点是它们不能直接对语料库的共现统计数据进行操作，而只是用一个滑动窗口滑过整个语料库
爱睡觉的Raki·2022-03-14 07:40

六十五、Spark-综合案例(搜狗搜索日志分析)

为进行中文搜索引擎用户行为分析的研究者提供基准研究语料目录原数据展示业务需求业务逻辑分词工具Maven依赖代码实现效果展现搜狗搜索日志官网：http://www.sogou.com/labs/resource
托马斯-酷涛·2022-03-06 07:14

知识增广的预训练语言模型K-BERT：将知识图谱作为训练语料

©原创作者|杨健论文标题：K-BERT:EnablingLanguageRepresentationwithKnowledgeGraph收录会议：AAAI论文链接：https://ojs.aaai.org/index.php/AAAI/article/view/5681项目地址：https://github.com/autoliuweijie/K-BERT01背景论述笔者在前面的论文解读中提到过E
NLP论文解读·2022-03-04 13:00

A Neural Probabilistic Language Model (2003)论文要点

使用浅层网络（比如1层隐层）训练大语料。featurevec
weixin_30457465·2022-03-03 07:08

python nlp 句子提取_python nlp 句子提取_《用Python进行自然语言处理》第7章 从文本提取信息...

3.哪些语料库适合这项工作，我们如何使用它们来训练和评估我们的模型?7.1信息提取#一个重要的形式是结构化数据:实体和关系的可预测的规范的结构。
weixin_39538847·2022-03-02 07:49

python nlp 句子提取_《用Python进行自然语言处理》第7章 从文本提取信息

3.哪些语料库适合这项工作，我们如何使用它们来训练和评估我们的模型?7.1信息提取#一个重要的形式是结构化数据:实体和关系的可预测的规范的结构。
抓到大根就是宝·2022-03-02 07:19

python_NLP实战之关键词提取

无监督的方法包括TF-IDF算法、TextRank算法（不依赖语料库）和主题模型算法（LSA,LSI,LDA等）1、LSA步骤step1:使用BOW模型将每个文档表示为向量step2:将所有的文档词向量拼接起来构成词
TtingZh·2022-03-02 07:48

Python库之自然语言处理和文本挖掘

目前已经有超过50种语料库和词汇资
缘如风·2022-03-02 07:03

python根据词向量计算相似度_Python 利用Word2Vec计算词语相似度（gensim实现）

输入：语料库，txt文件。输出：余弦相似度。
weixin_39578457·2022-03-01 07:34

基于深度学习的文本分类 2

因此，word2vec模型可以方便地从新增语料中学习到新增词的向量表达。word2vec的主要思路：通过单词的上下文彼此预测，对应的两个算法分别为：Skip-grams(SG)：预测上下文Conti
sosososoon·2022-02-28 07:50

中科大、MSRA提出视觉Transformer BERT预训练新方式，优于MAE、BEiT

基于大型语料库训练的Transformer模型在自然语言处理中取得了巨大的成功，作为Transformer构建块，self-attention极大地改变了计算机视觉任务。
PaperWeekly·2022-02-24 07:55

《动手学深度学习》读书笔记：第1章 深度学习简介

近年来，仰仗着大数据集和强大的硬件，深度学习已逐渐成为处理图像、文本语料和声音信号等复杂高维数据的主要方法。1.1起源虽然深度学习似乎
feiwen110·2022-02-22 07:33

《python深度学习》学习笔记与代码实现（第八章：8.1，8.2，8.3）

能够对下一个标记的概率进行建模的任何网络都叫做语言模型8.1.1生成式循环网络简史8.1.2如何生成序列数据8.1.3采样策略的重要性（以上几小节都不太重要，了解即可）8.1.4实现字符级别的LSTM文本生成#准备下载语料
Tersai·2022-02-22 07:20

5分钟NLP：快速实现NER的3个预训练库总结

NER模型的作用是识别文本语料库中的命名实体例如人名、组织、位置、语言等。NER模型可以用来理解一个文本句子/短语的意思。
·2022-02-21 09:57

25个值得收藏的Python文本处理案例

TextBlob更正拼写9使用NLTK和TextBlob的词标记化10使用NLTK提取句子单词或短语的词干列表11使用NLTK进行句子或短语词形还原12使用NLTK从文本文件中查找每个单词的频率13从语料库中创建词云
·2022-02-20 17:51

11. HanLP实现朴素贝叶斯/SVM--文本分类

笔记转载于GitHub项目：https://github.com/NLP-LOVE/Introduction-NLP11.文本分类上一章我们学习了文本聚类，体验了无须标注语料库的便利性。
mantch·2022-02-20 08:09

短文本分类 (一): 构建词向量

得到原始标题数据后，我需要对其进行分词构建语料库，分词我使用jieba这个第三方库。之后要通过语料库用Word2vec算法对分词进行训练，这里我使用gensim的word2vec。
_张旭·2022-02-19 22:50

gensim的简易安装

由于处理语料要用到gensim，这两天一直在装，在网上搜了一些教程，装完这个装那个，给过gensim依赖的包全装好了gensim还是装不成功，真的是心累啊，后来在网上看了一篇简易的安装方法，心想试试吧，
freedomzll·2022-02-16 19:47

通过改造BERT实现ERNIE并比较两者差异

引用ERNIE的github主页关于预训练数据的介绍：训练数据方面，除百科类、资讯类中文语料外，ERNIE还引入了论坛对话类数据，利用DLM（DialogueLanguageModel）建模Query-Response
wipen·2022-02-15 05:17

基于文本挖掘的情人节微信聊天记录情感分析

这里就用和大学本科好基友的聊天记录作为语料库啦。整个分析流程分为以下几个部分：目录1.微信聊天记录获取2.数据清洗2.1分词、去停、去重2.2外部词典调用3.数据分析3.1词频分析与词云展示3
#温室里的土豆·2022-02-14 07:57

Arxiv网络科学论文摘要11篇(2020-09-03)

VeRNAl：用于挖掘RNA中模糊网络模体的工具;在网络中查找信息源：带预算的查询;异构图神经网络推荐;社会等级促进合作主导;将属性网络嵌入扩展至大型图;感性的LIAR：伪造索赔分类的扩展语料库和深度学习模型
ComplexLY·2022-02-13 04:03

我的忏悔

但是一直打哈欠完全集中不了注意力也不是回事，我的语料库数据都
李想想·2022-02-12 07:46

TextRank——关键词提取

TextRank算法可以脱离语料库的背景，仅对单篇文档进行分析就可以提取该文档的关键词。PageRank算法TextRank算法基于PageRank算法的。
dreampai·2022-02-12 00:03

2019年的小目标

19年考过四门CPA，同时准备雅思口语和写作><口语用书：王陆语料库1、看视频学习，练五个音标，每个音标四遍。
顾自律·2022-02-09 02:11

Arxiv网络科学论文摘要22篇(2020-06-08)

SEIR模型的分析和元胞自动机方法用于在拥挤的开放空间中传播的感染;在大学环境中模拟COVID-19;跨语言迁移学习，以应对COVID-19疫情;考虑分类的神经网络主题模型及其在新型COVID-19虚假语料库中的应用
ComplexLY·2022-02-08 17:36

自然语言处理——5.3 语言模型（数据平滑）

基本约束困惑度定义：对于一个平滑的n-gram，其概率为，可以计算句子的概率:假定测试语料由个句子构成,那么整个测试集的概率为：模型对于测试语料的交叉熵：其中，是测试文本的词数。
SpareNoEfforts·2022-02-06 17:44

一些英语学习的APP/网站/...安利

因此，依个人经验，一集剧需要看3遍，第一遍了解剧情，第二遍记下值得学习的语料，第三遍遮挡字幕纯听，听不懂的地方要回看一下，直到听懂位置。
雪晗晗·2022-02-06 16:59
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他