199801语料库

word2vec是如何得到词向量的？

从头开始讲的话，首先有了文本语料库，你需要对语料库进行预处理，这个处理流程与你的语料库种类以及个人目的有关，比如，如果是英文语料库你可能需要大小写转换检查拼写错误等操作，如果是中文日语语料库你需要增加分词处理
元宇宙iwemeta·2022-10-21 20:34

[Pytorch系列-57]：循环神经网络 - gensim.models.word2vec参数详解与构建词向量模型

details/121723021目录第1章gensim概述第2章gensim.models.word2vec参数详解第3章使用gensim.models.word2vec构建向量模型3.0前提3.1语料库
文火冰糖的硅基工坊·2022-10-21 20:28

bcc语料库下载_CCL语料库与BCC语料库各自的特点是什么？

对比、分析语料库的特点，需要从语料来源、规模等，加工处理程度，应用系统提供的功能等几个方面进行(只对比汉语语料库)：1.CCL的语料库有部分口语(北京话调查)语料，包含部分影视作品(如百家讲坛、周星驰电影等
weixin_39886841·2022-10-21 16:24

自然语言处理(NLP)之使用TF-IDF模型计算文本相似度

自然语言处理(NLP)之使用TF-IDF模型计算文本相似度所用数据集：ChnSentiCorp_htl_all.csv语料库即存放稀疏向量的列表。
IT之一小佬·2022-10-21 07:33

R语言LDA、CTM主题模型、rjags 吉布斯gibbs采样文本分析论文摘要、通讯社数据

关键词：吉布斯采样，R，文本分析，主题模型1.引言在机器学习和自然语言处理中，主题模型是生成模型，它们为给定语料库中文档中的术语频率出现提供了概率框架。仅使用术语“频率”假定单
·2022-10-19 15:47

NLP | word2vec图文详解及代码

它的输入是一个文本语料库，它的输出是一组向量：表示该语料库中单词的特征向量。虽然Word2vec不是深度神经网络，但它将文本转换
夏天｜여름이다·2022-10-16 08:13

Transformers预训练模型使用：语言建模 Language Modeling

语言建模是一个将模型拟合到一个语料库的任务，这个语料库可以是特定领域，也可以是通用领域。
HMTT·2022-10-15 07:47

REALM: Retrieval-Augmented Language Model Pre-Training（2020-2-10）

为了以一个模块化或者可翻译的方式来捕捉知识，使用了一个延迟知识检索的预训练增强语言模型在预训练、微调以及推断期间允许模型在大的语料库中（比如Wikipedia）检索文档。
不负韶华ღ·2022-10-14 07:42

Multi-Objective Molecule Generation using Interpretable Substructures

本文提出了一种解决这种复杂性的方法，通过一个子结构语料库来组成分子，称之为分子基本准则，这些子结构是从分子中确定的可能对某个属性有贡献的子结构，这样的方法属于“基于分子碎片”的设计方法。
五小弟·2022-10-12 10:05

情感分析：使用循环神经网络

由于IMDb评论数据集不是很大，使用在大规模语料库上预训练的文本表示可以减少模型的过拟合。我们将使用预训练的Glove模型来表示每个词元，并将这些词元表示送入多层双向循环神经网络以获得文本序
未来影子·2022-10-10 17:22

情感分析：使用循环神经网络

由于IMDb评论数据集不是很大，使用在大规模语料库上预训练的文本表示可以减少模型的过拟合。我们将使用预训练的Glove模型来表示每个词元，并将这些词元表示送入多层双向循环神经网络以获得文本序
未来影子·2022-10-10 17:36

详解利用基于gensim的TF-IDF算法实现基于文本相似度的推荐算法

的基本原理算法思想计算公式相似度计算原理微型图书推荐案例案例背景开发工具数据预处理TF-IDF模型建立TF-IDF计算相似度计算TF-IDF的基本原理算法思想TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度
#码到成功#·2022-10-05 07:03

文本挖掘学习笔记（二）：文档信息向量化与主题关键词提取

注：学习笔记基于文彤老师文本挖掘的系列课程全文基于《射雕英雄传》语料库，下面是读入数据的一个基于Pandas的通用操作框架。
★追梦赤子心★·2022-10-04 14:30

fetch_20newsgroups函数介绍

目录简介数据集特征TopicCategories(20个)Loaders定义使用20newsgroups常用语料库方法简介20newsgroups数据集包括18000多篇新闻文章，涉及到20个Topic
Tina_1024·2022-10-03 07:23

Word2vec词向量文本分析详解

词向量表示中，最有名也是最简单的算法是one-hot，one-hot在处理文本时首先将文本中的词语形成一个不重复的词库，one-hot的维度由词库的大小决定，有多少词语，矩阵就要扩大到多少维，对于庞大的语料库来说
敷衍zgf·2022-10-02 07:55

【COCA】美国当代语料库常用高频词汇20200个（震惊！可直接复制）

COCA数量说明：原来总共是20200个，由于有大量重复的单词，所以把2565个重复的单词清理掉了！最终清理重复后的数量是17635个，详见如下：|the|be|and|of|a|in|to|have|it|I|that|for|you|he|with|on|do|say|this|they|at|but|we|his|from|not|n’t|by|she|or|as|what|go|their
IT农民搬运工·2022-09-27 07:26

科技立项开题讨论

选题方向知识图谱选择优势：领域经验：有以往情感分析处理的成品项目，向知识图谱方向发展更加熟悉与得心应手产出成果：可以以打造产品为导向，开拓出NLP新系列的产品，若开发出，知识图谱系列产品的所有权选择不确定性：语料库是否需要人工标注
HIT_SunJiankun·2022-09-24 11:55

pytorch-词嵌入基础

Word2Vec词嵌入工具的提出正是为了解决上面这个问题，它将每个词表示成一个定长的向量，并通过在语料库上的预训练使得这些向量能较好地表达不同词之间的相似和类比关系，以引
胖虎艾春辉·2022-09-24 07:47

文本情感分析笔记

情感分析的最底层的任务,它旨在抽取情感评论文本中有意义的信息单元.其目的在于将无结构化的情感文本转化为计算机容易识别和处理的结构化文本,继而供情感分析上层的研究和应用服务1.1评价词语的抽取和判别：（1）基于语料库
敷衍zgf·2022-09-22 11:53

[自然语言处理]文本主题相关(TF-IDF/LDA/Sentence-BERT)

Attention3.3Transformer3.4BERTBERTopic实例4参考4.1论文原文4.2开源实现4.3补充理解1TF-IDF常用于挖掘文本关键词：TF(词频)=词在本文的出现次数/文章的总词数IDF(逆文档频率)=log(语料库的文档总数
微博热搜低频用户·2022-09-21 17:39

python文本分类框架_Python 实现小型文本分类系统

查了很多资料，找到一篇适合新手的一篇博文：https://blog.csdn.net/github_36326955/article/details/54891204，本人提供了人工分好类的文章训练集语料库
weixin_39884323·2022-09-08 04:16

文本特征提取之TF-IDF算法（原理+Python代码）

零基础入门数据分析-学术前沿趋势分析目录一、原理介绍二、代码实现2.1数据预处理2.2使用TF-IDF提取特征2.3建立分类模型三、结果解释一、原理介绍TF-IDF方法常用来评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度
data learning·2022-08-30 07:31

自然语言处理NLP 2022年最新综述：An introduction to Deep Learning in Natural Language Processing

AnintroductiontoDeepLearninginNaturalLanguageProcessing:Models,techniques,andtools摘要深度学习技术在NLP中的应用；NLP研究中的主要资源，包括软件，硬件和受欢迎的语料库
Momahe·2022-08-26 21:41

【一文讲解深度学习】语言自然语言处理（NLP）第一篇

文本分类语言生成问答（QA）系统机器翻译（MT）NLP的发展历程快速发展期（1957~1970）低速发展期（1971~1993）复苏融合期（1994年至今）NLP的困难与挑战语言歧义NLP相关知识构成语料库常用语料库介绍传统
苏州程序大白·2022-08-24 07:17

利用机器学习进行房价预测

这些操作不仅仅包括获取数据，还能够添加数据，比如：投票管理多个平台的多个账户(如各个电商平台的账号)微信聊天机器人实际的应用远不止上面这些，但是上面的应用只是除开数据本身的应用而已，数据本身的应用也是很广的：机器学习语料库垂直领域的服务
__Miracle__·2022-08-20 19:32

一起来学自然语言处理----语料库和词汇资源

语料库和词汇资源1、自然语言工具包（NLTK）2、获取文本语料1.语料库古腾堡语料库网络和聊天文本布朗语料库路透社语料库就职演说语料库标注文本语料库在其他语言的语料库语料库结构载入自己的语料库2.条件频率分布理解条件频率分布使用双连词生成随机文本
小陈步吃人·2022-08-16 17:58

【20220412】文献翻译4：交互中的手势和语言概述

3.1交际环境中的手势3.2传递意义3.3制作手势和语言4.时间协调的重要性4.1手势和语言的时间互动4.2手势和声音的相似性、差异性、互动性4.3测量时间上的协调性5.应用、注释、工具和语料库5.1手势注解
Yang SiCheng·2022-08-10 07:46

如何在jieba分词中加自定义词典_Pyspark Word2Vec + jieba 训练词向量流程

摘要:用商品描述为语料库训练商品词向量为例,分享一下用pyspark自带word2vec+jieba分词训练词向量的流程.工具:python,pyspark,jieba,pandas,numpy数据格式
weixin_39779537·2022-08-08 21:18

基于tensorflow2+textCNN的中文垃圾邮件分类

目录一、邮件数据集二、文本分类三、Text-CNN四、搭建Text-CNN模型五、实验结果一、邮件数据集本文进行文本分类任务的中文邮件数据来源于由国际文本检索会议提供一个公开的垃圾邮件语料库，点我下载。
唯余木叶下弦声·2022-08-03 19:08

tensorflow2.0 基于LSTM模型的文本生成

模型分析实验过程文本预处理编解码模型LSTM模型设置实验代码实验结果总结致谢实验基本要求tensorflow2.0及以上版本实验背景 在自然语言处理(NLP)领域，大多对话机器人的对话形成都会采用基于语料库和深度神经网络生成模型进行回答和交流
CW96·2022-07-28 17:35

python文本分析与挖掘（三）-词频统计

实现功能：前一篇文章我介绍了文本分析与挖掘的第一步和第二步（具体可参加前两篇文章），即构建语料库和中文分词，这篇文章将在此基础上进行词频统计。
不再依然07·2022-07-27 07:48

Sentence-BERT+Milvus实现智能问答系统

该系统与普通的问答系统不同，本系统根据用户所选择的语料库的不用切换应用领域，极大的方便了用户的使用。
CityD·2022-07-21 13:33

Word2Vec 使用总结

简单的说，它在给定的语料库上训练一个模型，然后会输出所有出现在语料库上的单词的向量表示，这个向量称为"wordembedding"。
javastart·2022-07-21 07:16

Word2Vec可视化展示

这个概念相对简单：通过一个句子一个句子地在语料库中循环去拟合一个模型，根据预先定义的窗口中的相邻单词预测当前单词。为此，它使用了一个神经网络，但实际上最后我们并不使用预测的结果。
Eureka丶·2022-07-21 07:09

论文写作必备

https://www.home-for-researchers.com/static/index.html#/AI写作助手：可以自建语料库搜索全文内容场景写作工具：有很多转接词和句子可以参考句型https
Reyuwei·2022-07-20 11:43

python文本统计_Python文本挖掘: 词频统计，词云图

结巴分词中自带了一个叫做dict.txt的词典，里面包含词，词条出现次数（基于人民日报等语料库）
weixin_39562998·2022-07-18 11:19

ACL 2022 | 基于Prompt的自动去偏：有效减轻预训练语言模型中的偏见

Background去除偏见问题一直在真实对话系统中一直收到广泛的关注，在大型人类产生的语料库上训练的预训练语言模型，很多模型继承了类似人类的偏见和不想要的社会定型，例如，在maskfilling任务中
PaperWeekly·2022-07-18 07:20

TF-IDF算法介绍和实现

TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会
淼仔爱学习·2022-07-11 17:33

自然语言处理（NLP）[文本挖掘算法]：TF-IDF分析

下面我给大家简单介绍一下TF-IDF算法：定义在信息检索中，TF-IDF（词频-逆文档频率）是一种统计方法，用以评估一个单词在一个文档集合或语料库中的重要程度。经常被用作信
丈哥SEO·2022-07-11 17:33

词性标注-隐马尔可夫模型

流程很简单，先利用现有的语料库训练HMM模型，这是学习问题，然后利用v
孤独腹地·2022-07-10 07:06

论文阅读【Open-book Video Captioning with Retrieve-Copy-Generate Network】

作者想到通过video-to-text检索任务，从语料库中检索句子作为caption的指
hei_hei_hei_·2022-07-08 07:52

深入理解PyTorch中的nn.Embedding的使用

目录一、前置知识1.1语料库（Corpus）1.2词元（Token）1.3词表（Vocabulary）二、nn.Embedding基础2.1为什么要embedding？
·2022-07-04 13:01

深入理解PyTorch中的nn.Embedding

目录一、前置知识1.1语料库（Corpus）1.2词元（Token）1.3词表（Vocabulary）二、nn.Embedding基础2.1为什么要embedding？
raelum·2022-06-28 07:22

语料库数据处理个案实例（读取多个文本文件、读取一个文件夹下面指定的多个文件、解码错误、读取多个子文件夹文本、多个文件批量改名）

在语料库语言学研究中，语料库往往存储在多个文本中。本小节中，我们首先介绍如何读取文件夹中多个文本的文件名；然后介绍如何读取多个文件，并将它们合并成一个文本；最后介绍如何读取多个子文件夹中的文本。
Triumph19·2022-06-27 20:29

java朴素贝叶斯词频_利用朴素贝叶斯算法进行文档分类

本文的侧重点不是自然语言处理，所以语料库直接使用英文，以避免介绍中文分词技术。为了读者更好的理解原理，本文介绍了TF-IDF，这是一个表达词语权重信息的模型。
In k·2022-06-25 07:52

文本匹配——【NAACL 2021】AugSBERT

背景与挑战论文地址：https://arxiv.org/abs/2010.08240目前，最先进的NLP架构模型通常重用在Wikipedia和TorontoBooksCorpus等大型文本语料库上预训练的
小爷毛毛（卓寿杰）·2022-06-22 07:06

NLP系列——NLP基础

NLP系列——NLP基础NLP基础部分包括基础术语、知识结构、语料库等部分内容。
季建豪·2022-06-17 07:16

华为开源预训练语言模型「哪吒、TinyBERT」可直接下载使用

中文使用的语料库是Wikipedia和BaikeandNews，而Google的中文语料库仅使用Wikipedia
imalg图像算法·2022-06-13 07:46

吴恩达机器学习课程-第六周(part2)

1.机器学习系统的设计以垃圾邮件分类算法为例开启讨论：1.1首先要做什么一般而言首先需要确定如何选择并表达特征向量xxx，假设选出垃圾邮件中100个常见词构建一个语料库，当这些词出现该邮件中，便将向量相应位置置为
J___code·2022-06-12 15:40

语音情感识别--理论篇

语音情感识别主要包括语音语料库的采集，语音信号预处理，语音情感特征提取，语音情感分类。以上为语音情感识别主要步骤。语音情感特征提取(1)：选择和提取合适的语音情感特征对提高识别准确率来说非常重要。
醒了的追梦人·2022-06-10 07:09
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他