文本分类

基于飞浆NLP的BERT-finetuning新闻文本分类

目录1.数据预处理2.加载模型3.批训练4.准确率1.数据预处理导入所需库importnumpyasnpfrompaddle.ioimportDataLoader,TensorDatasetfrompaddlenlp.transformersimportBertForSequenceClassification,BertTokenizerfromsklearn.model_selectionimp
装B且挨揍の·2023-11-11 04:44

计算机毕设 基于机器学习的文本聚类 - 可用于舆情分析

2.3.1k-means2.3.2DBSCAN2.4实现效果2.4.1tf-idf+k-means聚类结果2.4.2word2vec+k-means聚类结果最后0简介今天学长向大家介绍一个毕设项目，中文文本分类技术中文文本分类
DanCheng-studio·2023-11-11 00:18

one-hot浅谈

如果在文本分类或者图片标签分类的过程中有3类，猫，狗，羊，最简单的标签我们可以让猫是0，狗是1，羊是2，但这就有一个问题，如果算距离的话，猫和狗的距离是1，但猫和羊的距离是2，不符合类别之前相互独立的特点
lanmengyiyu·2023-11-10 16:45

Selenium关于内容信息的获取读取

在进行自然语言处理、文本分类聚类、推荐系统、舆情分析等研究中，通常需要使用新浪微博的数据作为语料，这篇文章主要介绍如果使用Python和Selenium爬取自定义新浪微博语料。
进击的雷神·2023-11-10 07:31

用RNN进行文本分类

本教程的目的是带领大家学会用RNN进行文本分类本次用到的数据集是IMDB，一共有50000条电影评论，其中25000条是训练集，另外25000条是测试集首先我们需要加载数据集，可以通过TFDS很简单的把数据集下载过来
XianxinMao·2023-11-10 02:30

文本标注平台doccano的搭建

它为文本分类，序列标记和序列到序列任务提供了文本标注功能。我们可以通过该工具标记数据以供情感分析、命名实体识别、文本摘要等任务使用。限免就来简单介绍下它的搭建方法。
晨雨初听雪楼雨·2023-11-09 14:31

文本数据标注工具Doccano

它提供了文本分类，序列标注和序列到序列的标注功能。因此，您可以为情绪分析，命名实体识别，文本摘要等创建标记数据。只需创建项目，上传数据并开始标注。总结下来就3步，上传数据，标注，下载带有标签的数据。
Steven灬·2023-11-09 14:29

python深度神经网络文本二分类代码_如何用 Python 和 BERT 做中文文本二元分类？...

因为我当时正在用fast.ai的ULMfit做自然语言分类任务(还专门写了《如何用Python和深度迁移学习做文本分类？》一文分享给你)。
weixin_39783360·2023-11-08 19:26

【NLP】20 个基本的文本清理技术

它涉及各种技术和程序，从文本文档中去除噪声、不一致和不相关信息，使数据更适合文本分析、情感分析、文本分类和机器学习等下游任务。文本清理的主要目标是什么？
Sonhhxg_柒·2023-11-08 19:25

NLP实战：Pytorch实现6大经典深度学习中文短文本分类-bert+ERNIE+bert_CNN+bert_RNN+bert_RCNN+bert_DPCNN

目录Introduction导言数据集Python环境及安装相应依赖包Anaconda环境配置源代码地址预训练语言模型下载新建saved_dict文件夹Bert模型说明ERNIEERNIE1.0ERNIE2.0ERNIE3.0bert_CNN、bert_RNN、bert_RCNN、bert_DPCNN模型说明各模型效果对比参考资料其它资料下载Introduction导言本文基于PyTorch框架，
小胡说人工智能·2023-11-08 19:55

支持向量机文本分类python_Python-基于向量机SVM的文本分类

1.算法介绍2.代码所用数据文件结构├─doc_classification.py├─stopwords.txt├─vocabulary.txt├─train.data├─train.label├─train.map├─test.data├─test.label└─test.mappython代码需要安装的库:pandas,liblinearutil注：Windows平台下liblinearuti
weixin_39749501·2023-11-08 12:48

智能语音和自然语言处理技术

智能语音和自然语言处理技术主要包括语音识别、语音合成、自然语言理解、自然语言生成、文本分类、信息检索等技术。
Kali与编程～·2023-11-07 21:21

自然语言处理基本任务综述

文章目录1.多语言分词2.词性标注3.命名实体识别4.中心词提取5.依存句法分析6.文本纠错7.文本摘要8.文本相似度9.情感分析10.文本分类11.词向量1.多语言分词在自然语言处理中，分词（Tokenization
落叶随峰·2023-11-07 06:35

NLP常见任务的分类指标

以下是一些常见的NLP任务以及相应的评估指标：1、文本分类任务：准确率（Accuracy）：分类正确的样本数量与总样本数量的比例。精确率（Precision）：针对预测为正例的样本，实际为正例的比例。
辰阳星宇·2023-11-07 06:03

软件构件相关

目录1.核心特点2.构件的三个层次3.构件组装4.构件分类的方法1.关键字分类法1.检索方式2.优缺点2.刻面分类法1.检索方式2.优缺点3.超文本分类法1.检索方式2.优缺点5.构件的标准1.优缺点6
q495673918·2023-11-06 13:43

Transformer：开源机器学习项目，上千种预训练模型 | 开源日报 No.66

该项目主要功能包括：文本处理：支持超过100种语言的文本分类、信息抽取、问答、摘要生成和翻译等任务。图像处理：支持图像分类、目标检测和分割等任务。音频处理：支持语
开源服务指南·2023-11-06 13:39

ChatGPT 进阶1- 提示工程简介

ChatGPT有很多应用场景，主要包括：文本生成、问答系统、智能对话、文本摘要、语言翻译、语法纠错、情感分析、自然语言推理、数据抽取和文本分类等。尽管ChatG
晴雪月乔·2023-11-04 16:21

文本分类

包括这次要处理的文本分类，实际上也是建立在文本预处理模型的基础上,提供了一层将文本量化的操作，有如下的优点:不必关注文本处理从迁移学习中受益输出具有固定长度，容易数据处理1.模型的加载和设置embedding
陈道乐·2023-11-04 15:42

pytorch框架:conv1d、conv2d的输入数据维度是什么样的

的输入数据维度通常是一个三维张量，形状为(batch_size,in_channels,sequence_length)，其中：batch_size表示当前输入数据的批次大小；in_channels表示当前输入数据的通道数，对于文本分类任务通常为
WTIAW.TIAW·2023-11-04 14:56

Python数模笔记-Sklearn（5）支持向量机

支持向量机经常应用于模式识别问题，如人像识别、文本分类、手写识别、生物信息识别等领域。
youcans·2023-11-03 17:27

使用TorchText库进行文本分类

使用Torchtext库进行文本分类（官方的例子）配置：torch1.8.1+cputorchtext0.9.1官方文档的链接：https://pytorch.org/tutorials/beginner
莫言莫语123·2023-11-03 07:01

基于sentencepiece工具和unicode编码两种编码分词的word2vec（CBOW，Skip-gram）词向量训练，并结合TextCNN模型，替换初始词向量进行文本分类任务

基于sentencepiece工具和unicode编码两种编码分词的word2vec（CBOW，Skip-gram）词向量训练，并结合TextCNN模型，替换初始词向量进行文本分类任务博主这次做的实验很难
Mr Gao·2023-11-02 22:25

NLP之Bert实现文本分类

文章目录1.代码展示2.整体流程介绍3.代码解读4.报错解决4.1解决思路4.2解决方法5.Bert介绍5.1什么是BertBERT简介：BERT的核心思想：BERT的预训练策略：BERT的应用：为什么BERT如此受欢迎？总结：1.代码展示fromtqdmimporttqdm#可以在循环中添加进度条x=[1,2,3]#listprint(x[:10]+[0]*-7)fromtransformers
赵孝正·2023-11-02 21:07

NLP 快速入门

文章目录前言NLP历史回顾NLP任务语料的标注AI语料标注师岗位职责TransformersHuggingFace模型中文文本分类使用NLTK进行文本分类参考链接开源NLP前言学习NLP，解决两个问题：
北极象·2023-11-02 04:32

使用 Python 进行自然语言处理第 5 部分：文本分类

一、说明关于文本分类，文章已经很多，本文这里有实操代码，明确而清晰地表述这种过程，是实战工程师所可以参照和依赖的案例版本。
无水先生·2023-11-02 04:32

解决Pytorch加载模型时占用大量内存的问题

一、背景公司项目中有一个文本分类任务用使用了深度学习模型，模型使用torch实现的，所有的训练和测试流程都是在GPU机器上进行的，所以保存的模型也是以GPUTensor形式存储的。
LordDW·2023-11-02 04:59

第07课：RNN 在序列问题中的应用——文本分类

本节课我们介绍另一种常用的神经网络结果——循环神经网络（RecurrentNeuralNetwork，RNN）。需要注意的是，RNN可以是两种神经网络的缩写，一种是本次课程讨论的RecurrrentNeuralNetwork，另一种则是RecursiveNeuralNetwork，也称递归神经网络。前者是时间递归的神经网络，而后者是结构递归。在下文中，如果不特别说明，RNN都代表Recurrent
wangongxi·2023-11-01 21:02

学会智能标注与海量复杂文本分类

百度大脑EasyDL是如何帮助NLP文本分类用户提升标注效率的？业界领先的文本分类智能标注产品效果如何？
zenRRan·2023-11-01 21:30

第2篇 机器学习基础 —（4）k-means聚类算法

聚类算法可以用于数据挖掘、图像分割、文本分类等领域。常见的聚类算法包括K-Means、层次聚类、DBSCAN、AP聚类、谱聚类等。本节课就简单介绍k-means聚类算法！
小哥谈·2023-11-01 17:11

广告行业中那些趣事系列63：使用chatgpt类大模型进行文本分类任务

本篇主要介绍了使用chatgpt类大语言模型进行文本分类任务，对于希望使用chatgpt类大语言模型上进行数据标注、文本分类和关键词抽取等任务感兴趣的小伙伴可能有帮助。
数据拾光者·2023-11-01 15:26

百度文心一言搞起来

选择服务类型：文心一言提供了多种服务类型，包括文本分类、文本生成、文本翻译等。根据你的需求选择相应的服务类型。创
打工人何苦为难打工人·2023-11-01 05:47

基于深度学习的中文情感分类 - 卷积神经网络 情感分类 情感分析 情感识别 评论情感分类 计算机竞赛

文章目录1前言2情感文本分类2.1参考论文2.2输入层2.3第一层卷积层：2.4池化层：2.5全连接+softmax层：2.6训练方案3实现3.1sentence部分3.2filters部分3.3featuremaps
Mr.D学长·2023-10-30 15:46

大规模多语言嵌入零样本跨语言迁移及更多

在生成句子嵌入的基础上只需要英语的标注数据就可以无需任何改变将训练好的模型用到93种语言中的任意一种.并且在跨语言NLI数据集,跨语言文本分类,平行语料库挖掘任务
花开见藕·2023-10-29 06:11

CNN模型可视化

CNN目前在语音识别，图像分类，图像分割，自然语言处理等领域都取得了巨大的成功，虽然这些领域的问题并不相同，但CNN可以自动从大规模数据中提取特征，从而帮助完成图像分类、文本分类等问题。  
开心的火龙果·2023-10-28 18:09

Fasttext解读(1)

它解决的问题是使用Fasttext进行文本分类第二个是Enric
biuHeartBurn·2023-10-28 16:57

大规模文本分类网络TextCNN介绍

TextCNN网络是2014年提出的用来做文本分类的卷积神经网络，由于其结构简单、效果好，在文本分类、推荐等NLP领域应用广泛，我自己在工作中也有探索其在实际当中的应用，今天总结一下。
婉妃·2023-10-28 13:07

OpenCV学习笔记（三）之投影峰谷查找

投影峰谷查找：图像的投影特征是分析图像中目标灰度变化规律的重要技术之一，一般是通过计算图像的X或Y轴的投影曲线，来分析其波峰波谷分布特征以实现目标分析，该技术常用于图像分割、字符检测及提取及文本分类等情况
currywhm·2023-10-28 03:30

对pytorch中的文本分类实例代码进行逐行注释

实例代码网址：https://pytorch.org/tutorials/beginner/text_sentiment_ngrams_tutorial.html注意：代码适用于jupyternotebook分块运行第一步、导入数据集并查看importtorchfromtorchtext.datasetsimportAG_NEWS#导入数据集train_iter=iter(AG_NEWS(spli
潘帕斯的雄鹰·2023-10-27 23:23

文本分类大综述：从浅层到深度学习

target=https%3A//arxiv.org/pdf/2008.00364.pdf01摘要文本分类是自然语言处理中最基本、最基本的任务。
Necther·2023-10-27 09:38

浅试通义千问大模型API调用

“通义千问大模型”是阿里云推出的一个超大规模的语言模型，具有强大的归纳和理解能力，可以处理各种自然语言处理任务，包括但不限于文本分类、文本生成、情感分析等。
来上云吧·2023-10-26 18:10

GPT-1、GPT-2和GPT-3模型详解及其进化之路

GPT的核心思想是先通过无标签的文本去训练生成语言模型，再根据具体的NLP任务（如文本蕴涵、QA、文本分类等），来通过有标签的数据对模型进行fine-tuning。
-柚子皮-·2023-10-26 12:16

大模型训练框架

taishan1994/pytorch-distributed-NLP:pytorch分布式训练(github.com)pytorch-distributed-NLPpytorch单机多卡分布式训练-中文文本分类
Kun Li·2023-10-26 07:18

【Gensim概念】01/3 NLP玩转 word2vec

它提供了一系列用于处理文本数据的算法和工具，包括主题建模、相似性计算、文本分类、聚类等。在人工智能和自然语言处理领域，Gensim是一个流行的工具，用于处理大量的文本和语料库。
无水先生·2023-10-26 02:37

文本多任务分类

文本分类是一个很普遍问题，但是往往同一个数据源有多个category需要进行分类。
远洋之帆·2023-10-26 01:45

Text Classification via Large Language Models

Abstract表达大模型在文本分类上做的不好。原因：1、处理复杂语境时缺少推理能力。(e.g…类比、讽刺)2、限制学习的上下文的token数。
菜菜小堡·2023-10-25 07:07

2018-06-29

python实现文本分类-CSDN博客；根据这个实现分类吧；编码问题真的很烦；彻底搞懂Python的字符编码-CSDN博客终于把分类的代码全写完了，不过，精确率是57%，哈哈哈哈哈，要不要这么低，是不是因为训练集比较少
哈uhau花花·2023-10-25 07:48

介绍基于Transformer的目标检测算法

Transformer是一种自注意力机制的神经网络架构，能够处理序列数据并进行高效的翻译和文本分类等任务。在目标检测领域，也有一些基于Transformer的算法被提出。
战神哥·2023-10-24 06:28

机器学习中的多分类问题

例如，将图像分类为不同的物体，将文本分类为不同的主题，将音频分类为不同的语音等。多分类问题可以被视为二分类问题的扩展
梦回丶故里·2023-10-23 13:17

朴素贝叶斯分类器（Naive Bayes Classifier）

它是一种有监督学习算法，常用于文本分类、垃圾邮件过滤、情感分析等问题。朴素贝叶斯分类器假设特征之间相互独立（条件独立性假设），这是“朴素”（Naive）之处，因为在现实情况中，特征之间可能存在相关性。
亿星海·2023-10-23 00:55

神经网络的问题总结

进展：神经网络在图像分类、文本分类、音频分类等方面取得了显著进展，特别是深度卷积神经网络（CNN）在图像分类中的应用。回归问题：特点：用于预测连续数值输出，通常与数值预测和回归分析有关。
Chen_Chance·2023-10-22 17:34
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他