文本分类

NLP进阶，使用TextRNN和TextRNN_ATT实现文本分类

TextRNNTextRNN仅仅是将WordEmbedding后，输入到双向LSTM中，然后对最后一位的输出输入到全连接层中，在对其进行softmax分类即可，模型如下图：代码：classRNN(nn.Module):def__init__(self,vocab_size,embedding_dim,hidden_dim,output_dim,n_layers=2,bidirectional=Tr
静静AI学堂·2023-09-05 01:26

【小沐学NLP】Python使用NLTK库的入门教程

nltk库2.2安装nltk语料库3、测试3.1分句分词3.2停用词过滤3.3词干提取3.4词形/词干还原3.5同义词与反义词3.6语义相关性3.7词性标注3.8命名实体识别3.9Text对象3.10文本分类
爱看书的小沐·2023-09-04 18:15

使用自动模型

本文通过文本分类任务演示了HuggingFace自动模型使用方法，既不需要手动计算loss，也不需要手动定义下游任务模型，通过阅读自动模型实现源码，提高NLP建模能力。
NLP工程化·2023-09-04 15:49

论文浅尝 | 利用对抗攻击策略缓解预训练语言模型中的命名实体情感偏差问题...

笔记整理：田家琛，天津大学博士，研究方向为文本分类链接：https://ojs.aaai.org/index.php/AAAI/article/view/26599动机近年来，随着预训练语言模型（PLMs
开放知识图谱·2023-09-04 00:53

Hugging Face实战-系列教程4：padding与attention_mask

系列教程3：文本2分类下篇内容：HuggingFace实战-系列教程5：NER上（命名实体识别/文本标注/Doccano工具使用/关键信息抽取/Token分类/源码解读/代码逐行解读/文本BIO处理/文本分类
机器学习杨卓越·2023-09-03 06:17

【Datawhale】AI夏令营第三期——基于论文摘要的文本分类笔记(上)

暑期参加了Datawhale的第三期AI夏令营，学习的是NLP方向，在此期间，我们通过比赛打榜的形式进行NLP的学习。今天，主要分享和记录一下这一期夏令营的学习历程和笔记。文章目录赛题背景赛题任务赛题数据集评价指标解题思路任务一：机器学习方法Baseline1.导入模块2.特征提取2.1基于TF-IDF提取2.2基于BOW2.3停用词3.划分数据集4.选择机器学习模型5.数据探索5.1使用pand
心无旁骛~·2023-09-02 11:00

【Datawhale】AI夏令营第三期——基于论文摘要的文本分类笔记(下)

笔记上部分请看【Datawhale】AI夏令营第三期——基于论文摘要的文本分类笔记(上)文章目录一、深度学习Topline1.1数据预处理1.2模型训练1.3评估模型1.4测试集推理1.5后续改进二、大模型
心无旁骛~·2023-09-02 11:58

fasttext的简单介绍

测试facebook开源的基于深度学习的对文本分类的fastText模型fasttextpython包的安装:1pipinstallfasttext第一步获取分类文本，文本直接用的清华大学的新闻分本，
夜空中最亮的星_6c64·2023-09-01 14:42

文本标注技术方案（NLP标注工具）

它为文本分类、序列标记和序列到序列任务提供注释功能。您可以创建用于情感分析、命名实体识别、文本摘要等的标记数据。只需创建一个项目，上传数据，然后开始注释。您可以在数小时内构建数据集。
地铁程序员·2023-08-31 14:07

使用 BERT 进行文本分类 （03/3）

一、说明在使用BERT（2）进行文本分类时，我们讨论了什么是PyTorch以及如何预处理我们的数据，以便可以使用BERT模型对其进行分析。在这篇文章中，我将向您展示如何训练分类器并对其进行评估。
无水先生·2023-08-31 11:45

“Why Should I Trust You?” Explaining the Predictions of Any Classifier阅读笔记

2.背景[1]^{[1]}[1]3.LIME解释单个样本3.1总体思想3.2构建可解释的数据表示[1]^{[1]}[1]3.3可解释性和忠实度的权衡3.4局部采样3.5稀疏线性解释3.6使用SVM进行文本分类
喝过期的拉菲·2023-08-31 02:22

BERT 上的动态量化

BERT，或者说Transformers的双向嵌入表示法，是一种预训练语言表示法的新方法，可以在许多流行的自然语言处理(NLP）任务(例如问题解答，文本分类，和
yanglamei1962·2023-08-30 13:51

中文情感分类

本文通过ChnSentiCorp数据集介绍了文本分类任务过程，主要使用预训练语言模型bert-base-chinese直接在测试集上进行测试，也简要介绍了模型训练流程，不过最后没有保存训练好的模型。
NLP工程化·2023-08-30 09:49

Task3 基于机器学习的文本分类

基于机器学习的文本分类在本章我们将开始使用机器学习模型来解决文本分类。机器学习发展比较广，且包括多个分支，本章侧重使用传统机器学习，从下一章开始是基于深度学习的文本分类。
ochipe·2023-08-30 04:56

《机器学习深度学习》实战训练营开课了

课程介绍：《机器学习深度学习》实战训练营开课了_哔哩哔哩_bilibili《机器学习深度学习》实战训练营开课了授课内容：机器学习，深度学习，文本分类，计算机视觉，时间序列预测课程目录：回归任务：基于机器学习大气数据的污染物
甜辣uu·2023-08-29 07:35

Task8 循环神经网络

利用Text-RNN模型来进行文本分类。RecurrentConvol
_一杯凉白开·2023-08-29 00:31

探索MediaPipe自定义机器学习模型

MediaPipe支持人脸识别、目标检测、图像分类、人像分割、手势识别、文本分类、语音分类。每个模块都有对应的模型，但是原有模型可能比较大、推理耗时比较长，我们可以自定义模型来进行进行优化。
徐福记456·2023-08-28 19:05

深度学习在自然语言处理中的十大应用领域

文章目录1.机器翻译2.文本分类3.命名实体识别4.问答系统5.文本生成6.情感分析7.语言生成与处理8.信息检索与摘要9.文本纠错与修复10.智能对话系统总结欢迎来到AIGC人工智能专栏~深度学习在自然语言处理中的十大应用领域
IT·陈寒·2023-08-28 08:23

自然语言处理（NLP）技术的例子

文本分类：文本分类将文本分成不同的类别，它可以被应用到垃圾邮件过滤、新闻分类、社交媒体分析等领域。
AbelZ_01·2023-08-28 08:38

文本分类任务

文章目录引言1.文本分类-使用场景2.自定义类别任务3.贝叶斯算法3.1预备知识3.2贝叶斯公式3.3贝叶斯公式的应用3.4贝叶斯公式在NLP中的应用3.5贝叶斯公式-文本分类3.6代码实现3.7贝叶斯算法的优缺点
@kc++·2023-08-28 05:12

ATT-CNN实现修改--循环变矩阵乘法

上周接触了一下文本分类，了解的不多，学习了一下ATT-CNN用于文本分类的代码，发现了一些问题，写这篇博客记录一下。首先描述下代码中实现文本分类（句子为单样本）的方式：1、中
愿better·2023-08-28 04:35

An Effective Deployment of Contrastive Learning in Multi-label Text Classification (ACL2023)

AnEffectiveDeploymentofContrastiveLearninginMulti-labelTextClassification(ACL2023)在多标签文本分类中一种有效的对比学习应用论文代码
CodeWang_NC·2023-08-27 21:55

BERT 模型微调实战：使用Transformers微调BERT模型实现问答和文本分类任务

一、BERT介绍BERT（BidirectionalEncoderRepresentationsfromTransformers）是一种预训练的自然语言处理模型，由Google于2018年发布。BERT模型的核心是Transformer编码器，它可以在大规模语料库上进行无监督预训练，然后通过微调在各种NLP任务上进行微调。BERT模型是一种双向的深度学习模型，它可以同时考虑上下文中的所有单词，从而
技术狂潮AI·2023-08-27 08:24

【NLP保姆级教程】手把手带你RNN文本分类(附代码)

本文首发于微信公众号：NewBeeNLP写在前面这是NLP保姆级教程的第二篇----基于RNN的文本分类实现（TextRNN）参考的的论文是来自2016年复旦大学IJCAI上的发表的关于循环神经网络在多任务文本分类上的应用
kaiyuan_nlp·2023-08-26 11:25

使用管道工具

HuggingFace本身就是一个模型库，包括了很多经典的模型，比如文本分类、阅读理解、完形填空、文本生成、命名实体识别、文本摘要、翻译等，这些模型即使不进行任何训练也能直接得出比较好的预测结果。
NLP日志录·2023-08-26 10:07

Prompt Tuning 和instruct tuning

以bert作为举例，假设任务是文本分类。“今天天气很好。”我们想判断一下这句话的情感是正面还是负面fine-tune的方法是在bert之后接一个head，然后调整整个模型。
泯灭XzWz·2023-08-26 10:04

超越界限：大模型应用领域扩展，探索文本分类、文本匹配、信息抽取和性格测试等多领域应用

超越界限：大模型应用领域扩展，探索文本分类、文本匹配、信息抽取和性格测试等多领域应用随着ChatGPT和GPT-4等强大生成模型出现，自然语言处理任务方式正在逐步发生改变。
汀、人工智能·2023-08-26 05:36

数据增强：提高机器学习性能的有效技巧

文章目录1.数据增强的概念和意义2.常用的数据增强技巧2.1图像数据增强2.2文本数据增强3.数据增强在机器学习中的应用3.1图像分类3.2目标3.3语义分割3.4文本分类3.5生成对抗网络（GAN）4
IT·陈寒·2023-08-25 22:04

几个nlp的小项目（文本分类）

几个nlp的小项目（文本分类）导入加载数据类、评测类查看数据集精确展示数据测评方法设置参数tokenizer，token化的解释对数据集进行预处理加载预训练模型进行训练设置训练模型的参数一个根据任务名获取
码manba·2023-08-25 07:51

NLP（三十）利用ALBERT和机器学习来做文本分类

在文本分类中，有两个大的思路，一个是机器学习，主要是利用n-gram等特征将文本转化为特征向量，这种方法便于
山阴少年·2023-08-24 23:38

使用 T5 模型来做文本分类任务的一些总结

文章目录T5text2text模型如何做textclassification？优化器和调度器(optimizerandscheduler)学习率设置完整训练代码ReferenceT5paper：ExploringtheLimitsofTransferLearningwithaUnifiedText-to-TextTransformerT5本身是一个Text-to-Text模型，但其不仅仅能做传统的
friedrichor·2023-08-24 15:58

超越界限：大模型应用领域扩展，探索文本分类、文本匹配、信息抽取和性格测试等多领域应用

超越界限：大模型应用领域扩展，探索文本分类、文本匹配、信息抽取和性格测试等多领域应用随着ChatGPT和GPT-4等强大生成模型出现，自然语言处理任务方式正在逐步发生改变。
·2023-08-24 15:22

Datawhale零基础入门NLP赛事 - Task1 赛题理解

赛题理解赛题名称：零基础入门NLP之新闻文本分类赛题目标：通过这道赛题可以引导大家走入自然语言处理的世界，带大家接触NLP的预处理、模型构建和模型训练等知识点。
AugBoost·2023-08-24 02:30

pytorch_pretrained_bert换成transformers踩坑

本文以文本分类为例叙述步骤1、前向传播时，pytorch_pretrained_bert是以下内容_,pooled=self.bert(context,token_type_ids=types,attention_mask
余俊晖·2023-08-23 11:18

NLP | 基于LLMs的文本分类任务

比赛链接：讯飞开放平台来源：DataWhaleAI夏令营3（NLP）Roberta-base（BERT的改进）①Roberta在预训练的阶段中没有对下一句话进行预测（NSP）②采用了动态掩码③使用字符级和词级别表征的混合文本编码。论文：https://arxiv.org/pdf/1907.11692.pdfDataWhaleTopline的改进：特征1：平均池化MeanPooling(768维)-
秋田刀鱼·2023-08-23 07:36

nlp系列（7）三元组识别（Bi-LSTM+CRF）pytorch

模型介绍在实体识别中：使用了Bert模型，CRF模型在关系识别中：使用了Bert模型的输出与实体掩码，进行一系列变化，得到关系Bert模型介绍可以查看这篇文章：nlp系列（2）文本分类（Bert）pytorch_bert
牧子川·2023-08-23 07:06

【大模型】二 、大语言模型的基础知识

它们通常通过在大量文本数据上进行预训练，学习到语言的各种模式和结构，然后可以进行微调，以适应各种具体的任务，如文本分类、情感分析、问答系统等。这些模型在理解复杂的
IT界的小小小学生·2023-08-22 03:22

2023实习面经

如果文本分类的标签有多个，比如一个文本同时属于多个label那怎么办？
无枒·2023-08-21 11:04

[oneAPI] 使用Bert进行中文文本分类

[oneAPI]使用Bert进行中文文本分类Intel®OptimizationforPyTorch基于BERT的文本分类模型数据预处理数据集定义tokenize建立词表转换为Token序列padding
星码·2023-08-21 08:59

使用BERT做中文文本相似度计算与文本分类2018-11-29 18:37:53

https://blog.csdn.net/u012526436/article/details/84637834
dpjdrniu·2023-08-21 04:39

使用 Elasticsearch 轻松进行中文文本分类

本文记录下使用Elasticsearch进行文本分类，当我第一次偶然发现Elasticsearch时，就被它的易用性、速度和配置选项所吸引。
一个高效工作的家伙·2023-08-21 01:41

卡方校验

在文本分类的特征选择阶段中，我们主要关心一个问题：词条t与类别C是否相互独立1）相互独立，说明词条t对类别c完全
一心一意弄算法·2023-08-20 20:38

Neural Bag-of-Ngrams

其他的有关文本建模（句子和篇章）的论文，他们的注意力并不是集中在纯粹的文本建模上，而是在进行文本分类的时候，顺带的对文本进行了建模，用的方法基本上也都是深度学习，如DNN、RNN、CNN之类的。
jmuhe·2023-08-20 17:06

PyTorch翻译官网教程-TEXT CLASSIFICATION WITH THE TORCHTEXT LIBRARY

官网链接Textclassificationwiththetorchtextlibrary—PyTorchTutorials2.0.1+cu117documentation使用torchtext库进行文本分类在本教程中
poorCoder_·2023-08-20 15:08

文本分类实战-NLP

数据集及任务分析项目主题：新闻的主题分类，10分类任务一般对于NLP项目来说的话需要进行数据预处理的，但是由于本项目的数据是经过处理过的，所以就不需要进行数据预处理了，但是数据预处理对NLP项目是重中之重的。THUCNews文件夹train.txt（训练集）dev.txt(验证集)test.txt（测试集）class.txt文本任务的数据处理的基本流程分析step1：分词或分字step2：ID替换
coding_ksy·2023-08-20 15:21

python-transformers常用的pipline和常用模型介绍

transformers库提供了许多预训练模型和pipeline，可以用于各种自然语言处理任务，如文本分类、命名实体识别、情感分析、问答等。
liwulin0506·2023-08-19 23:07

NLP | 论文摘要文本分类

基于论文摘要的文本分类与关键词抽取挑战赛2023iFLYTEKA.I.开发者大赛-讯飞开放平台环境需求：Anaconda-JupyterNotebook，或者百度AIStudio赛题解析：【文本二分类任务
秋田刀鱼·2023-08-19 09:40

基于Python和Spacy的命名实体识别

Spacy是一个基于Python的开源自然语言处理库，提供广泛的功能，包括标记化、POS标签、句法分析、命名实体识别、文本分类等。
python慕遥·2023-08-19 01:28

医疗知识图谱问答——文本分类解析

前言Neo4j的数据库构建完成后，现在就是要实现医疗知识的解答功能了。因为是初版，这里的问题解答不会涉及深度学习，目前只是一个条件查询的过程。而这个过程包括对问题的关键词拆解分类，然后提取词语和类型去图数据库查询，最后就是根据查询结果和问题类型组装语言完成回答，那么以下就是完成这个过程的全部代码流程了。环境这里所需的环境除了前面提到的外，还需要ahocorasick库，用于从问题中提取关键词。另一
·2023-08-18 16:02

文本分类综述 | 迈向NLP大师的第一步（上）

NewBeeNLP，作者lucyNewBeeNLP永远有料，永远有趣NewBeeNLP公众号原创出品公众号专栏作者@lucy北航博士在读·文本挖掘/事件抽取方向本系列文章总结自然语言处理（NLP）中最基础最常用的「文本分类
科技州与数据州·2023-08-18 07:40
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他