文本分类第6页

Transformers实战——文本相似度

aJupyter·2023-12-01 04:42

AI模型训练——入门篇（二）

导语：本文主要介绍了基于BERT的文本分类方法，通过使用huggingface的transformers库实现自定义模型和任务。

MonsterQy·2023-11-30 19:52

关于大模型在文本分类上的尝试

文章目录前言所做的尝试总结前言总共25个类别，在BERT上的效果是48%，数据存在不平衡的情况，训练数据分布如下：训练数据不多，4000左右所做的尝试1、基于Qwen-14b-base做LoraSFT，Loss忘记记录准确率在68%左右Lora配置classLoraArguments:lora_r:int=64lora_alpha:int

ToTensor·2023-11-30 16:13

人工智能应用：文本分类的技术突破与实战指导

文本分类作为一种常见的人工智能应用，通过将文本数据分到不同的预定义类别中，帮助解决信息分类和处理的问题。本文将探讨文本分类的技术突破以及实战指导，帮助读者了解其原理、挑战和最佳实践。

工业甲酰苯胺·2023-11-30 13:02

基于LSTM的文本分类

#!usr/bin/python#coding=utf-8importpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltimportseabornassnsfromsklearnimportmetricsfromsklearn.preprocessingimportLabelEncoder,OneHotEncoderfromkeras.mod

还闹不闹·2023-11-30 12:34

数据分析04 - 朴素贝叶斯

标签（空格分隔）：数据分析朴素贝叶斯分类最适合的场景就是文本分类、情感分析和垃圾邮件识别。其中情感分析和垃圾邮件识别都是通过文本来进行判断。

数据社·2023-11-30 04:50

48个代码大模型汇总，涵盖原始、改进、专用、微调4大类

代码大模型具有强大的表达能力和复杂性，可以处理各种自然语言任务，包括文本分类、问答、对话等。这些模型通常基于深度学习架构，如Transformer，并使用预训练目标（如语言建模）进行训练。

深度之眼·2023-11-30 02:33

embeddings

这些向量通常是通过训练模型（如Word2Vec、GloVe等）学习得到的，用于各种NLP任务，如文本分类、命名实体识别、情感分析等。embeddings是一个相对低维的

wangqiaowq·2023-11-29 15:08

GPT是什么？

GPT模型可以用于各种自然语言处理任务，如文本生成、文本分类、问答系统等。openai是什么？OpenAI是一个人工智能研究组织，致力于推动人工智能

王摇摆·2023-11-29 15:25

朴素贝叶斯分类：简单而强大的分类算法

它是一种基于概率统计和贝叶斯定理的分类方法，广泛应用于文本分类、垃圾邮件过滤、情感分析等领域。本篇博客将介绍朴素贝叶斯分类算法的基本原理，并通过一个简单的实例来演示其在实际应用中的效果。

_用户昵称_·2023-11-29 14:55

前馈式神经网络与反馈式神经网络的区别，联系，各自的应用范围和场景！！！

常见的前馈式神经网络有多层感知器和卷积神经网络，它们在图像识别、文本分类等静态任务中表现优异。常见的反馈式神经网络有循环神经网络，它们在语音识别、自然语言处理等动态任务中表现优异。总

小桥流水---人工智能·2023-11-29 11:48

Encoder、Decoder和Encoder-Decoder

通常情况下，encoder是用来提取特征的，因此更适合用于文本分类、情感分析等任务2、Decoder将固定长度的向量解码成一个可变长度的输出序列，经常比如gpt

lanmengyiyu·2023-11-29 08:38

AI 夏令营第三期 - 基于论文摘要的文本分类与关键词抽取挑战赛学习笔记3

其中，深度学习实践-NLP方向以讯飞平台“基于论文摘要的文本分类与关键词抽取挑战赛”（2023iFLYTEKA.I.开发者大赛-讯飞开放平台）为学习命题，并提供了一些解题代码供夏令营的初学者、学习者学习研究

话不多说干起来·2023-11-29 01:02

NLP自然语言处理——关键词提取之 TF-IDF 算法（五分钟带你深刻领悟TF-IDF算法的精髓）

这些关键词可以帮助人们快速理解文本的主题，构建文本摘要，提高搜索引擎的效率，甚至用于文本分类和信息检索等应用领域。因此，关

是dream·2023-11-28 08:33

NLP自然语言处理——关键词提取之 TextRank 算法（五分钟带你深刻领悟TextRank算法的精髓）保姆级教程

这些关键词可以帮助人们快速理解文本的主题，构建文本摘要，提高搜索引擎的效率，甚至用于文本分类和信息检索等应用领域。因此，关键词提取在文本分析和自然语言处理中具

是dream·2023-11-28 08:33

【nlp】4.1 fasttext工具介绍（文本分类、训练词向量、词向量迁移）

fasttext工具介绍与文本分类1fasttext介绍1.1fasttext作用1.2fasttext工具包的优势1.3fasttext的安装1.4验证安装2fasttext文本分类2.1文本分类概念

lys_828·2023-11-27 14:15

【nlp】4.4 Transformer库的使用（管道模式pipline、自动模式auto，具体模型BertModel）

Transformer库的使用1了解Transformers库2Transformers库三层应用结构3管道方式完成多种NLP任务3.1文本分类任务3.2特征提取任务3.3完型填空任务3.4阅读理解任务

lys_828·2023-11-27 14:43

【文本分类】深入理解embedding层的模型、结构与文本表示

[1]名词理解 embedding层：嵌入层，神经网络结构中的一层，由embedding_size个神经元组成，[可调整的模型参数]。是input输入层的输出。词嵌入：也就是wordembedding…根据维基百科，被定义为自然语言处理NLP中的一组语言建模和特征学习技术的集体名称，其中来自词汇表的单词或者短语被映射成实数向量。 word2vec：词嵌入这个技术的具体实现，也可以理解成是将

征途黯然.·2023-11-27 07:21

UCAS - AI学院 - 自然语言处理专项课 - 第12讲 - 课程笔记

文本分类与聚类文本分类文本——领域信息分类传统机器学习方法文本表示向量空间模型——BoW模型词的权重词频TF布尔变量逆文档频率IDFTF-IDF特征选择文档频率：根据训练语料中的文档频率，对所有特征进行排序词频

支锦铭·2023-11-27 00:08

基于深度学习的文本分类

通过构建更复杂的深度学习模型可以提高分类的准确性，即分别基于TextCNN、TextRNN和TextRCNN三种算法实现中文文本分类。

伪_装·2023-11-25 12:03

beck_zhou·2023-11-25 05:43

NLP基本知识

这些向量表示使得文本数据在数学上更易于处理，并且可以用于各种NLP任务，如文本分类、情感分析、机器翻译等。以下是关于词嵌入的一些关键信息：词嵌入的特点：连续性：在词

random_2011·2023-11-25 03:16

[python] 使用scikit-learn工具计算文本TF-IDF值（转载学习）

在文本聚类、文本分类或者比较两个文档相似程度过程中，可能会涉及到TF-IDF值的计算。这里主要讲述基于Python的机器学习模块和开源工具：scikit-learn。

彩虹下的天桥·2023-11-24 06:29

深入NLTK：Python自然语言处理库高级教程

在本篇高级教程中，我们将深入探索NLTK的更多高级功能，包括句法解析、命名实体识别、情感分析以及文本分类。一、句法解析句法解析是自然语言处理中的一项重要任务，它的目的是识别出文本中词语之间的句法关系。

Python老猿·2023-11-24 04:50

cs224n-笔记-lecture12-subwords

Subword-models:BytePairEncodingandfriends混合了字符和单词的模型（介于二者之间）fasttext字符级模型介绍一个用于句子级分类的字符级模型：非常深的卷积网络，用于文本分类

AugBoost·2023-11-24 02:38

自然语言处理常用方法和评价指标

常用方法文本分类：如情感分析、主题标签分类。使用方法如朴素贝叶斯、支持向量机、神经网络等。信息提取：从文本中提取结构化信息，如命名实体识别（NER）、关系提取。

jieHeEternity·2023-11-23 19:41

用通俗易懂的方式讲解：NLP 这样学习才是正确路线

自然语言处理的理论基础3、自然语言处理的主要技术范畴3.1语义文本相似度分析3.2信息检索（InformationRetrieval,IR）3.3信息抽取（InformationExtraction）3.4文本分类

深度学习算法与自然语言处理·2023-11-22 22:23

LLM prompt提示构造案例

awesome-chatgpt-prompts-zh吴恩达prompt工程应用：https://www.bilibili.com/video/BV1No4y1t7Znprompt构造案例代码prompt="""文本分类任务

loong_XL·2023-11-22 21:01

python文本分类汇总_用Python解决海量数据的分类汇总一键化办公的神器！

现实的创作来源于生活的灵感！项目引入昨天突然发现有一个比较头疼的问题，有一份数据是某一个学校的寝室数据，有不同的维度的分类，总的数据大概有4000数据，需要进行分类，然后按照不同分类维度进行表格制作，最后生成8个文件夹，每个文件夹里面有24个表格，这个就是我们这一个程序的最终实现功能。如果我们用Excel筛选需要点很多次，而且需要几个人的配合工作，这样就比较的费力，那么作为数据分析的Python神

weixin_39895181·2023-11-22 19:12

零基础入门NLP之新闻文本分类_Task2

零基础入门NLP之新闻文本分类_Task2Taks2中要完成的主要是对新闻数据的分布规律进行探索和了解。这里主要是对代码进行了复现与详解。

恶魔眼睛大又大��·2023-11-22 09:19

从零开始通义千问大模型本地化到阿里云通义千问API调用

“通义千问大模型”是阿里云推出的一个超大规模的语言模型，具有强大的归纳和理解能力，可以处理各种自然语言处理任务，包括但不限于文本分类、文本生成、情感分析等。

风吹落叶花飘荡·2023-11-21 03:53

Datawhale组队学习NLP_Bert文本分类学习笔记

使用Bert进行文本分类1数据的读入1.1TransformerDatasets1.1.1datasets.Metric2数据预处理2.1定义一个tokenizer2.2Datasets2.2.1检查数据格式

宝友你好·2023-11-21 01:02

论文中注意力机制可视化图的制作

以下是个人经验：最近在使用注意力机制实现文本分类，我们需要观察每一个样本中，模型的重心放在哪里了，就是观察到权重最大的token。这时我们需要使用热力图进行可视化。

MeteorMan99·2023-11-20 12:43

基础课9——自然语言理解

自然语言理解技术主要用于解决人机交流、信息处理、知识获取、文本分类、机器翻译、智能问答等问题。通过自然语言理解技术，计算机能够解析人类语言的含义，实现语义分析、情感分析、实体识别

AI 智能服务·2023-11-20 12:05

文本分类方法有哪些

文本分类问题：给定文档p（可能含有标题t），将文档分类为n个类别中的一个或多个文本分类应用：常见的有垃圾邮件识别，情感分析文本分类方向：主要有二分类，多分类，多标签分类文本分类方法：传统机器学习方法（贝叶斯

Jarkata·2023-11-20 04:48

机器学习实战垃圾邮件文本分类正则匹配 re.split() ,分类错误问题解决

机器学习实战垃圾邮件文本分类正则匹配re.split(),分类错误问题解决今天在看《机器学习实战》的时候，对文本的划分一直不理想，最后发现是书上正则化这一部分不是很正确。

haohuaijin·2023-11-19 22:02

企业实践课——基于自然语言处理的期刊文本分类

基于多种机器学习算法的期刊文摘文本分类摘要：本文主要通过机器学习的常规算法模型来对期刊文摘数据进行分析预测，期刊文摘的每一条数据都是一个文本数据，可以当作特征值，文摘类别就是数据的标签。

威少的书童·2023-11-19 05:07

NLP汉语自然语言处理原理与实践 5 词性、语块和命名实体识别

该技术基本成熟，已经被成功地用于文本检索、文本分类、信息抽取等应用之中，并对这些应用产生了实质性的帮助。任务的顺序应该为，首先

CopperDong·2023-11-18 23:18

开源大语言模型完整列表

这些模型通常拥有数十亿到数万亿个参数，能够处理各种自然语言处理任务，如自然语言生成、文本分类、文本摘要、机器翻译、语音识别等。开源中文LLMChat

ejinxian·2023-11-18 22:02

安利一个开源的好工具Label Studio, 闭环数据标注和模型训练

3.数据标注：对于NLP的标注，我们常用的标注包括文本分类，命名实体识别，文本摘要等。4.模型训练：对打好标签的数据进行训练，参数调

u013250861·2023-11-17 15:40

Datawhale AI夏令营 - NLP实践：基于论文摘要的文本分类与关键词抽取挑战赛——基础篇

DAY1入门讲解直播ingQ：如何选择机器学习算法或深度学习算法？A：在许多机器学习问题中，特征工程的重要性不容忽视。如果特征工程能够充分捕捉数据的关键特征，那么机器学习算法也能够表现良好。深度学习在某种程度上可以自动学习特征，但对于特定问题，手动设计特征可能会更有效。总而言之，当样本量足够大且数据集具有一定的特点时，使用机器学习。其中，常用的机器学习包括树模型、SVM模型；深度学习包括神经网络，

学软件的小铃铛·2023-11-17 03:44

大语言模型|人工智能领域中备受关注的技术

文案写作知识库回答文本分类代码生成AWS如何通过LLM提供帮助？

许思王·2023-11-15 23:05

【机器学习】朴素贝叶斯算法：多项式、高斯、伯努利，实例应用（心脏病预测）

该模型常用于文本分类，特别是单词，统计单词出现的次数。

TwcatL_tree·2023-11-15 06:28

如何用 Jina 部署深度学习模型

ExecutorHub上有大量预构建的Executor可供选择，包含了各种常见的任务，如文本分类，图像识别、目标检测等。Execut

zenRRan·2023-11-15 04:06

Hugging Face实战-系列教程8：GLUE数据集/文本分类上（NLP实战/Transformer实战/预训练模型/分词器/模型微调/模型自动选择/PyTorch版本/代码逐行解析）

HuggingFace实战系列总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在JupyterNotebook中进行本篇文章配套的代码资源已经上传下篇内容：HuggingFace实战-系列教程9：GLUE数据集/文本分类下

机器学习杨卓越·2023-11-15 00:52

《NLP入门到精通》栏目导读

栏目文档导读表单元内容范围专题描述备注第一单元：文本分类，基于统计学模型。待续第二单元词嵌入，基于深度学习网

无水先生·2023-11-13 11:50

语义向量模型for检索

**用途：**即使是最低级普通的方法，也可以作为一种快速实现baseline的方法去做一些简单的文本分类任务。tf-

Qzzzzm·2023-11-12 19:16

关键词提取方法综述

这个标签在一定程度上能够表现出这个句子的含义，比如这个”烧烤“，如果用在文本分类任务中，可以隐含带有”美食“这个类别的信息。

weixin_43209472·2023-11-11 15:35

机器学习——朴素贝叶斯

贝叶斯方法背景知识贝叶斯公式二、朴素贝叶斯原理判别模型和生成模型1．朴素贝叶斯法是典型的生成学习方法2．朴素贝叶斯法的基本假设是条件独立性3．朴素贝叶斯法利用贝叶斯定理与学到的联合概率模型进行分类预测用于文本分类的朴素贝叶斯模型

七七喝椰奶·2023-11-11 09:09

推荐频道

文本分类