文本分类

FlagEmbedding

嵌入（embeddings）是将文本表示为连续向量，能够捕捉语义上的相似性，常用于文本分类、聚类、信息检索等场景。

吉小雨·2024-09-15 23:07

欺诈文本分类检测（十四）：GPTQ量化模型

1.引言量化的本质：通过将模型参数从高精度（例如32位）降低到低精度（例如8位），来缩小模型体积。本文将采用一种训练后量化方法GPTQ，对前文已经训练并合并过的模型文件进行量化，通过比较模型量化前后的评测指标，来测试量化对模型性能的影响。GPTQ的核心思想在于：将所有权重压缩到8位或4位量化中，通过最小化与原始权重的均方误差来实现。在推理过程中，它将动态地将权重解量化为float16，以提高性能，

沉下心来学鲁班·2024-09-15 06:54

【自然语言处理】自然语言处理NLP概述及应用

自然语言处理NLP概述基本任务：文本分类：将文本划分为预定义的类别，如情感分析、主题分类等

@我们的天空·2024-09-10 10:25

【机器学习】朴素贝叶斯方法的概率图表示以及贝叶斯统计中的共轭先验方法

文章目录引言一、朴素贝叶斯方法的概率图表示1.1节点表示1.2边表示1.3无其他连接1.4总结二、朴素贝叶斯的应用场景2.1文本分类2.2推荐系统2.3医疗诊断2.4欺诈检测2.5情感分析2.6邮件过滤

Lossya·2024-09-07 19:33

NLP-预训练模型-中文：封神榜系列【姜子牙（通用大模型）、太乙（多模态）、二郎神（语言理解）、闻仲（语言生成）、燃灯（语言转换）、余元（领域）、...】

封神榜模型系列简介系列名称需求适用任务参数规模备注姜子牙通用通用大模型>70亿参数通用大模型“姜子牙”系列，具备翻译，编程，文本分类，信息抽取，摘要，文案生成，常识问答和数学计算等能力太乙特定多模态

u013250861·2024-09-05 14:35

自然语言处理系列五十一》文本分类算法》Python快速文本分类器FastText

：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】文章目录自然语言处理系列五十一Python开源快速文本分类器

陈敬雷-充电了么-CEO兼CTO·2024-09-05 06:11

自然语言处理系列五十》文本分类算法》SVM支持向量机算法原理

人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】文章目录自然语言处理系列五十SVM支持向量机》算法原理SVM支持向量机》代码实战总结自然语言处理系列五十SVM支持向量机》算法原理SVM支持向量机在文本分类的应用场景中

陈敬雷-充电了么-CEO兼CTO·2024-09-02 07:52

Hugging Face教程

从文本分类、情感分析到机器翻译和对话系统，NLP技术的应用日益广泛。

小牛笔记·2024-09-02 07:22

RNN及其变体

RNN及其变体RNN模型定义循环神经网络:一般接受的一序列进行输入,输出也是一个序列作用和应用场景:RNN擅长处理连续语言文本,机器翻译,文本生成,文本分类,摘要生成RNN模型的分类根据输入与输出结构NVsN

豫儿啊~·2024-08-31 22:28

文字模型训练分析评论（算法实战）

这类模型广泛应用于文本分类、情感分析、机器翻译、聊天机器人、摘要生成等多个方面。

富士达幸运星·2024-08-31 04:55

快速使用transformers的pipeline实现各种深度学习任务

pipeline()函数支持多种任务，包括文本分类、文本生成、摘要生成、图像分类、图像分割、对象检测、音频分类、自动语音识别、视觉问题回答、文档问题回

E寻数据·2024-08-31 04:54

AIGC自动行为采集的文本分类任务——结和上下文情景自动编码（含数据清洗以及提示词和代码）——批量处理

文章目录数据清洗二次清洗数据上下文情景顺序应该先处算情境批量操作excel数据清洗遍历python脚本所在目录所有excel文件读取所有文件的‘’标注‘’列，遍历读取这一列每行数据，删除所有数据中不包含：1学生回答问题2出声思考3学生举手/提问/建议4学生获得成就时刻5学生与家长互动6家长辅导学生7家长鼓励学生8家长批评/惩罚学生这八条中的数据，如果遇到学生回答问题R1，或者学生回答问题R2学生回

东方-教育技术博主·2024-08-30 06:28

【机器学习】机器学习与大模型在人工智能领域的融合应用与性能优化新探索

文章目录引言机器学习与大模型的基本概念机器学习概述监督学习无监督学习强化学习大模型概述GPT-3BERTResNetTransformer机器学习与大模型的融合应用自然语言处理文本生成文本分类机器翻译图像识别自动驾驶医学影像分析语音识别智能助手语音转文字大模型性能优化的新探索模型压缩权重剪枝量化知识蒸馏分布式训练数据并行模型并行异步训练高效推理模型裁剪缓存机制专用硬件未来展望跨领域应用智能化系统人

E绵绵·2024-08-26 06:25

欺诈文本分类微调（六）：Lora单卡训练

1.引言前面欺诈文本分类微调（四）：构造训练/测试数据集已经构造出了数据集，更之前的欺诈文本分类微调（一）：基座模型选型选好了基座模型，这篇文章将基于构造出的数据集和选定的模型进行欺诈文本分类的微调训练

沉下心来学鲁班·2024-08-25 11:27

【ShuQiHere】“从 One-Hot 到 GPT：窥探词表示技术的演变”

通过词表示，我们可以将文本中的词语转化为计算机能够理解和处理的数字向量，这为各种NLP任务，如文本分类、情感分析、机器翻译等，提供了强大的支持。

ShuQiHere·2024-08-25 08:06

自然语言处理（NLP）技术的概念及优势

大规模文本处理：NLP技术可以对大规模文本进行自动化处理和分析，提取关键信息和知识，从而实现文本分类、情感分析、信息检索等任务。自动化翻译：N

刘小董·2024-03-18 00:36

《倒排索引》

因此，倒排索引在文本搜索和信息检索中广泛应用，如搜索引擎、网站搜索、文本分类等场景中。具体来说，一个倒排索引包含一个词语词典和每个词语对应的倒排列表。

刚满十八工地搬砖·2024-03-14 10:05

NLP技术

自然语言处理（NLP）技术可以应用在多个领域，例如机器翻译、情感分析、文本分类等。以下是几个例子：1.机器翻译：NLP技术可以将一种语言的文本自动翻译成另一种语言。

小天才dhsb·2024-03-13 00:47

大语言模型可信性浅谈

这些模型在自然语言处理任务中取得了显著的成果，包括文本分类、情感

MarkHD·2024-03-08 21:49

基于ERNIR3.0文本分类的开发实践

参考：基于ERNIR3.0文本分类：(KUAKE-QIC)意图识别多分类(单标签)-飞桨AIStudio星河社区(baidu.com)https://zhuanlan.zhihu.com/p/574666812

wangqiaowq·2024-03-07 03:54

【探索AI】四：AI（人工智能）自然语言处理（NLP）

在自然语言处理中，常见的任务包括但不限于：文本分类：将文本按照预定义的类别进行分类，如垃圾邮件分类、新闻分

美少女战士1@·2024-03-01 22:07

文本分类算法能够应用于哪些领域？真实项目场景介绍

我们有幸参与了多个涉及分类算法的项目，这些项目覆盖了多个行业，展示了分类算法的广泛应用和巨大潜力。下面我为大家介绍几个实际的真实项目案例：1.某城市档案馆我们为一线某城市的档案馆开发了一个智能分类系统。这个系统能够自动识别和分类158种不同类型的公文，极大地提高了档案管理的效率。通过机器学习算法，我们训练了一个模型，它能够理解公文的内容和格式，从而实现快速且准确的分类。这不仅减少了人工分类的时间，

思通数科x·2024-02-20 17:48

朴素贝叶斯算法

它被广泛应用于文本分类、垃圾邮件过滤等领域。朴素贝叶斯算法简单易懂，其核心思想是假设在给定目标值时，各个属性之间相互独立。在实际应用中，朴素贝叶斯算法在垃圾邮件过滤中表现出色。

YuanDaima2048·2024-02-19 10:46

21丨朴素贝叶斯分类（下）：如何对文档进行分类？

朴素贝叶斯分类最适合的场景就是文本分类、情感分析和垃圾邮件识别。

张九日zx·2024-02-15 10:27

Task6 基于深度学习的文本分类3

基于深度学习的文本分类学习目标了解Transformer的原理和基于预训练语言模型（Bert）的词表示学会Bert的使用，具体包括pretrain和finetune文本表示方法Part4Transformer

listentorain_W·2024-02-15 07:53

8、python多项式贝叶斯文本分类（完整）

1、贝叶斯定理（BayesTheorem）朴素贝叶斯分类（NaiveBayesClassifier）贝叶斯分类算法，是统计学的一种分类方法，它是利用贝叶斯定理的概率统计知识，对离散型的数据进行分类的算法2、贝叶斯算法的类型sklearn包naive_bayes模块GaussianNB高斯贝叶斯BernoulliNB伯努利贝叶斯MultionmialNB多项式贝叶斯（需要知道具体每个特征的数值大小）

UP Lee·2024-02-14 13:32

zero shot classification提取主题词

基于NLI的零镜头文本分类。zeroshotclassification提出了一种使用预训练的NLI模型作为现成的零样本序列分类器的方法。

狗庄欺人太甚·2024-02-14 11:49

Task5 基于深度学习的文本分类2

Task5基于深度学习的文本分类2在上一章节，我们通过FastText快速实现了基于深度学习的文本分类模型，但是这个模型并不是最优的。在本章我们将继续深入。

listentorain_W·2024-02-14 06:13

使用word2vec+tensorflow自然语言处理NLP

这种向量表示可以用于各种自然语言处理任务，如语义相似度计算、文本分类和命名实体识别等。Word2Vec的核心思想是通过预测上下文或

取名真难.·2024-02-14 05:18

ERNIE实现酒店情感分析（文本分类）

ERNIE实现酒店情感分析（文本分类）引言在自然语言处理（NLP）领域，文本分类是一项重要的任务，它能够帮助我们理解和分析大量的文本数据。

OverlordDuke·2024-02-14 02:42

13自然语言处理基础入门

字符串基础操作及应用自然语言处理简介做一个中文文本分类任务，首先要做的是文本的预处理，对文本进行分词和去停用词操作，来把字符串分割成词与词组合而成的字符串集合并去掉其中的一些非关键词汇（像是：的、地、得等

Jachin111·2024-02-13 21:04

什么是jieba？

该库能够处理多种文本分析任务，如情感分析、关键词提取、文本分类等。安装在使用jieba库之前，需要先安装它。

zg1g·2024-02-12 22:33

基于jieba、TfidfVectorizer、LogisticRegression的垃圾邮件分类，模型平均得分为0.98左右（附代码和数据集）

垃圾邮件分类识别是一种常见的文本分类任务，旨在将收件箱中的邮件分为垃圾邮件和非垃圾邮件。

代码讲故事·2024-02-11 18:04

使用Logistic Regression进行文本分类

1.文本格式sentence,label游戏太坑，暴率太低，太克金，平民不能玩,negative让人失望,negative能解决一下服务器问题？网络正常老掉线，换手机也一样。。。,negative期待,positive一星也不想给，这特么简直龟速，炫舞老年版？,negative衣服不好看游戏内容无特色，界面乱糟糟的,negative喜欢喜欢,positive从有了这个手游就一直玩，很喜欢呀，希望更

bitcarmanlee·2024-02-11 18:04

NLP之transformer -Task01

常见的NLP任务本教程将NLP任务划分为4个大类：1、文本分类，2、序列标注，3、问答任务——抽取式问答和多选问答，4、生成任务——语言模型、机器翻译和摘要生成。

曼曼668·2024-02-10 11:55

【大厂AI课学习笔记】【1.5 AI技术领域】（8）文本分类

文本分类，TextCategorization，将文本按照一定的分类体系或

giszz·2024-02-09 10:17

C++课程设计：单词统计器

自然语言处理：在自然语言处理领域，单词统计是一种基本的文本分析技术，可以用于文本分类、情感分析、机器翻译等应用。数据分析：在数据分析领域，单词统计可以用于分析文本数据的特征，例如词频分布、词汇多

Feelings◎·2024-02-09 00:11

spark好的文章链接

sparkjavaapi手册http://www.17bigdata.com/book/spark/BianChengZhiNan/SPARKGongXiangBianLiang.htmlJavaSparkML实现的文本分类

Trank-Lw·2024-02-08 13:18

探索NLP中的N-grams：理解，应用与优化

冷冻工厂·2024-02-08 09:23

如何利用chatgpt提升工作效率

ChatGPT是一种基于人工智能技术的自然语言处理模型，它可以进行自然语言生成、文本分类、机器翻译等任务。通过利用ChatGPT，可以提高工作效率，使得工作更加高效、智能和便捷。

人生万事须自为，跬步江山即寥廓。·2024-02-07 09:08

文本分类 tricks

tricks模型训练好后，分类训练集和验证集中以很高的置信度做出错误决策的样本，然后去做这些badcases的分析，如果发现错误标注有很强的规律性，则直接写一个脚本纠正（只要确保纠正后的标注正确率比纠正前明显高就行），如果没有什么规律，但是发现模型高置信度做错这些样本大部门都是标注错误的话，就直接删除这些样本，

想努力的人·2024-02-07 08:36

机器学习 | 探索朴素贝叶斯算法的应用

它被广泛应用于文本分类、垃圾邮件过滤、情感分析等领域，并且在实际应用中表现出色。朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法：1）对于给定的待分类项r，通过学习到的模型计算后验概率分布。

亦世凡华、·2024-02-07 03:45

PyTorch（超详细）部署与激活举起Python火炬，点亮智慧人生【Windows版】

自然语言处理：机器翻译、文本分类、情感分析、问答系统等。语音处理：语音识别、语音合成、说话人识别等。生

心安成长·2024-02-06 14:04

[自然语言处理|NLP] 文本分类与情感分析，数据预处理流程，包括了同义词替换和拼写纠正，以及使用NLTK库和TextBlob库进行标记化和情感分析（附代码）

[自然语言处理|NLP]文本分类与情感分析，数据预处理流程，包括了同义词替换和拼写纠正，以及使用NLTK库和TextBlob库进行标记化和情感分析（附代码）。

代码讲故事·2024-02-06 12:30

PyTorch 2.2 中文官方教程（七）

使用torchtext库进行文本分类原文：pytorch.org/tutorials/beginner/text_sentiment_ngrams_tutorial.html译者：飞龙协议：CCBY-NC-SA4.0

绝不原创的飞龙·2024-02-06 03:15

自然语言处理中所有任务的概括

1.文本分类：文本分类是NLP的基本任务之一，它涉及将文本分

茫茫人海一粒沙·2024-02-06 02:04

梯度提升树系列2——如何使用GBDT解决分类问题

从图像识别、文本分类到客户行为预测，分

theskylife·2024-02-05 13:05

ChatGPT高效提问—基础知识（NLP）

NLP包括文本预处理、自然语言理解、文本分类、情感分析、机器翻译、自然语言生成等各种技术。这些技术都是为了使计算机更好地处理自然语言并实现自然的人机交互。1.3.1NLP的应用NLP技术可以应用于以

Bruce_Liuxiaowei·2024-02-05 11:43

支持向量机

支持向量机在许多领域都有广泛的应用，如文本分类、图像识别、生物信息学、金融预测等。支持向量机的应用：（1）文本分类：支持向量机可以用于文本分类任务，如垃圾邮件过滤、情感分析、主题分类等。

小森( ﹡ˆoˆ﹡ )·2024-02-05 10:24

【NLP入门教程】二、分词

分词在许多NLP任务中都有重要应用，如文本分类、情感分析和机器翻译等。2.2.1英文分词英文分词相对简单，因为单词之间通常由空格分隔。然而，仅仅依靠空格进行分词可能导致一些问题，如标点符号和缩写等。

晨星同行·2024-02-05 09:21

推荐频道