朴素贝叶斯文本分类第8页

使用tensorflow2.15.0版跑bert模型遇到的问题记录

背景使用官方的bert模型https://github.com/google-research/bert作文本分类时(运行run_classifier.py函数)，遇到的一些问题记录问题记录官方模型要求的版本是

huahuahuahhhh·2023-12-01 20:14

朴素贝叶斯

1概述朴素贝叶斯（naïveBayes）法是基于贝叶斯定理与特征条件独立假设的分类方法。

豪_34bf·2023-12-01 17:05

机器学习入门（第四天）——朴素贝叶斯

知识树KnowledgetreeP(y|x)，P给定x的条件下，y的概率。如：P(y=我招女孩子喜欢的概率|我是学生)一个小故事Astory女朋友和妈妈掉河里，路人拿出3颗豆，两颗红豆1颗绿豆。如果我抽中红豆救女朋友，抽中绿豆救妈妈。我和路人各种抽一颗，路人发现自己抽中的是绿豆，他想用剩下的那颗跟我换，我换不换？换豆和女朋友活下去的概率一样吗？直觉来讲：换不换豆我抽中红豆的概率应该都是1/3。这时

学术菜鸟小晨·2023-12-01 16:06

实战文本分类对抗攻击

“文本分类对抗攻击”是清华大学和阿里安全2020年2月举办的一场AI比赛，从开榜到比赛结束20天左右，内容是主办方在线提供1000条辱骂样本，参赛者用算法逐条扰动，使线上模型将其判别为非辱骂样本，尽量让扰动较小同时又保留辱骂性质

xieyan0811·2023-12-01 05:43

Transformers实战——文本相似度

aJupyter·2023-12-01 04:42

AI模型训练——入门篇（二）

导语：本文主要介绍了基于BERT的文本分类方法，通过使用huggingface的transformers库实现自定义模型和任务。

MonsterQy·2023-11-30 19:52

关于大模型在文本分类上的尝试

文章目录前言所做的尝试总结前言总共25个类别，在BERT上的效果是48%，数据存在不平衡的情况，训练数据分布如下：训练数据不多，4000左右所做的尝试1、基于Qwen-14b-base做LoraSFT，Loss忘记记录准确率在68%左右Lora配置classLoraArguments:lora_r:int=64lora_alpha:int

ToTensor·2023-11-30 16:13

人工智能应用：文本分类的技术突破与实战指导

文本分类作为一种常见的人工智能应用，通过将文本数据分到不同的预定义类别中，帮助解决信息分类和处理的问题。本文将探讨文本分类的技术突破以及实战指导，帮助读者了解其原理、挑战和最佳实践。

工业甲酰苯胺·2023-11-30 13:02

基于LSTM的文本分类

#!usr/bin/python#coding=utf-8importpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltimportseabornassnsfromsklearnimportmetricsfromsklearn.preprocessingimportLabelEncoder,OneHotEncoderfromkeras.mod

还闹不闹·2023-11-30 12:34

数据分析04 - 朴素贝叶斯

标签（空格分隔）：数据分析朴素贝叶斯分类最适合的场景就是文本分类、情感分析和垃圾邮件识别。其中情感分析和垃圾邮件识别都是通过文本来进行判断。

数据社·2023-11-30 04:50

48个代码大模型汇总，涵盖原始、改进、专用、微调4大类

代码大模型具有强大的表达能力和复杂性，可以处理各种自然语言任务，包括文本分类、问答、对话等。这些模型通常基于深度学习架构，如Transformer，并使用预训练目标（如语言建模）进行训练。

深度之眼·2023-11-30 02:33

embeddings

这些向量通常是通过训练模型（如Word2Vec、GloVe等）学习得到的，用于各种NLP任务，如文本分类、命名实体识别、情感分析等。embeddings是一个相对低维的

wangqiaowq·2023-11-29 15:08

GPT是什么？

GPT模型可以用于各种自然语言处理任务，如文本生成、文本分类、问答系统等。openai是什么？OpenAI是一个人工智能研究组织，致力于推动人工智能

王摇摆·2023-11-29 15:25

朴素贝叶斯分类：简单而强大的分类算法

文章目录前言贝叶斯定理基础朴素贝叶斯分类基本概念步骤优势与不足优势：不足：朴素贝叶斯分类的应用案例朴素贝叶斯分类的简单实现结语前言在机器学习领域中，朴素贝叶斯分类算法是一种简单而有效的分类方法。

_用户昵称_·2023-11-29 14:55

前馈式神经网络与反馈式神经网络的区别，联系，各自的应用范围和场景！！！

常见的前馈式神经网络有多层感知器和卷积神经网络，它们在图像识别、文本分类等静态任务中表现优异。常见的反馈式神经网络有循环神经网络，它们在语音识别、自然语言处理等动态任务中表现优异。总

小桥流水---人工智能·2023-11-29 11:48

Encoder、Decoder和Encoder-Decoder

通常情况下，encoder是用来提取特征的，因此更适合用于文本分类、情感分析等任务2、Decoder将固定长度的向量解码成一个可变长度的输出序列，经常比如gpt

lanmengyiyu·2023-11-29 08:38

AI 夏令营第三期 - 基于论文摘要的文本分类与关键词抽取挑战赛学习笔记3

其中，深度学习实践-NLP方向以讯飞平台“基于论文摘要的文本分类与关键词抽取挑战赛”（2023iFLYTEKA.I.开发者大赛-讯飞开放平台）为学习命题，并提供了一些解题代码供夏令营的初学者、学习者学习研究

话不多说干起来·2023-11-29 01:02

数据挖掘朴素贝叶斯

直入正题，直接看代码：这是一段判断是不是藏话的代码importnumpyasnp#数据采集（定义函数加载数据集）defload_dataset():sent_list=[['my','name','is','Devin'],['you','are','stupid'],['my','boyfriend','is','SB'],['you','looks','very','smart','I','l

亖嘁·2023-11-28 17:10

NLP自然语言处理——关键词提取之 TF-IDF 算法（五分钟带你深刻领悟TF-IDF算法的精髓）

这些关键词可以帮助人们快速理解文本的主题，构建文本摘要，提高搜索引擎的效率，甚至用于文本分类和信息检索等应用领域。因此，关

是dream·2023-11-28 08:33

NLP自然语言处理——关键词提取之 TextRank 算法（五分钟带你深刻领悟TextRank算法的精髓）保姆级教程

这些关键词可以帮助人们快速理解文本的主题，构建文本摘要，提高搜索引擎的效率，甚至用于文本分类和信息检索等应用领域。因此，关键词提取在文本分析和自然语言处理中具

是dream·2023-11-28 08:33

【nlp】4.1 fasttext工具介绍（文本分类、训练词向量、词向量迁移）

fasttext工具介绍与文本分类1fasttext介绍1.1fasttext作用1.2fasttext工具包的优势1.3fasttext的安装1.4验证安装2fasttext文本分类2.1文本分类概念

lys_828·2023-11-27 14:15

【nlp】4.4 Transformer库的使用（管道模式pipline、自动模式auto，具体模型BertModel）

Transformer库的使用1了解Transformers库2Transformers库三层应用结构3管道方式完成多种NLP任务3.1文本分类任务3.2特征提取任务3.3完型填空任务3.4阅读理解任务

lys_828·2023-11-27 14:43

【文本分类】深入理解embedding层的模型、结构与文本表示

[1]名词理解 embedding层：嵌入层，神经网络结构中的一层，由embedding_size个神经元组成，[可调整的模型参数]。是input输入层的输出。词嵌入：也就是wordembedding…根据维基百科，被定义为自然语言处理NLP中的一组语言建模和特征学习技术的集体名称，其中来自词汇表的单词或者短语被映射成实数向量。 word2vec：词嵌入这个技术的具体实现，也可以理解成是将

征途黯然.·2023-11-27 07:21

UCAS - AI学院 - 自然语言处理专项课 - 第12讲 - 课程笔记

文本分类与聚类文本分类文本——领域信息分类传统机器学习方法文本表示向量空间模型——BoW模型词的权重词频TF布尔变量逆文档频率IDFTF-IDF特征选择文档频率：根据训练语料中的文档频率，对所有特征进行排序词频

支锦铭·2023-11-27 00:08

机器学习---贝叶斯网络与朴素贝叶斯

1.贝叶斯法则如何判定一个人是好人还是坏人？当你无法准确的熟悉一个事物的本质时，你可以依靠与事物特定本质相关的事件出现的次数来判断其本质属性的概率。如果你看到一个人总是做一些好事，那这个人就越可能是一个好人。数学语言表达就是：支持某项属性的事件发生得越多，则该属性成立的可能性就越大。贝叶斯法则来源于英国数学家贝叶斯（ThomasBayes）在1763年发表的著作《论有关机遇问题的求解》。贝叶斯法则

三月七꧁ ꧂·2023-11-26 10:35

基于深度学习的文本分类

通过构建更复杂的深度学习模型可以提高分类的准确性，即分别基于TextCNN、TextRNN和TextRCNN三种算法实现中文文本分类。

伪_装·2023-11-25 12:03

beck_zhou·2023-11-25 05:43

NLP基本知识

这些向量表示使得文本数据在数学上更易于处理，并且可以用于各种NLP任务，如文本分类、情感分析、机器翻译等。以下是关于词嵌入的一些关键信息：词嵌入的特点：连续性：在词

random_2011·2023-11-25 03:16

朴素贝叶斯中的极大似然估计

为什么要极大似然估计，朴素贝叶斯不能搞定一切吗？朴素贝叶斯需要先求得先验概率和条件概率。从直觉出发，可以用样本中出现的频率直接代替先验概率和条件概率。

梵悟·2023-11-24 18:56

[python] 使用scikit-learn工具计算文本TF-IDF值（转载学习）

在文本聚类、文本分类或者比较两个文档相似程度过程中，可能会涉及到TF-IDF值的计算。这里主要讲述基于Python的机器学习模块和开源工具：scikit-learn。

彩虹下的天桥·2023-11-24 06:29

深入NLTK：Python自然语言处理库高级教程

在本篇高级教程中，我们将深入探索NLTK的更多高级功能，包括句法解析、命名实体识别、情感分析以及文本分类。一、句法解析句法解析是自然语言处理中的一项重要任务，它的目的是识别出文本中词语之间的句法关系。

Python老猿·2023-11-24 04:50

cs224n-笔记-lecture12-subwords

Subword-models:BytePairEncodingandfriends混合了字符和单词的模型（介于二者之间）fasttext字符级模型介绍一个用于句子级分类的字符级模型：非常深的卷积网络，用于文本分类

AugBoost·2023-11-24 02:38

自然语言处理常用方法和评价指标

常用方法文本分类：如情感分析、主题标签分类。使用方法如朴素贝叶斯、支持向量机、神经网络等。信息提取：从文本中提取结构化信息，如命名实体识别（NER）、关系提取。

jieHeEternity·2023-11-23 19:41

用通俗易懂的方式讲解：NLP 这样学习才是正确路线

自然语言处理的理论基础3、自然语言处理的主要技术范畴3.1语义文本相似度分析3.2信息检索（InformationRetrieval,IR）3.3信息抽取（InformationExtraction）3.4文本分类

深度学习算法与自然语言处理·2023-11-22 22:23

LLM prompt提示构造案例

awesome-chatgpt-prompts-zh吴恩达prompt工程应用：https://www.bilibili.com/video/BV1No4y1t7Znprompt构造案例代码prompt="""文本分类任务

loong_XL·2023-11-22 21:01

机器学习（二）——贝叶斯分类器

文章目录1.贝叶斯决策论1.1贝叶斯判定准则1.2极大似然估计2.朴素贝叶斯分类器2.1拉普拉斯平滑2.2示例1.贝叶斯决策论核心：将最小化分类错误率转换为最大化先验概率和类条件概率（似然）的乘积。

冠long馨·2023-11-22 19:30

【机器学习】贝叶斯分类器

如果假设特征向量的每个分量彼此独立，则它是朴素贝叶斯分类器。如果假设特征向量服从多维正态分布，则它是正态贝叶斯分类器。

十年一梦实验室·2023-11-22 19:26

python文本分类汇总_用Python解决海量数据的分类汇总一键化办公的神器！

现实的创作来源于生活的灵感！项目引入昨天突然发现有一个比较头疼的问题，有一份数据是某一个学校的寝室数据，有不同的维度的分类，总的数据大概有4000数据，需要进行分类，然后按照不同分类维度进行表格制作，最后生成8个文件夹，每个文件夹里面有24个表格，这个就是我们这一个程序的最终实现功能。如果我们用Excel筛选需要点很多次，而且需要几个人的配合工作，这样就比较的费力，那么作为数据分析的Python神

weixin_39895181·2023-11-22 19:12

预测模型的选择

预测模型通常为回归任务，但是也有一些是以标签类别为主的分类任务，分类任务常用的模型有逻辑回归、线性判别分析、knn近邻分类算法、朴素贝叶斯、决策树、支持向量机，我们有时并不知道哪个模型是最好，所以要进行比较

weixin_56938151·2023-11-22 12:52

零基础入门NLP之新闻文本分类_Task2

零基础入门NLP之新闻文本分类_Task2Taks2中要完成的主要是对新闻数据的分布规律进行探索和了解。这里主要是对代码进行了复现与详解。

恶魔眼睛大又大��·2023-11-22 09:19

文本分析：NLP 魔法！

我将在本博客中介绍BagOfWords和n-gram以及朴素贝叶斯分类模型。这个博客的独特之处（这使得它很长！）是我已经展示了如何根据我们手中的数据集为我们选择正确的模型。那么，让我们开始吧。

无水先生·2023-11-22 09:15

从零开始通义千问大模型本地化到阿里云通义千问API调用

“通义千问大模型”是阿里云推出的一个超大规模的语言模型，具有强大的归纳和理解能力，可以处理各种自然语言处理任务，包括但不限于文本分类、文本生成、情感分析等。

风吹落叶花飘荡·2023-11-21 03:53

Datawhale组队学习NLP_Bert文本分类学习笔记

使用Bert进行文本分类1数据的读入1.1TransformerDatasets1.1.1datasets.Metric2数据预处理2.1定义一个tokenizer2.2Datasets2.2.1检查数据格式

宝友你好·2023-11-21 01:02

机器学习实战(MACHINE LEARNING IN ACTION) 之朴素贝叶斯

在说用贝叶斯之前,应该先检讨一下自己大学概率论真的是木有好好上课…不过至少是学过,看到贝叶斯这仨字儿还是感到十分熟悉.所谓的贝叶斯公式,举个栗子:假设有3个白球7个黑球,分别在甲乙两个盒子里,甲盒子有1个白的3个黑的,乙盒子有2个白的4个黑的.那么问题来了.这时候随机抽一个球(随机从两个盒子选,从盒子里也随机选),是甲盒子里的白球的概率=从甲盒子抽的概率*甲盒子里是白球的概率=抽到的球是白球的概率

小胖扁·2023-11-20 22:54

论文中注意力机制可视化图的制作

以下是个人经验：最近在使用注意力机制实现文本分类，我们需要观察每一个样本中，模型的重心放在哪里了，就是观察到权重最大的token。这时我们需要使用热力图进行可视化。

MeteorMan99·2023-11-20 12:43

基础课9——自然语言理解

自然语言理解技术主要用于解决人机交流、信息处理、知识获取、文本分类、机器翻译、智能问答等问题。通过自然语言理解技术，计算机能够解析人类语言的含义，实现语义分析、情感分析、实体识别

AI 智能服务·2023-11-20 12:05

朴素贝叶斯原理及实现(Naive Bayes)

项目地址：https://github.com/Daya-Jin/ML_for_learner/blob/master/naive_bayes/GaussianNaiveBayes.ipynb原博客：https://daya-jin.github.io/2018/10/04/NaiveBayes/模型概述首先回顾一下贝叶斯公式：以二分类为例，上述公式以机器学习任务的形式来写的话就成为了：其中为待预

d518a9b6ae51·2023-11-20 09:28

文本分类方法有哪些

文本分类问题：给定文档p（可能含有标题t），将文档分类为n个类别中的一个或多个文本分类应用：常见的有垃圾邮件识别，情感分析文本分类方向：主要有二分类，多分类，多标签分类文本分类方法：传统机器学习方法（贝叶斯

Jarkata·2023-11-20 04:48

机器学习实战垃圾邮件文本分类正则匹配 re.split() ,分类错误问题解决

机器学习实战垃圾邮件文本分类正则匹配re.split(),分类错误问题解决今天在看《机器学习实战》的时候，对文本的划分一直不理想，最后发现是书上正则化这一部分不是很正确。

haohuaijin·2023-11-19 22:02

推荐频道

朴素贝叶斯文本分类