文本分类卡方检验

PyTorch 深度学习实战（8）：Transformer 与机器翻译（基于本地中英文文本文件）

在上一篇文章中，我们探讨了循环神经网络（RNN）及其在文本分类中的应用。

进取星辰·2025-03-25 18:58

基于Hugging Face的Transformer实战

HuggingFace生态提供：30,000+预训练模型（BERT、GPT、T5等）统一的TransformerAPI接口快速实现下游任务迁移企业级部署工具（Optimum、InferenceEndpoints）‌二、文本分类实战

小诸葛IT课堂·2025-03-24 23:03

R.E.D.算法：革新文本分类的半监督学习新范式

分类难题文本分类是监督学习中最古老且最易理解的示例之一。鉴于这一前提，构建能够处

真智AI·2025-03-24 13:43

使用LoRA微调LLaMA3

使用LoRA微调LLaMA3的案例案例概述在这个案例中，我们将使用LoRA微调LLaMA3模型，进行一个文本分类任务。我们将使用HuggingFace的Transformers库来完成这个过程。

想胖的壮壮·2025-03-19 16:12

RNN及其变体

第三章RNN及其变体1认识RNN模型【根据RNN内部结构，可以分为哪几类】定义循环神经网络：一般接受的一序列进行输入，输出也是一个序列作用和应用场景RNN擅长处理连续语言文本，机器翻译、文本生成、文本分类

EmbodiedTech·2025-03-19 11:00

【NLP】 3. Distributional Similarity in NLP（分布式相似性）

它用于衡量单词之间的相似性，广泛应用于词向量、信息检索、文本分类等任务。1.分布式假设（DistributionalHypothesis）分布式相似性基于以下假设：“Yoush

pen-ai·2025-03-16 18:25

【基于PyTorch】多项式贝叶斯分类器实现中文文本情感分类任务

多项式贝叶斯分类器实现中文文本情感分类任务介绍多项式朴素贝叶斯（MultinomialNaiveBayes,MultinomialNB）是一种常用于文本分类的算法，特别适用于多类别文本分类。

鱼弦·2025-03-16 09:16

NLP-二分类的应用-区分外卖评论好评/差评

目录一、概念二、二分类实战-划分好评/差评1.处理步骤2.实战代码一、概念文本分类一般可以分为二分类、多分类、多标签分类三种情况。

左岸Jason·2025-03-16 03:13

机器学习_重要知识点整理

贝叶斯分类器、文本分类（如垃圾邮件检测）。最大似然估计（MLE）通过数据最大化似然函数，估计模型参数。线性回归、逻辑回归参数估计。假设检验判断假设是否成立（如t检验、卡方

嘉羽很烦·2025-03-15 15:06

自然语言处理（NLP）技术介绍

NLP技术可以应用于多个领域，例如机器翻译、情感分析、文本分类、问答系统等。以下是一些NLP技术的示例：机器翻译：NLP技术可用于将一个语言的文本自动翻译成另一个语言。

风吹晚风悠·2025-03-14 23:56

基于Transformer的医学文本分类：从BERT到BioBERT

随着自然语言处理（NLP）技术的快速发展，Transformer模型在文本分类、情感分析、机器翻译等任务中取得了显著成果。

Evaporator Core·2025-03-14 23:17

TF-IDF：文本挖掘中的关键词提取利器

它不仅在信息检索领域广泛应用，还在文本分类、关键词提取等任务中发挥着重要作用。本文将详细介绍TF-IDF的原理，并通过一个实际的代码示例来展示如何使用TF-IDF从《红楼梦》中提取核心关键词。

巷955·2025-03-14 22:15

RNN 实战指南：用 PyTorch 从零实现文本分类

Langchain系列文章目录01-玩转LangChain：从模型调用到Prompt模板与输出解析的完整指南02-玩转LangChainMemory模块：四种记忆类型详解及应用场景全覆盖03-全面掌握LangChain：从核心链条构建到动态任务分配的实战指南04-玩转LangChain：从文档加载到高效问答系统构建的全程实战05-玩转LangChain：深度评估问答系统的三种高效方法（示例生成、手

吴师兄大模型·2025-03-13 11:22

第20周：Pytorch文本分类入门

定义示例2.3定义训练函数与评估函数三、训练模型3.1拆分数据集并运行模型3.2使用测试数据集评估模型总结前言本文为[365天深度学习训练营]中的学习记录博客原作者：[K同学啊]说在前面本周任务：了解文本分类的基本流程

weixin_46620278·2025-03-12 01:44

NLP新手入门-第N1周：Pytorch文本分类入门

本文为365天深度学习训练营中的学习记录博客原作者：K同学啊|接辅导、项目定制目录一、课题背景和开发环境二、环境安装三、文本分类1.加载数据2.构建词典3.生成数据批次和迭代器4.定义模型5.定义实例6

Oaix Nay·2025-03-12 01:42

【Hugging Face】transformers 库中 model 的常用方法和属性

HuggingFacetransformers库中model的常用方法和属性在transformers库中，model代表预训练的Transformer模型，可用于文本分类、问答、文本生成等任务。

彬彬侠·2025-03-11 11:53

基于Python 和 DeepSeek API 实现文本分类

在自然语言处理（NLP）领域，文本分类是一项非常重要的任务，它可以帮助我们将大量的文本数据自动归类到不同的类别中。

修破立生·2025-03-06 14:10

大模型（LLM）的若干科普之问（七）：如何隔离LLM微调结果？

微调目的：使模型适应特定任务或领域，如文本分类、机器翻译、问答系统等。微调过程：数据准备：收集与任务相关的标注数据。模型调整：在预训练模型上继续训练，通常

人工干智能·2025-03-06 04:12

词向量（Word Embedding）

这种技术是现代自然语言处理（NLP）任务的基础之一，广泛应用于文本分类、机器翻译、问答系统等。

呵呵，不解释868·2025-03-05 08:27

神经网络之CNN文本识别

但是在文本分类问题上，相比于RNN，CNN的构建和训练更为简单和快速，并且效果也不差，所以仍然会有一些研究。那么，CNN到底是怎么应用到NLP上的

邪恶的贝利亚·2025-03-04 05:56

【AI大模型】Transformers大模型库（九）：大模型微调之计算微调参数占比

Transformers提供了数以千计的预训练模型，支持100多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨是让最先进的NLP技术人人

LDG_AGI·2025-03-03 01:45

如何用AI写程序

AI编程工具可供选择，以下为大家介绍几种常见且实用的工具：ChatGPT：由OpenAI开发的一款基于Transformer架构的预训练模型，它的自然语言处理能力十分强大，能够理解和生成人类语言，并进行文本分类

Honmaple·2025-03-02 11:46

自然语言处理NLP入门 -- 第八节OpenAI GPT 在 NLP 任务中的应用

在前面的学习中，我们已经了解了如何使用一些经典的方法和模型来处理自然语言任务，如文本分类、命名实体识别等。但当我们需要更强的语言生成能力时，往往会求助于更先进的预训练语言模型。

山海青风·2025-03-02 05:29

自然语言处理入门：从基础概念到实战项目

随着大数据和深度学习的发展，NLP技术在文本分类、机器翻译、问答系统、情感分析等领域得到了广泛应用。

范范0825·2025-02-28 14:22

深度、机器学习算法

在小样本、非线性数据处理上有优势，常用于文本分类、图像识别等领域。决策树：以树形结构展示决策过程，从根节点开始，依据特征值逐步向下划分，直到叶子节点得出分类或回归结果。

yzx991013·2025-02-26 20:40

机器学习数学基础：36.φ相关系数分析

@心都·2025-02-25 06:46

如何在 Hugging Face 上下载和使用模型—全面指南

HuggingFace提供的模型库涵盖了从文本分类到文本生成、从机器翻译到问答系统等各种NLP任务。这些模型大多是由社区贡献并经过大规模数据训练的，使用它们可以帮助

Hello.Reader·2025-02-23 18:01

朴素贝叶斯原理及sklearn中代码实战

尽管这个假设在实际中很难成立，朴素贝叶斯在许多场景下仍表现得非常好，特别是对于文本分类等高维数据的应用。

Lewis@·2025-02-22 18:51

人工智能训练师如何做文本数据标注？

1.文本分类标注文本分类标注是对文本数据进行分类的任务。通常我们会将文本数据标注为不同的类别，比如“体育”、“娱乐”、“政治”等。示例：假设我们有一组新闻文本，我们需要为其分配

小宝哥Code·2025-02-22 10:27

使用 AnyscaleEmbeddings 进行文本嵌入

今天，我们将通过AnyscaleEmbeddings类来演示如何进行文本嵌入，它能有效地将文本转换为高维向量，这在文本相似度计算、文本分类等任务中非常有用。

dgay_hua·2025-02-21 03:04

Python库 - transformers

它提供了大量的预训练模型，这些模型可以用于各种NLP任务，如文本分类、问答、翻译、摘要生成等。

司南锤·2025-02-19 03:28

探秘 DeepSeek R1 模型：跨越多领域的科技奇迹，引领智能应用新浪潮

目录编辑一、本篇背景：二、DeepSeekR1模型概述：2.1模型特点：2.2技术原理：三、自然语言处理领域的应用：3.1文本分类：3.1.1应用场景：3.1.2代码演示：3.2情感分析：3.2.1应用场景

羑悻的小杀马特.·2025-02-18 09:44

朴素贝叶斯模型在文本分类中的应用

朴素贝叶斯（NaiveBayes）是一种基于贝叶斯定理的概率分类算法，广泛应用于文本分类任务中。它的核心思想是根据训练数据中不同类别的条件概率，预测新文本属于哪个类别。

Ash Butterfield·2025-02-17 15:36

第N5周：Pytorch文本分类入门

文章目录一、前期准备1.环境安装2.加载数据3.构建词典4.生成数据批次和迭代器二、准备模型1.定义模型2.定义实例三、训练模型1.拆分数据集并运行模型2.使用测试数据集评估模型本文为365天深度学习训练营中的学习记录博客原作者：K同学啊一、前期准备1.环境安装确保安装了torchtext与portalocker库2.加载数据importtorch#强制使用CPUdevice=torch.devi

计算机真好丸·2025-02-17 07:57

第TR5周：Transformer实战：文本分类

文章目录1.准备环境1.1环境安装1.2加载数据2.数据预处理2.1构建词典2.2生成数据批次和迭代器2.3构建数据集3.模型构建3.1定义位置编码函数3.2定义Transformer模型3.3初始化模型3.4定义训练函数3.5定义评估函数4.训练模型4.1模型训练5.总结：本文为365天深度学习训练营中的学习记录博客原作者：K同学啊1.准备环境1.1环境安装这是一个使用PyTorch通过Tran

计算机真好丸·2025-02-17 07:56

nlp技术

2.文本分类：NLP技术可以将文本分类到不同

tqs_12345·2025-02-17 01:10

使用OpenAI API进行文本分类标注

技术背景介绍文本分类标注（Tagging）是一种非常有用的技术，可以对文档进行分类，例如情感分析、语言检测、风格判断、主题识别等。

dgay_hua·2025-02-15 07:52

利用Infinity Embeddings创建文本嵌入

这些向量能够捕捉文本之间的语义关系，使得在后续的任务（如文本分类、相似度计算等）中非常实用。Infinity嵌入模型是一种能够方便创建高质量文本嵌入的现代工具。

qahaj·2025-02-15 03:16

大语言模型常见任务及评测数据集汇总（一）：70 余个数据集!

1.文本分类1.1.中文文本分类数据集：THUCNews：清华大学推出的中文新闻文本数据集，包含了74万篇新闻文章，覆盖了10个类别。

大F的智能小课·2025-02-13 00:12

Laplace(拉普拉斯)平滑

在文本分类的问题中，当一个词语没有在训练样本中出现，该词语调概率为0，使用连乘计算文本出现概率时也为0。这是不合理的，不能因为一个事件没有观察到就武断的认为该事件的概率是0。

郑万通·2025-02-12 20:45

【NLP算法面经】NLP算法面经 -- 腾讯 VS 美团（附面题）

Transformer理论篇二、大模型微调面有监督微调（SFT）篇高效微调篇提示学习篇人类对齐训练（RLHF）篇Prompt工程篇三、大模型进阶面大模型压缩篇分布式训练篇大模型魔改篇四、NLP任务实战面文本分类篇命名实体识别

青松ᵃⁱ·2025-02-11 13:37

TensorFlow 学习笔记--基础文本分类

电影评论文本分类官网的教程代码有一些问题：1.调用文件夹时，官网的调用方式有错。2.调用vectorize_layer没有返回，3.模型编译时，metics写错了。

小陈加油中····2025-02-11 08:55

从零开始构建一个大语言模型-第六章第一节

准备数据集6.3创建数据加载器6.4用预训练权重初始化模型6.5添加分类头6.6计算分类损失和准确率6.7在有监督数据上微调模型6.8将大语言模型用作垃圾邮件分类器本章内容涵盖介绍不同的大语言模型微调方法为文本分类准备数据集修改预训练大语言模型以进行微调使用微调后的大语言模型对新数据进行分类到目前为止

释迦呼呼·2025-02-09 18:17

T5模型-基于Transformer架构的通用文本到文本转换模型

它的设计理念是将所有NLP任务都转化为文本到文本的形式，包括文本分类、序列标注、机器翻译等等。通过预训练和微调，T5模型可以用于广泛的

Jiang_Immortals·2025-02-09 16:09

【Elasticsearch】文本分类聚合Categorize Text Aggregation

响应参数讲解:key（字符串）由categorization_analyzer提取的标记组成，这些标记是类别中所有输入字段值的共同部分。doc_count（整数）与类别匹配的文档数量。max_matching_length（整数）从较短消息中生成的类别也可能与从较长消息中生成的类别匹配。max_matching_length表示应被视为属于该类别的消息的最大长度。在搜索属于该类别的消息时，任何长度

risc123456·2025-02-07 05:38

【机器学习】机器学习重要方法——迁移学习：理论、方法与实践

迁移学习的优势第二章迁移学习的核心方法2.1特征重用（FeatureReuse）2.2微调（Fine-Tuning）2.3领域适应（DomainAdaptation）第三章迁移学习的应用实例3.1医疗影像分析3.2文本分类

E绵绵·2025-02-06 22:52

利用Python高效处理大规模词汇数据

无论是构建词典、进行文本分类还是情感分析，都需要对大量的词汇数据进行预处理和分

东方佑·2025-02-04 16:23

使用支持向量机和朴素贝叶斯对文本分类

一、支持向量机文本分类1.1支持向量机分类器(SVC)支持向量机分类器（SupportVectorClassifier），缩写为SVC。

SSeaflower·2025-02-03 09:10

Encoder-only decoder-only encoder-decoder大模型的区别

-适用任务：文本分类、情感分析、命名实体识别等。-优点：能够更好地理解输入文本的语义和上下文信息，适合需要特征提取的任务。-缺点：无法直接生成文本输出。

阿牛牛阿·2025-02-01 23:40

大语言模型原理与工程实践：残差连接与层归一化

其中，循环神经网络（RNN）和卷积神经网络（CNN）在图像和文本分类、语义角色标注、机器翻译等领域表现出色。然而，这些网络在训练过程中经常遭遇梯度消失和梯度爆炸的问题。

AI大模型应用之禅·2025-01-30 08:27

推荐频道