NLP

NLP实践:pytorch 实现基于LSTM的预训练模型以及词性分类任务

环境版本配置1:CUDA版本:Cudacompilationtools,release11.8,V11.8.89在cmd中用以下指令查看nvcc-V**2:cudnn版本:**8700importtorch#用这个查看print(torch.backends.cudnn.version())3:python版本:3.94:Pytorch版本:torch2.0.0+cu1185:nltk:3.8.1

某科学の憨憨·2025-04-11 06:29

NLP基础知识与词向量的转化方法发展

目录1.NLP基础知识点为什么需要自然语言处理？自然语言处理有哪些分类？自然语言处理有哪些实际应用？为什么需要自然语言处理？自然语言处理有哪些分类？自然语言处理有哪些实际应用？

Hiweir ··2025-04-11 01:02

【NLP应用场景全解】自然语言处理如何改变世界？

根据Statista预测，到2025年，全球NLP市场规模将达到438亿美元。本文将系统梳理NLP的主要应用场景，结合最新技术趋势，帮助你了解NLP技术的落地现状与未来发展方向。

Chaos_Wang_·2025-04-11 01:31

基于NLP的对话系统开发：从零构建智能客服机器人

基于NLP的对话系统开发：从零构建智能客服机器人引言随着人工智能技术的快速发展，智能客服机器人已经成为企业提高客户服务效率、降低运营成本的重要工具。

范范0825·2025-04-10 07:31

人工智能和自然语言处理（NLP）基本知识和学习

自然语言处理（NLP）基本知识和学习自然语言处理（NLP）：深度学习在自然语言处理领域也有显著的应用，如文本分类、情感分析、机器翻译等。

熵减画眉·2025-04-09 21:18

机器学习--词向量转换

引言在自然语言处理（NLP）的广阔领域中，计算机面临的一大挑战是理解人类语言的丰富性和复杂性。文本数据对于机器而言，最初只是一连串难以理解的字符。

2201_75491841·2025-04-09 19:09

白话文讲解大模型必修基础知识 | Transformer架构（小白也能看懂）

前言Transformer架构自2017年被提出以来，已经成为自然语言处理（NLP）领域的核心模型之一。

大模型面试·2025-04-09 18:34

【DeepSeek】从文本摘要到对话生成：DeepSeek 在 NLP 任务中的实战指南

摘要DeepSeek作为一款强大的自然语言处理（NLP）模型，能够在文本摘要、情感分析、对话生成等任务中提供出色的表现。

·2025-04-09 13:29

如何获取 `vocab.txt` 文件

步骤详解：如何获取vocab.txt文件在自然语言处理（NLP）项目中，vocab.txt文件是一个关键的组成部分。

zru_9602·2025-04-09 10:11

Transformer 架构详解

它在自然语言处理（NLP）和其他序列建模任务中取得了前所未有的成功。

培根芝士·2025-04-09 09:06

【NLP 面经 6】

当上帝赐予你荒野时，就意味着，他要你成为高飞的鹰——25.4.3一、机器翻译任务，Transformer结构模型改进在自然语言处理的机器翻译任务中，你采用基于Transformer架构的模型。在翻译一些具有丰富文化内涵、习语或隐喻的句子时，翻译质量较差，并且在处理生僻词汇时也经常出现错误。请从模型架构、训练数据和推理优化三个方面分析可能的原因，并提出相应的改进措施。模型架构方面原因：缺乏外部知识融

L_cl·2025-04-09 05:42

浅谈「分词」：原理 + 方案对比 + 最佳实践

它是NLP（自然语言处理）和全文搜索的第一步。举个例子：原始文本：“我爱自然语言处理”分词结果（中文）：我/爱/自然语言/处理英文

silence250·2025-04-09 02:49

BPE（Byte Pair Encoding，字节对编码）

BPE（BytePairEncoding，字节对编码是一种常用的子词分词算法，在自然语言处理（NLP）中用于将文本分割成更小的单位，例如子词或字符序列。

CyreneSimon·2025-04-08 16:16

零门槛，即刻拥有 Deepseek-R1满血版

自然语言处理（NLP）作为AI领域的重要分支，更是成为了推动众多行业发展的关键力量。然而，对于许多开发者和企业来说，高昂的技术门槛和复杂的部署流程往往成为他们拥抱先进NLP技术的阻碍。

·2025-04-08 15:33

【NLP】Transformer网络结构（2）

一、Transformer整体架构Transformer由Encoder和Decoder堆叠组成，每个Encoder/Decoder层包含以下核心模块：Encoder层：Multi-HeadSelf-Attention→Add&LayerNorm→Feed-Forward→Add&LayerNormDecoder层：MaskedMulti-HeadSelf-Attention→Add&LayerN

油泼辣子多加·2025-04-08 15:41

AI 知识库是什么？企业如何构建智能化知识管理体系？

AI知识库是一种融合自然语言处理（NLP）、机器学习（ML）和智能搜索的知识管理系统。它能够自动分析和推荐知识内容，帮助企业快速构建高效的知识管理

·2025-04-07 22:40

《AI大模型应知应会100篇》第5篇：大模型发展简史：从BERT到ChatGPT的演进

这些模型不仅推动了自然语言处理（NLP）技术的飞跃，还深刻改变了人机交互的方式。本文将带领读者回顾大模型发展的关键历史节点，从BERT到ChatGPT的演进过程，帮助大家理解这一技术领域的脉络与逻辑。

带娃的IT创业者·2025-04-07 17:50

DeepSeek-V3 API：开启高效智能应用开发的新篇章

自然语言处理（NLP）作为AI的重要分支，尤其受到关注。DeepSeek-V3API作为一款强大的NLP工具，凭借其卓越的性能和丰富的功能，为开发者提供了一个高效、灵活且易于集成的解决方案。

·2025-04-07 14:27

【NLP】人机对话

概念机器翻译就是用计算机把一种语言翻译成另外一种语言的技术机器翻译的产生与发展17世纪，笛卡尔与莱布尼茨试图用统一的数字代码来编写词典1930机器脑1933苏联发明家特洛阳斯基用机械方法将一种语言翻译为另一种语言1946ENIAC诞生1949机器翻译问题被正式提出1954第一个MT系统出现1964遇到障碍，进入低迷期1970-1976开始复苏1976-1990繁荣时期1990-1999除了双语平行

SnowFly09·2025-04-07 04:01

从代码学习深度学习 - NLP之文本预处理 PyTorch版

文章目录前言1.文本预处理理论知识1.1文本清洗与标准化1.2分词（Tokenization）1.3词频统计与词汇表构建1.4序列表示与批次生成1.5预处理的意义2.文本预处理的核心代码解析2.1读取数据集：`read_time_machine`2.2分词处理：`tokenize`2.3词频统计：`count_corpus`2.4构建词表：`Vocab`类2.5加载语料库：`load_corpus

飞雪白鹿€·2025-04-07 03:50

参数高效微调（PEFT）研究综述

1.引言近年来，随着深度学习模型规模的不断扩大，预训练大模型（Pre-trainedLargeModels）在自然语言处理（NLP）、计算机视觉（CV）等领域取得了显著的性能提升。

Ender（弹射回家版）·2025-04-07 00:34

【自然语言处理】BERT模型

BERT：BidirectionalEncoderRepresentationsfromTransformersBERT是Google于2018年提出的自然语言处理（NLP）模型，它基于Transformer

藓类少女·2025-04-07 00:03

NLP简介及其发展历史

自然语言处理（NaturalLanguageProcessing，简称NLP）是人工智能和计算机科学领域中的一个重要分支，致力于实现人与计算机之间自然、高效的语言交流。

Chaos_Wang_·2025-04-07 00:32

NLP/大模型八股专栏结构解析

NLP高频面试题（一）——Transformer的基本结构、作用和代码实现（2）LSTM、GRU和Transformer结构的区别与联系，优缺点分别是什么？

Chaos_Wang_·2025-04-06 23:26

NLP任务之文本分类(情感分析)

目录1加载预训练模型对应的分词器2加载数据集3数据预处理4构建数据加载器DataLoader5定义下游任务模型6测试代码7训练代码#做（中文与英文的）分类任务，Bert模型比较合适，用cls向下游任务传输数据，做分类任务#Bert模型要求一般传一个句子对（两句话）1加载预训练模型对应的分词器fromtransformersimportAutoTokenizer#use_fast=True表示使用R

Hiweir ··2025-04-06 19:57

NLP任务之翻译

目录1加载预训练模型的分词器2加载本地数据集3数据预处理4创建数据加载器5定义下游任务的模型6测试代码7训练代码8.保存与加载训练好的模型#加载预训练的翻译分词器之前需要先安装一个第三方库#-后面接的是清华源!pipinstallsentencepiece-iSimpleIndex#sentencepiece开源工具，可以更好的生成词向量1加载预训练模型的分词器fromtransformersim

Hiweir ··2025-04-06 19:57

LangChain与LlamaIndex，RAG框架该怎么选？

介绍检索增强生成（RAG）将信息检索与生成模型相结合，使其成为问答、摘要和其他自然语言处理（NLP）任务等应用程序的强大技术。

我爱学大模型·2025-04-06 15:33

MATLAB在非线性规划中的应用实践

MATLAB在非线性规划中的应用实践背景简介随着数学建模和计算技术的发展，非线性规划（Non-LinearProgramming,NLP）在工程和科学领域得到了广泛的应用。

一朵小小玫·2025-04-06 08:16

【CV/NLP/生成式AI】

以下是计算机视觉（CV）、自然语言处理（NLP）和生成式AI（GenerativeAI）的详细介绍，涵盖核心任务、技术方法和典型应用：1.计算机视觉（ComputerVision,CV）核心目标让机器“

严文文-Chris·2025-04-06 06:30

LLM架构解析：门控循环单元（GRU）（第三部分）—— 从基础原理到实践应用的深度探索

本专栏深入探究从循环神经网络（RNN）到Transformer等自然语言处理（NLP）模型的架构，以及基于这些模型构建的应用程序。

硅基创想家·2025-04-06 01:32

GPT 模型原理解析，从五年 NLP 开发经验工程师的角度看在过去的五年里，自然语言处理（NLP）领域取得了令人瞩目的进展总结

GPT模型原理解析：从五年NLP开发经验工程师的角度看在过去的五年里，自然语言处理（NLP）领域取得了令人瞩目的进展。作为一名拥有五年NLP开发经验的软件工程师，我亲眼目睹了这些变革。

monday_CN·2025-04-05 18:14

PyTorch nn.Embedding层的理解

在自然语言处理（NLP）任务中，这种嵌入层被广泛用于将文本数据转换为模型可以处理的数值形式。作用：降维：词汇表可能包含成千上万的单词，如果直接使用one-hot编码，会导致输入向量非常稀疏且维度很高。

YH美洲大蠊·2025-04-05 09:45

嵌入模型和大型语言模型的区别

嵌入模型和大型语言模型在自然语言处理（NLP）和机器学习中扮演着不同的角色：嵌入模型：目的：将单词、短语或句子表示为数值向量，这些向量能够捕捉到语义和句法信息。

AIGC_Connect·2025-04-05 07:04

实现pdf.js批注功能（高亮文本/下划线/导入导出）

Demo地址Demo地址获取方式在：https://demos.libertynlp.com/#/pdfjs-annotation.我仅仅基于pdf.js-dist完成了注释功能的开发，如果你想集成到项目中的话

ElasticPDF-新国产PDF编辑器·2025-04-05 07:31

Python中LLM的模型轻量化架构：MobileBERT与TinyBERT

在当今的人工智能领域，大型语言模型（LLM）如BERT、GPT等已经成为了自然语言处理（NLP）任务的核心。然而，这些模型通常具有庞大的参数量和计算复杂度，这使得它们在资源受限的设备上部署变得困难。

二进制独立开发·2025-04-04 23:10

DeepSeek模型系列 DeepSeek开源了啥？

DeepSeek系列模型是由中国公司深度求索（DeepSeekInc.）开发的一系列人工智能模型，涵盖自然语言处理（NLP）、多模态和代码生成等领域。这些模型以高性能、高效训练和广泛的应用场景著称。

第十人i·2025-04-04 22:32

深度学习，机器学习所涵盖的100多个基本概念总结

目录一、基础算法二、经典算法三、机器学习四、优化算法五、特殊技巧六、深度学习七、NLP算法八、强化学习一、基础算法-Hashmap、Trie树-二分查找及其变形-各大排序算法-冒泡排序、选择排序、插入排序

fpga和matlab·2025-04-04 19:43

生成式AIGC：未来商业的智能化转型

生成式AIGC：未来商业的智能化转型关键词：AIGC，生成式AI，人工智能生成内容，商业智能化，内容创作，个性化，自动化，NLP，图像生成，GPT-3，DALL-E1.背景介绍随着人工智能技术的飞速发展

SuperAGI2025·2025-04-04 15:44

NLP 面试宝典

介绍：本项目是作者们根据个人面试和经验总结出的自然语言处理(NLP)面试准备的学习笔记与资料，该资料目前包含自然语言处理各领域的面试题积累。

关于NLP那些你不知道的事·2025-04-04 15:14

【开源】瓦AI自瞄全套上市源码 - 含完整编译教程

项目简介瓦AI智能系统是完整的AI解决方案源码，主要功能包括：自然语言处理(NLP)计算机视觉(CV)语音识别(ASR)知识图谱构建核心功能技术架构前端：Vue3+TypeScript后端：Python3.10

6v6-博客·2025-04-04 05:34

打破EPUB文件的神秘面纱：如何有效加载和使用EPUB文件进行AI文档处理

对于开发者和数据科学家，尤其是那些在处理自然语言处理（NLP）和人工智能（AI）项目中，能够有效地处理和操作EPUB文件显得尤为重要。

sjufgwgfhoia·2025-04-04 01:16

LangChain 入门到精通

LangChain原理深度剖析：从基础概念到高级应用一、引言在当今人工智能快速发展的时代，自然语言处理（NLP）技术取得了显著的进步。

Android 小码蜂·2025-04-04 00:09

【Python】成功解决UnboundLocalError: local variable ‘a‘ referenced before assignment（几种场景下的解决方案）

技术专长：在CV、NLP及多模态

高斯小哥·2025-04-03 22:55

【机器学习面试经验与互联网公司推荐】

A half moon·2025-04-03 15:13

DeepSeek-R1 API：多场景赋能的智能语言模型

自然语言处理（NLP）作为人工智能的核心领域之一，正在不断突破传统技术的限制，为各行业带来创新和变革。

安静的小员·2025-04-03 03:22

NLP高频面试题（三十一）——多模态预训练模型的主要结构、特征对齐与融合方法及对比损失函数详解

多模态学习的背景与挑战多模态学习旨在让模型同时理解和融合来自不同模态（如图像和文本）的信息，以获得更全面的语义理解。在人类认知中，我们习惯将视觉、语言、听觉等多种信息共同处理，因此发展能够整合多模态数据的人工智能模型具有重要意义。近几年，随着深度学习在计算机视觉和自然语言处理领域的突破，研究者开始探索将视觉和语言模态进行联合预训练，希望模型能从海量未标注的图文数据中学习通用表示，从而在下游任务（例

Chaos_Wang_·2025-04-03 02:12

python和nltk自然语言处理脚本之家_NLTK基础教程:用NLTK和Python库构建机器学习应用完整版pdf...

本书主要介绍如何通过NLTK库与一些Python库的结合从而实现复杂的NLP任务和机器学习应用。全书共分为10章。第1章对NLP进行了简单介绍。

weixin_39834084·2025-04-02 23:22

python和nltk自然语言处理 pdf_NLTK基础教程:用NLTK和Python库构建机器学习应用完整版pdf...