NLP论文笔记

AI在虚拟客户服务中的应用：提供24_7支持

AI在虚拟客户服务中的应用：提供24/7支持关键词：虚拟客服,自然语言处理(NLP),聊天机器人,对话系统,深度学习,用户支持,自动化1.背景介绍随着互联网和移动互联网的迅速发展，客户服务成为各大企业提升竞争力的重要环节

AI大模型应用之禅·2025-02-02 15:29

柳暗花明又一村：Seq2Seq编码器解码器架构

Seq2Seq,编码器-解码器,自然语言处理,机器翻译,文本生成,循环神经网络,长短期记忆网络1.背景介绍在人工智能领域，自然语言处理(NLP)始终是研究的热点之一。

AI大模型应用之禅·2025-02-02 15:29

【llm对话系统】大模型 Llama 源码分析之 Flash Attention

1.写在前面近年来，基于Transformer架构的大型语言模型(LLM)在自然语言处理(NLP)领域取得了巨大的成功。

kakaZhui·2025-02-02 13:43

【自然语言处理（NLP）】基于Transformer架构的预训练语言模型：BERT 训练之数据集处理、训练代码实现

文章目录介绍BERT训练之数据集处理BERT原理及模型代码实现数据集处理导包加载数据生成下一句预测任务的数据从段落中获取nsp数据生成遮蔽语言模型任务的数据从token中获取mlm数据将文本转换为预训练数据集创建Dataset加载WikiText-2数据集BERT训练代码实现导包加载数据构建BERT模型模型损失训练获取BERT编码器个人主页：道友老李欢迎加入社区：道友老李的学习社区介绍**自然语言

道友老李·2025-02-02 12:04

【自然语言处理（NLP）】Word2Vec 原理及模型架构（Skip-Gram、CBOW）

文章目录介绍Word2Vec介绍Word2Vec的核心概念Word2Vec的优点Word2Vec的缺点Word2Vec的应用场景Word2Vec的实现工具总结Word2Vec数学推导过程1.CBOW模型的数学推导（1）输入表示（2）词向量矩阵（3）输出层（4）损失函数（5）参数更新2.Skip-Gram模型的数学推导（1）输入表示（2）词向量矩阵（3）输出层（4）损失函数（5）参数更新3.优化技巧

道友老李·2025-02-02 11:58

向量语义（Vector Semantics）与表征学习（Representation Learning）详解

传统的NLP方法（如基于规则的语言模型）需要人为定义单词的语义规则，而向量语义方法则通过分析单词在大量文本中的使用模式来学习其语义。

苏西月·2025-02-02 07:54

【llm对话系统】大模型 Llama、Qwen 和 ChatGLM 的网络结构和训练方法对比

它们都在Transformer架构的基础上进行了改进和优化，并在各种NLP任务上取得了优异的性能。本文将深入分析Llama、Qwen和ChatGLM的网络结构和训练方法，比较它们的异同以及各自的优势。

kakaZhui·2025-02-02 07:54

【AI知识点】三种不同架构的大语言模型（LLMs）的区别

【AI论文解读】【AI知识点】【AI小项目】【AI战略思考】在自然语言处理（NLP）中，预训练语言模型（LLMs,LargeLanguageModels）通常基于不同的架构，如仅编码器的模型（Encoder-only

AI完全体·2025-02-01 23:09

【小白学AI系列】NLP 核心知识点（三）Word2Vec

Word2Vec定义：Word2Vec是一种将单词转化为向量的技术，基于神经网络模型，它能够将单词的语义关系通过向量空间的距离和方向进行表示。通过Word2Vec，我们可以将单词从一个离散的符号转化为一个稠密的向量（一般是高维的），并且能够捕捉到单词之间的语义关系和相似性。历史来源：Word2Vec由TomasMikolov等人于2013年在谷歌提出，它迅速成为了词向量表示（wordembeddi

Blankspace空白·2025-02-01 18:31

【小白学AI系列】NLP 核心知识点（五）Transformer介绍

TransformerTransformer是一种基于自注意力机制（Self-AttentionMechanism）的深度学习模型，首次由Vaswani等人于2017年在论文《AttentionisAllYouNeed》中提出。与RNN和LSTM不同，Transformer不需要依靠序列顺序进行递归，而是通过全局注意力机制一次性处理整个输入序列，从而具备了更高的计算效率和更强的并行化能力。Tran

Blankspace空白·2025-02-01 18:58

Linux中端口被占用如何解决

3306netstat命令查找查找被占用端口netstat-tuln|grep端口号#示例netstat-tuln|grep3306netstat-tuln|grep6379ss命令查找查找被占用端口ss-tunlp

烛照103·2025-02-01 18:27

智能化Kubernetes管理：AI与ChatGPT提升运维效率的创新实践

随着人工智能（AI）技术的成熟，特别是基于自然语言处理（NLP）的智能体如ChatGPT的出现，AI智能体能够在Kubernete

大大宝的博客·2025-02-01 15:59

【大模型应用开发动手做AI Agent】Plan and Solve策略的提出

智能体，策略学习，强化学习，自然语言处理1.背景介绍随着人工智能技术的飞速发展，大模型（LargeLanguageModel，LLM）在自然语言处理（NaturalLanguageProcessing，NLP

杭州大厂Java程序媛·2025-02-01 14:22

深度学习-笔记1

·2025-02-01 12:15

表格化数据处理中大语言模型的微调优化策略研究

具体来说，论文探讨了以下几个关键方面：背景与挑战：大型语言模型（LLMs）在自然语言处理（NLP）领域取得了显著进展，但在处

C7211BA·2025-01-31 23:25

NLP模型大对比：Transformer ＞Seq2Seq ＞ LSTM ＞ RNN ＞ n-gram

结论Transformer大于传统的Seq2Seq大于LSTM大于RNN大于传统的n-gramn-gramVSTransformer我们可以用一个图书馆查询的类比来解释它们的差异：一、核心差异对比维度n-gram模型Transformer工作方式固定窗口的"近视观察员"全局关联的"侦探"依赖距离只能看前N-1个词（如3-gram只看前2词）可关注任意距离的上下文语义理解机械统计共现频率理解词语间的

feifeikon·2025-01-31 19:14

讯飞绘镜（ai生成视频）技术浅析（三）：自然语言处理（NLP）

1.技术架构概述讯飞绘镜的NLP技术架构可以分为以下几个核心模块：语义分析：理解用户输入的文本，提取关键信息（如实体、事件、情感等）。情节理解：分析文本中的故事情节，识别事件序列和逻辑关系。

爱研究的小牛·2025-01-31 14:43

DeepSeek R1与OpenAI o1深度对比

文章目录引言技术原理DeepSeekR1OpenAIo1性能表现官方数据推理任务知识密集型任务通用能力价格对比应用场景科研与技术开发自然语言处理（NLP）企业智能化升级教育与培训数据分析与智能决策部署与集成

码事漫谈·2025-01-31 13:01

Llama大型语言模型原理详解

Llama大型语言模型是一种基于深度学习的自然语言处理模型，它在文本生成、问答、摘要等多种NLP任务中展现出强大的性能。

摆烂大大王·2025-01-31 11:40

Linux系统python虚拟环境及HanLP部署

在Linux系统中运行HanLP，要安装部署一个Python的虚拟环境，实现Python2与Python3的版本共存，Python虚拟环境与JavaJVM虚拟机的共存，HanLP是面向生产环境的多语种NLP

段智华·2025-01-31 07:04

论文笔记（七十）DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning（二）

DeepSeek-R1:IncentivizingReasoningCapabilityinLLMsviaReinforcementLearning（二）文章概括摘要：2.方法2.3.DeepSeek-R1：冷启动强化学习2.3.1.冷启动2.3.2.面向推理的强化学习2.3.3.拒绝采样与监督微调2.3.4.面向所有场景的强化学习2.4.蒸馏：赋予小模型推理能力文章概括引用：@article{g

墨绿色的摆渡人·2025-01-31 07:01

我把DeepSeek-R1推理能力知识蒸馏到Qwen2，效果真的炸裂！！！

关于NLP那些你不知道的事2025年01月29日13:08我把DeepSeek-R1推理能力知识蒸馏到Qwen2，效果真的炸裂！！！一、什么是知识蒸馏？

AI生成曾小健·2025-01-31 03:00

《攻克语言密码：教AI理解隐喻与象征》

在自然语言处理（NLP）领域，让计算机理解人类语言中的隐喻和象征，是迈向更高语言理解水平的关键一步。

程序猿阿伟·2025-01-31 00:40

词表设计：特殊Token区域与共享去区域的深入探讨

在自然语言处理（NLP）中，Tokenizer的设计对于模型性能有着至关重要的影响。

东方佑·2025-01-30 14:44

Synthesia技术浅析（四）：自然语言处理

Synthesia的自然语言处理（NLP）模块是其核心技术之一，涵盖了文本转语音（TTS）、情感分析以及多语言支持等多个方面。

爱研究的小牛·2025-01-30 12:28

大模型问答机器人的智能化程度

大模型、问答机器人、智能化程度、自然语言处理、深度学习、Transformer模型、知识图谱、推理能力、对话系统1.背景介绍近年来，人工智能技术取得了飞速发展，特别是深度学习的兴起，为自然语言处理（NLP

AI大模型应用之禅·2025-01-30 09:35

大语言模型原理与工程实践：残差连接与层归一化

1.背景介绍随着自然语言处理（NLP）的发展，深度学习在过去几年中取得了令人瞩目的成果。其中，循环神经网络（RNN）和卷积神经网络（CNN）在图像和文本分类、语义角色标注、机器翻译等领域表现出色。

AI大模型应用之禅·2025-01-30 08:27

模型架构选择：从传统NLP到Transformer

模型架构选择：从传统NLP到Transformer关键词：自然语言处理(NLP),模型架构,传统NLP,Transformer,RNN,CNN,预训练模型文章目录模型架构选择：从传统NLP到Transformer1

AI天才研究院·2025-01-30 08:23

Transformer架构的GPU并行和之前的NLP算法并行有什么不同？

在2017年之前，自然语言处理（NLP）领域的研究者们通常会从头开始训练模型，那时能够利用GPU进行

AI大模型学习不迷路·2025-01-30 07:49

LLM based Single Agent System

ANewEraofIntelligentAutomation关键词：大语言模型，单智能体系统，强化学习，自然语言处理，智能自动化1.背景介绍近年来，随着深度学习技术的快速发展，大语言模型(LLM)在自然语言处理(NLP

AGI大模型与大数据研究院·2025-01-30 05:03

【书生·浦语大模型实战营】学习笔记（五）：LMDeploy 量化部署

GoAI·2025-01-30 03:18

DeepSeek 模型：架构创新与实际应用详解

DeepSeek模型是近年来在自然语言处理（NLP）领域备受瞩目的开源大规模语言模型系列。

汪子熙·2025-01-29 23:52

【llm对话系统】大模型源码分析之 LLaMA 位置编码 RoPE

在自然语言处理（NLP）领域，Transformer模型已经成为主流。然而，Transformer本身并不具备处理序列顺序的能力。

kakaZhui·2025-01-29 23:17

【小白学AI系列】NLP 核心知识点（六）Softmax函数介绍

Softmax函数Softmax函数是一种常用的数学函数，广泛应用于机器学习中的分类问题，尤其是在神经网络的输出层。它的主要作用是将一个实数向量“压缩”成一个概率分布，使得所有输出的值在0到1之间，并且总和为1。换句话说，Softmax将模型的原始输出（logits）转化为概率，帮助我们做分类决策。定义与公式假设我们有一个向量z=[z1,z2,…,zn]\mathbf{z}=[z_1,z_2,\d

Blankspace空白·2025-01-29 14:33

[论文总结] 深度学习在农业领域应用论文笔记14

当下，深度学习在农业领域的研究热度持续攀升，相关论文发表量呈现出迅猛增长的态势。但繁荣背后，质量却不尽人意。相当一部分论文内容空洞无物，缺乏能够落地转化的实际价值，“凑数”的痕迹十分明显。在农业信息化领域的顶刊《ComputersandElectronicsinAgriculture》中也大面积存在。众多论文在研究方法上存在严重缺陷，过于简单粗放。只是机械地把深度学习方法生硬地套用到特定农业问题中

落痕的寒假·2025-01-29 14:00

NLTK命名实体识别（NER）

命名实体识别（NamedEntityRecognition,NER）是自然语言处理（NLP）中的一项核心技术，旨在从文本中识别出具有特定意义的实体，如人名、地名、组织名等。

Mr数据杨·2025-01-29 13:58

我们为什么要用大语言模型来迭代数据安全能力？

从OpenAI的GPT系列到谷歌的BERT，这些拥有海量参数的模型宛如智能巨人，正重塑着自然语言处理（NLP）的格局。你或许好奇，大语言模型究竟为何如此备受瞩目？

大模型.·2025-01-29 02:38

检索增强（Retrieval Augmentation）是一种结合信息检索技术和生成模型的技术

这种方法广泛应用于自然语言处理（NLP）任务中，如问答系统、对话生成和文本生成等。

大霸王龙·2025-01-29 02:31

[论文笔记] llama-factory 微调qwen2.5、llama3踩坑

一、bug1、pre-tokenize的时候,会OOM解决：在yaml文件中添加streaming参数#tokenizestreaming:Truemax_steps:10000https://github.com/hiyouga/LLaMA-Factory/blob/3a023bca2a502810a436cfba7708df164754ea62/src/llamafactory/hparams

心心喵·2025-01-28 20:14

# 第一章：认识chatgpt

关键里程碑:1980年代的统计方法和2000年代的神经网络技术，使NLP实现了从规则驱动到数据驱动的转变。神经网络与深度学习2010年代，深度学习的兴起极大推动了NLP的发展。基于大规模语料库

出门喝奶茶·2025-01-28 09:27

[论文笔记] Megatron: mistral sliding window（ImportError: /workspace/venv/lib/python3.10/site-packag报错解决）

pyTorch—TransformerEngine1.2.1documentation论文：https://arxiv.org/pdf/2310.06825.pdftransformerengine的slidingwindow是用了flashatttention（新版本2以上，这里用的最新版本2.5.2）里对sliding_window的实现。所以不需要用transformerengine。直接用

心心喵·2025-01-28 00:46

transformer.js（二）：关于pipe管道的一切

pipe管道（Pipeline）作为Transformer.js的核心功能之一，负责简化各种常见的NLP任务，例如文本生成、翻译、分类等，本文将详细介绍：从它的概念、实现到实际使用场景，帮助开发者全面掌握这一功能

余生H·2025-01-27 21:00

transformer.js（一）：这个前端大模型运行框架的可运行环境、使用方式、代码示例以及适合与不适合的场景

Transformer.js是一个专为前端环境设计的框架，它支持运行基于Transformer架构的深度学习模型，尤其是像BERT、GPT等广泛应用于自然语言处理（NLP）的模型。

余生H·2025-01-27 21:59

人工智能技术的应用前景及未来发展

随着深度学习、强化学习、自然语言处理（NLP）、计算机视觉（CV）等技术的飞速进展，AI不再仅仅是学术研究中的一个热点，而是渗透到各个行业，成为推动创新、优化生产和提升效率的核心力量。

键盘上的蚂蚁-·2025-01-27 16:24

自主学习与自然语言处理的融合：实现更智能的聊天机器人

自然语言处理（naturallanguageprocessing，NLP）是计算机科学和人工智能领域的一个分支，它涉及计算机如何理解、处理和生成人类语言。自主学习与自然语言处理的融合

AI天才研究院·2025-01-27 07:25

如何使用Llama-2-7b-chat-hf模型进行对话生成

Llama-2-7b-chat-hf项目地址:https://gitcode.com/mirrors/NousResearch/Llama-2-7b-chat-hf引言在当今的数字化时代，自然语言处理（NLP

娄泳含·2025-01-27 00:36

大语言模型应用指南：OpenAI大语言模型简介

大语言模型应用指南：OpenAI大语言模型简介1.背景介绍1.1问题的由来在过去几年中,自然语言处理(NLP)领域取得了长足的进步,这主要归功于大型语言模型(LargeLanguageModels,LLMs

AI大模型应用之禅·2025-01-26 15:02

《剖析Transformer架构：自然语言处理飞跃的幕后英雄》

在人工智能的迅猛发展进程中，自然语言处理（NLP）领域取得了令人瞩目的突破，而Transformer架构无疑是这场变革的核心驱动力。

·2025-01-26 11:25

大模型中的分词技术 BBPE

一、OOV问题和多语言场景在自然语言处理（NLP）中，OOV（Out-of-Vocabulary）问题是指模型在处理文本时遇到未在词表中出现过的词汇，导致无法有效处理这些词汇的情况。

禅与计算机技术·2025-01-26 01:05

【自然语言处理（NLP）】jieba分词的使用（分词模式、关键词提取）

搜索引擎模式2.4词性标注2.5加载自己的分词文件3.查看词频4.关键词提取个人主页：道友老李欢迎加入社区：道友老李的学习社区介绍**自然语言处理（NaturalLanguageProcessing，NLP

道友老李·2025-01-25 23:49

推荐频道