NLP（自然语言处理）

【llm对话系统】大模型 Llama 源码分析之 Flash Attention

1.写在前面近年来，基于Transformer架构的大型语言模型(LLM)在自然语言处理(NLP)领域取得了巨大的成功。

kakaZhui·2025-02-02 13:43

【自然语言处理（NLP）】基于Transformer架构的预训练语言模型：BERT 训练之数据集处理、训练代码实现

文章目录介绍BERT训练之数据集处理BERT原理及模型代码实现数据集处理导包加载数据生成下一句预测任务的数据从段落中获取nsp数据生成遮蔽语言模型任务的数据从token中获取mlm数据将文本转换为预训练数据集创建Dataset加载WikiText-2数据集BERT训练代码实现导包加载数据构建BERT模型模型损失训练获取BERT编码器个人主页：道友老李欢迎加入社区：道友老李的学习社区介绍**自然语言

道友老李·2025-02-02 12:04

【自然语言处理（NLP）】Word2Vec 原理及模型架构（Skip-Gram、CBOW）

文章目录介绍Word2Vec介绍Word2Vec的核心概念Word2Vec的优点Word2Vec的缺点Word2Vec的应用场景Word2Vec的实现工具总结Word2Vec数学推导过程1.CBOW模型的数学推导（1）输入表示（2）词向量矩阵（3）输出层（4）损失函数（5）参数更新2.Skip-Gram模型的数学推导（1）输入表示（2）词向量矩阵（3）输出层（4）损失函数（5）参数更新3.优化技巧

道友老李·2025-02-02 11:58

向量语义（Vector Semantics）与表征学习（Representation Learning）详解

传统的NLP方法（如基于规则的语言模型）需要人为定义单词的语义规则，而向量语义方法则通过分析单词在大量文本中的使用模式来学习其语义。

苏西月·2025-02-02 07:54

【llm对话系统】大模型 Llama、Qwen 和 ChatGLM 的网络结构和训练方法对比

它们都在Transformer架构的基础上进行了改进和优化，并在各种NLP任务上取得了优异的性能。本文将深入分析Llama、Qwen和ChatGLM的网络结构和训练方法，比较它们的异同以及各自的优势。

kakaZhui·2025-02-02 07:54

LLM的实时性：迈向毫秒级响应的AI

LargeLanguageModel(LLM),实时性,响应时间,微服务架构,并行处理,知识图谱,优化算法,延迟最小化1.背景介绍大型语言模型(LLM)在自然语言处理领域取得了令人瞩目的成就，展现出强大的文本生成

AI大模型应用之禅·2025-02-02 06:47

Unet 改进：在encoder和decoder间加入TransformerBlock

融入模块后的网络经过测试，可以直接使用，设置好输入和输出的图片维度即可1.TransformerBlockTransformerBlock是Transformer模型架构的基本组件，广泛应用于机器翻译、文本摘要和情感分析等自然语言处理任务

听风吹等浪起·2025-02-01 23:11

【AI知识点】三种不同架构的大语言模型（LLMs）的区别

【AI论文解读】【AI知识点】【AI小项目】【AI战略思考】在自然语言处理（NLP）中，预训练语言模型（LLMs,LargeLanguageModels）通常基于不同的架构，如仅编码器的模型（Encoder-only

AI完全体·2025-02-01 23:09

自然语言处理基础知识入门(四) Transformer模型整体最详解（self- attention机制，mask机制）

文章目录前言一、Seq2Seq1.1Seq2Seq的基本架构1.2Seq2Seq的框架实例二、Transformer2.1Transformer的整体架构2.2Transformer的输入2.2.1InputEmbeding2.2.2PositionalEncoder2.2.3Transformer的输入2.3Transformer的自注意力机制2.3.1注意力机制2.3.2权重矩阵WWW2.3.

这个男人是小帅·2025-02-01 18:33

【小白学AI系列】NLP 核心知识点（三）Word2Vec

Word2Vec定义：Word2Vec是一种将单词转化为向量的技术，基于神经网络模型，它能够将单词的语义关系通过向量空间的距离和方向进行表示。通过Word2Vec，我们可以将单词从一个离散的符号转化为一个稠密的向量（一般是高维的），并且能够捕捉到单词之间的语义关系和相似性。历史来源：Word2Vec由TomasMikolov等人于2013年在谷歌提出，它迅速成为了词向量表示（wordembeddi

Blankspace空白·2025-02-01 18:31

【小白学AI系列】NLP 核心知识点（五）Transformer介绍

TransformerTransformer是一种基于自注意力机制（Self-AttentionMechanism）的深度学习模型，首次由Vaswani等人于2017年在论文《AttentionisAllYouNeed》中提出。与RNN和LSTM不同，Transformer不需要依靠序列顺序进行递归，而是通过全局注意力机制一次性处理整个输入序列，从而具备了更高的计算效率和更强的并行化能力。Tran

Blankspace空白·2025-02-01 18:58

Linux中端口被占用如何解决

3306netstat命令查找查找被占用端口netstat-tuln|grep端口号#示例netstat-tuln|grep3306netstat-tuln|grep6379ss命令查找查找被占用端口ss-tunlp

烛照103·2025-02-01 18:27

(25-4-01)基于本地知识库的自动问答系统（LangChain+ChatGLM+ModelScope/Huggingface部署）: 构建和部署对话系统（1）

其中，LangChain是文件jina_serving.py中的一个重要组件，它通过将自然语言处理技术与信息检索技术相结合，实现了以下功能：模型管理与加载：通过init_model和reinit_model

码农三叔·2025-02-01 15:02

智能化Kubernetes管理：AI与ChatGPT提升运维效率的创新实践

随着人工智能（AI）技术的成熟，特别是基于自然语言处理（NLP）的智能体如ChatGPT的出现，AI智能体能够在Kubernete

大大宝的博客·2025-02-01 15:59

【大模型应用开发动手做AI Agent】Plan and Solve策略的提出

【大模型应用开发动手做AIAgent】Plan-and-Solve策略的提出关键词：大模型，AIAgent，Plan-and-Solve，智能体，策略学习，强化学习，自然语言处理1.背景介绍随着人工智能技术的飞速发展

杭州大厂Java程序媛·2025-02-01 14:22

深度学习-笔记1

·2025-02-01 12:15

自然语言处理-词嵌入 (Word Embeddings)

词嵌入（WordEmbedding）是一种将单词或短语映射到高维向量空间的技术，使其能够以数学方式表示单词之间的关系。词嵌入能够捕捉语义信息，使得相似的词在向量空间中具有相近的表示。常见词嵌入方法基于矩阵分解的方法LatentSemanticAnalysis(LSA)LatentDirichletAllocation(LDA)非负矩阵分解(NMF)基于神经网络的方法Word2Vec（Google提

纠结哥_Shrek·2025-02-01 09:19

AIGC时代的Vue或React前端开发

例如，通过自然语言处理模型（如ChatGPT），开发者可以描述组件的功能和样式需求，然后自动生成包含模板、脚本和样式的完整组件代码。这不仅大大提高了开发效率，还减少了人为错误的可

GISer_Jinger·2025-02-01 09:42

DeepSeek大模型技术深度解析：揭开Transformer架构的神秘面纱

该模型能够高效处理智能对话、文本生成和语义理解等复杂任务，标志着人工智能在自然语言处理领域的重大进展。

不一样的信息安全·2025-02-01 08:07

基于深度学习的大规模模型训练

基于深度学习的大规模模型训练涉及训练具有数百万甚至数十亿参数的深度神经网络，以处理复杂的任务，如自然语言处理、计算机视觉和语音识别。

SEU-WYL·2025-02-01 07:56

表格化数据处理中大语言模型的微调优化策略研究

具体来说，论文探讨了以下几个关键方面：背景与挑战：大型语言模型（LLMs）在自然语言处理（NLP）领域取得了显著进展，但在处

C7211BA·2025-01-31 23:25

【人工智能】基于Python的机器翻译系统，从RNN到Transformer的演进与实现

解锁Python编程的无限可能：《奇妙的Python》带你漫游代码世界机器翻译（MachineTranslation,MT）作为自然语言处理领域的重要应用之一，近年来受到了广泛的关注。

蒙娜丽宁·2025-01-31 23:24

NLP模型大对比：Transformer ＞Seq2Seq ＞ LSTM ＞ RNN ＞ n-gram

结论Transformer大于传统的Seq2Seq大于LSTM大于RNN大于传统的n-gramn-gramVSTransformer我们可以用一个图书馆查询的类比来解释它们的差异：一、核心差异对比维度n-gram模型Transformer工作方式固定窗口的"近视观察员"全局关联的"侦探"依赖距离只能看前N-1个词（如3-gram只看前2词）可关注任意距离的上下文语义理解机械统计共现频率理解词语间的

feifeikon·2025-01-31 19:14

【大模型入门必看】LLM大语言模型导读

尤其是2022年底面向普通消费者的ChatGPT模型的出现，正式标志着自然语言处理进入大语言模型时代。

古-月·2025-01-31 16:24

讯飞绘镜（ai生成视频）技术浅析（三）：自然语言处理（NLP）

1.技术架构概述讯飞绘镜的NLP技术架构可以分为以下几个核心模块：语义分析：理解用户输入的文本，提取关键信息（如实体、事件、情感等）。情节理解：分析文本中的故事情节，识别事件序列和逻辑关系。

爱研究的小牛·2025-01-31 14:43

DeepSeek R1与OpenAI o1深度对比

文章目录引言技术原理DeepSeekR1OpenAIo1性能表现官方数据推理任务知识密集型任务通用能力价格对比应用场景科研与技术开发自然语言处理（NLP）企业智能化升级教育与培训数据分析与智能决策部署与集成

码事漫谈·2025-01-31 13:01

A Survey on Large Language Model Acceleration based on KV Cache Management

KV缓存管理的大型语言模型加速研究综述摘要1引言2前言3分类4token级优化5模型级优化6系统级优化7文本和多模态数据集8结论摘要大型语言模型（LLM）因其理解上下文和执行逻辑推理的能力，彻底改变了自然语言处理

UnknownBody·2025-01-31 12:47

Llama大型语言模型原理详解

Llama大型语言模型是一种基于深度学习的自然语言处理模型，它在文本生成、问答、摘要等多种NLP任务中展现出强大的性能。

摆烂大大王·2025-01-31 11:40

Linux系统python虚拟环境及HanLP部署

在Linux系统中运行HanLP，要安装部署一个Python的虚拟环境，实现Python2与Python3的版本共存，Python虚拟环境与JavaJVM虚拟机的共存，HanLP是面向生产环境的多语种NLP

段智华·2025-01-31 07:04

我把DeepSeek-R1推理能力知识蒸馏到Qwen2，效果真的炸裂！！！

关于NLP那些你不知道的事2025年01月29日13:08我把DeepSeek-R1推理能力知识蒸馏到Qwen2，效果真的炸裂！！！一、什么是知识蒸馏？

AI生成曾小健·2025-01-31 03:00

《攻克语言密码：教AI理解隐喻与象征》

在自然语言处理（NLP）领域，让计算机理解人类语言中的隐喻和象征，是迈向更高语言理解水平的关键一步。

程序猿阿伟·2025-01-31 00:40

AI 大模型创业：如何利用商业优势？

这些模型通常具有数十亿甚至千亿个参数，能够实现从自然语言处理到计算机视觉、语音识别等广泛领域的任务。

AI天才研究院·2025-01-30 21:46

语言模型与向量模型：深入解析与实例剖析

在自然语言处理领域，语言模型和向量模型

♢.＊·2025-01-30 20:06

Python 库的记录

GitHub-jobbole/awesome-python-cn:Python资源大全中文版，内容包括：Web框架、网络爬虫、网络内容提取、模板引擎、数据库、数据可视化、图片处理、文本处理、自然语言处理

weixin_40895135·2025-01-30 16:23

词表设计：特殊Token区域与共享去区域的深入探讨

在自然语言处理（NLP）中，Tokenizer的设计对于模型性能有着至关重要的影响。

东方佑·2025-01-30 14:44

Synthesia技术浅析（四）：自然语言处理

Synthesia的自然语言处理（NLP）模块是其核心技术之一，涵盖了文本转语音（TTS）、情感分析以及多语言支持等多个方面。

爱研究的小牛·2025-01-30 12:28

大模型问答机器人的智能化程度

大模型、问答机器人、智能化程度、自然语言处理、深度学习、Transformer模型、知识图谱、推理能力、对话系统1.背景介绍近年来，人工智能技术取得了飞速发展，特别是深度学习的兴起，为自然语言处理（NLP

AI大模型应用之禅·2025-01-30 09:35

大语言模型原理与工程实践：残差连接与层归一化

1.背景介绍随着自然语言处理（NLP）的发展，深度学习在过去几年中取得了令人瞩目的成果。其中，循环神经网络（RNN）和卷积神经网络（CNN）在图像和文本分类、语义角色标注、机器翻译等领域表现出色。

AI大模型应用之禅·2025-01-30 08:27

模型架构选择：从传统NLP到Transformer

模型架构选择：从传统NLP到Transformer关键词：自然语言处理(NLP),模型架构,传统NLP,Transformer,RNN,CNN,预训练模型文章目录模型架构选择：从传统NLP到Transformer1

AI天才研究院·2025-01-30 08:23

Transformer架构的GPU并行和之前的NLP算法并行有什么不同？

在2017年之前，自然语言处理（NLP）领域的研究者们通常会从头开始训练模型，那时能够利用GPU进行

AI大模型学习不迷路·2025-01-30 07:49

《向量数据库指南》——MoE应用：解锁深度学习新境界的钥匙

今天，我将带大家深入探讨MoE模型在自然语言处理、计算机视觉以及多模态学习等领域的应用，并巧妙引导大家通过《向量数据库指南》获取更多干货和深度实战经验。一、自然语言处理

大禹智库·2025-01-30 07:13

LLM based Single Agent System

LLM-BasedSingleAgentSystem:ANewEraofIntelligentAutomation关键词：大语言模型，单智能体系统，强化学习，自然语言处理，智能自动化1.背景介绍近年来，

AGI大模型与大数据研究院·2025-01-30 05:03

AI常见的算法

人工智能（AI）中常见的算法分为多个领域，如机器学习、深度学习、强化学习、自然语言处理和计算机视觉等。

纠结哥_Shrek·2025-01-30 03:49

【书生·浦语大模型实战营】学习笔记（五）：LMDeploy 量化部署

GoAI·2025-01-30 03:18

DeepSeek 模型：架构创新与实际应用详解

DeepSeek模型是近年来在自然语言处理（NLP）领域备受瞩目的开源大规模语言模型系列。

汪子熙·2025-01-29 23:52

【llm对话系统】大模型源码分析之 LLaMA 位置编码 RoPE

在自然语言处理（NLP）领域，Transformer模型已经成为主流。然而，Transformer本身并不具备处理序列顺序的能力。

kakaZhui·2025-01-29 23:17

进阶之路：从传统编程到AI大模型与Prompt驱动的爬虫技术

通过结合人工智能和自然语言处理技术，开发者可以更加高效地编写爬虫代码，并实现对网页内容的智能解析和提取。前置内容下面我将通过爬取豆瓣电影top25

大模型老炮·2025-01-29 21:04

开源模型应用落地-qwen模型小试-Qwen2.5-7B-Instruct-LangGraph-链式处理（一）

Qwen2.5模型是一款备受瞩目的大语言模型，它具备出色的语言理解和生成能力，在广泛的自然语言处理任务中都展现出了卓越的性能。

开源技术探险家·2025-01-29 21:33

创建自定义示例选择器以优化语言翻译模型

引言在构建自然语言处理模型时，一个常见的挑战是如何从大量示例中选择合适的子集来提高模型的性能和响应速度。本文将介绍如何使用自定义的示例选择器来优化语言翻译模型，特别是将英语翻译成意大利语的任务。

dsndnwfk·2025-01-29 17:56

Transformer--概念、作用、原理、优缺点以及简单的示例代码

它主要用于自然语言处理任务，如机器翻译、文本生成、文本分类等。

Ambition_LAO·2025-01-29 17:23

推荐频道