llm

LLM大模型部署实战指南：部署简化流程

LLM大模型部署实战指南：Ollama简化流程，OpenLLM灵活部署，LocalAI本地优化，Dify赋能应用开发1.Ollama部署的本地模型()Ollama是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型

汀、人工智能·2025-02-04 13:00

如何在本地正确部署Dify服务

Dify是一个开源的LLM（大型语言模型）应用开发平台，旨在为开发者提供从Agent构建到AIworkflow编排、RAG检索、模型管理等全方位的能力，从而轻松构建和运营生成式AI原生应用。

写python的鑫哥·2025-02-04 12:56

LlamaIndex架构设计：大模型长期记忆模块竟暗藏图数据库玄机

随着人工智能技术的不断发展，大型语言模型（LLM）已经在自然语言处理、文本生成、对话系统等领域取得了显著的进展。

威哥说编程·2025-02-04 08:52

Databricks 开源 LLM，训练只需三个小时

大数据分析公司DatabricksInc近日也加入了生成式AI领域的竞争之中，发布了一个名为Dolly的开源大型语言模型，将模型命名为Dolly是为了向第一只克隆羊多莉致敬。像ChatGPT和Bard这样的生成式AI，它们使用的数据通常来自于在成千上万不同网站，使用的数据量十分惊人，而且想要使用这些数据训练AI还需要数以千计的强大GPU在背后提供支持。Databricks希望通过开源Dolly及其

唐城·2025-02-04 07:15

DeepSeek总是崩？教你本地部署离线DeepSeek R1，保姆级教程

下面会讲到部署本地LLM（大模型）需要的软件，以及相应的电脑配置，这里以DeepSeeKR1各种版本为例。

朱卫军 AI·2025-02-03 22:35

一文读懂自动编码器：类型、原理与应用

一文读懂自动编码器：类型、原理与应用近日热文：全网最全的神经网络数学原理（代码和公式）直观解释欢迎关注知乎和公众号的专栏内容LLM架构专栏知乎LLM专栏知乎【柏企】公众号【柏企科技说】【柏企阅文】目录自动编码器稀疏自动编码器

·2025-02-03 16:03

️ 在 Windows WSL 上部署 Ollama 和大语言模型的完整指南20241206

️在WindowsWSL上部署Ollama和大语言模型的完整指南引言随着大语言模型（LLM）和人工智能的飞速发展，越来越多的开发者尝试在本地环境中部署大模型进行实验。

Narutolxy·2025-02-03 16:09

深度学习：基于MindNLP的RAG应用开发

RAG（Retrieval-AugmentedGeneration，检索增强生成）是一种结合检索（Retrieval）和生成（Generation）的技术，旨在提升大语言模型（LLM）生成内容的准确性、

Landy_Jay·2025-02-03 13:47

大型语言模型（LLM）压缩技术：如何让庞然大物更轻巧？

大型语言模型（LLM）压缩技术：如何让庞然大物更轻巧？随着大模型在各个领域的广泛应用，我们面临的一个核心问题是——如何让这些庞大的模型在硬件资源有限的环境下运行？

空间机器人·2025-02-03 12:09

M-Ped: Multi-Prompt Ensemble Decoding for Large Language Models

本文是LLM系列文章，针对《M-Ped:Multi-PromptEnsembleDecodingforLargeLanguageModels》的翻译。

UnknownBody·2025-02-03 11:36

SlimGPT: Layer-wise Structured Pruning for Large Language Models

本文是LLM系列文章，针对《SlimGPT:Layer-wiseStructuredPruningforLargeLanguageModels》的翻译。

UnknownBody·2025-02-03 11:35

使用Colpali架构掌握多模态RAG技术

传统的LLM面临着“幻觉”问题，即它们可能生成听起来合理但实际上错误或未经证实的信息。为了解决这个问题，检索增强生成（RAG）模型应运而生。

大模型之路·2025-02-03 07:33

什么是MOE架构？哪些大模型使用了MOE？

在人工智能快速发展的今天，大语言模型（LLM）的规模越来越大，参数量动辄上千亿甚至万亿。然而，更大的模型往往意味着更高的计算成本和更多的资源消耗。

明哲AI·2025-02-03 06:18

NotebookLM：Google 最新 AI 笔记助理解析与实战应用

它结合了Google的大语言模型（LLM）能力，帮助用户更高效地整理、理解和生成知识内容。本文将全面解析NotebookLM的技术原理、核心功能、应用场景，并提供实际使用指南，帮助

赵大仁·2025-02-02 23:56

从零开始大模型开发与微调：汉字拼音数据集处理

随着深度学习技术的飞速发展，大规模语言模型（LargeLanguageModel，LLM）在NLP领域取得了显著的成果。

AGI大模型与大数据研究院·2025-02-02 22:43

AI大模型部署：Ollama与vLLM部署对比：哪个更合适？

前言近年来，大语言模型（LLM）的应用日益广泛，而高效的部署方案至关重要。Ollama和vLLM作为两种流行的LLM部署工具，各有优劣。

大模型部署·2025-02-02 21:11

本地部署LLM工具大比拼：谁才是你的智能之选？

在人工智能的浪潮中，本地部署LLM工具为我们开启了个性化智能交互的新大门。

Python_金钱豹·2025-02-02 21:10

LLM - 大模型 ScallingLaws 的设计 100B 预训练方案(PLM) 教程(5)

欢迎关注我的CSDN：https://spike.blog.csdn.net/本文地址：https://spike.blog.csdn.net/article/details/145356022免责声明：本文来源于个人知识与公开资料，仅用于学术交流，欢迎讨论，不支持转载。ScalingLaws(缩放法则)是大模型领域中，用于描述模型性能(Loss)与模型规模N、数据量D、计算资源C之间关系的经验规

ManonLegrand·2025-02-02 18:21

微调特定于域的搜索的文本嵌入：附Python代码详解

微调特定于域的搜索的文本嵌入：附Python代码详解阅读时长：20分钟发布时间：2025-02-02近日热文：全网最全的神经网络数学原理（代码和公式）直观解释欢迎关注知乎和公众号的专栏内容LLM架构专栏知乎

·2025-02-02 14:07

AI大模型基于LLM的Agent架构图解

AIAgent主要依托LLM模型和具体的业务场景来调用相应的工具来完成任务目标，智能化程度和行业贴合度会更明显。典型案例有什么？智能核保应用，如果解决方案搭载AIAgent能力，

AI产品经理·2025-02-02 14:51

什么是LLM？看这一篇就够了！

本文主要介绍大语言模型（LargeLanguageModel，简称LLM）。

Python程序员罗宾·2025-02-02 14:50

【llm对话系统】大模型 Llama 源码分析之并行训练方案

1.引言训练大型语言模型(LLM)需要巨大的计算资源和内存。为了高效地训练这些模型，我们需要采用各种并行策略，将计算和数据分布到多个GPU或设备上。

kakaZhui·2025-02-02 13:14

【llm对话系统】大模型 Llama 源码分析之 LoRA 微调

1.引言微调(Fine-tuning)是将预训练大模型(LLM)应用于下游任务的常用方法。然而，直接微调大模型的所有参数通常需要大量的计算资源和内存。

kakaZhui·2025-02-02 13:14

【llm对话系统】大模型 Llama 源码分析之 Flash Attention

1.写在前面近年来，基于Transformer架构的大型语言模型(LLM)在自然语言处理(NLP)领域取得了巨大的成功。

kakaZhui·2025-02-02 13:43

llama.cpp LLM_CHAT_TEMPLATE_DEEPSEEK_3

`LLAMA_VOCAB_PRE_TYPE_DEEPSEEK3_LLM`2.`staticconststd::mapLLM_CHAT_TEMPLATES`3.

Yongqiang Cheng·2025-02-02 12:10

【llm对话系统】大模型 Llama、Qwen 和 ChatGLM 的网络结构和训练方法对比

1.引言近年来，大型语言模型(LLM)取得了令人瞩目的进展，其中Llama、Qwen和ChatGLM是三个备受关注的开源模型。

kakaZhui·2025-02-02 07:54

LLM的实时性：迈向毫秒级响应的AI

LargeLanguageModel(LLM),实时性,响应时间,微服务架构,并行处理,知识图谱,优化算法,延迟最小化1.背景介绍大型语言模型(LLM)在自然语言处理领域取得了令人瞩目的成就，展现出强大的文本生成

AI大模型应用之禅·2025-02-02 06:47

[系统安全] 六十一.恶意软件分析 (12)LLM赋能Lark工具提取XLM代码的抽象语法树（初探）

您可能之前看到过我写的类似文章，为什么还要重复撰写呢？只是想更好地帮助初学者了解病毒逆向分析和系统安全，更加成体系且不破坏之前的系列。因此，我重新开设了这个专栏，准备系统整理和深入学习系统安全、逆向分析和恶意代码检测，“系统安全”系列文章会更加聚焦，更加系统，更加深入，也是作者的慢慢成长史。换专业确实挺难的，逆向分析也是块硬骨头，但我也试试，看看自己未来四年究竟能将它学到什么程度，漫漫长征路，偏向

Eastmount·2025-02-02 01:20

开源LLMs导览：工作原理、顶级LLM列表对比

万俟淋曦·2025-02-01 23:11

揭秘大语言模型：什么是LLM大模型？

前言自从去年chatgpt横空出世以来，它火爆也让大语言模型这个词变的很流行，到底什么是大语言模型，今天从初学者的角度介绍一下大语言模型的基本概念、组成部分和基本工作流程等。下面的介绍中如果涉及到一些专业术语不太理解，也没关系，只要有一个感性认识即可，毕竟我们不打算造车，只要做到自己部署开源大模型的时候，不至于脸盲就可以了。一、大语言模型特点和基本组成大语言模型（LargeLanguageMode

AGI-杠哥·2025-02-01 23:11

LearnLM: Improving Gemini for Learning

本文是LLM系列文章，针对《LearnLM:ImprovingGeminiforLearning》的翻译。

UnknownBody·2025-02-01 22:04

LitGPT - 20多个高性能LLM，具有预训练、微调和大规模部署的recipes

文章目录一、关于LitGPT二、快速启动安装LitGPT高级安装选项从20多个LLM中进行选择三、工作流程1、所有工作流程2、微调LLM3、部署LLM4、评估LLM5、测试LLM6、预训练LLM7、继续预训练

伊织产研·2025-02-01 19:38

Meta首席科学家Yann LeCun预言：5年内AI架构将颠覆，当前大模型的4大核心缺陷

✨引言：一场颠覆AI行业的预言在2025冬季达沃斯“技术辩论”现场，Meta首席AI科学家、图灵奖得主杨立昆（YannLeCun）抛出一个震撼观点：“当前的大语言模型（LLM）范式将在3-5年内被淘汰。

机器小乙·2025-02-01 18:30

【AI人工智能】DeepSeek R1：你需要知道的一切

，请坚持认真读完，必有收获：DeepSeekR1简要概述主要特点与能力开源与可访问性模型架构强化学习训练变体与精简模型使用案例与应用从专有模型迁移到开源模型1.DeepSeekR1简要概述大语言模型（LLM

大名顶顶·2025-02-01 17:22

使用Ollama本地化部署DeepSeek

1、Ollama简介Ollama是一个开源的本地化大模型部署工具，旨在简化大型语言模型（LLM）的安装、运行和管理。

·2025-02-01 16:48

LLM-预训练：深入理解 Megatron-LM（2）原理介绍

最近在基于Megatron-LM的代码来训练大语言模型，本人觉得Megatron的代码很具有学习意义，于是大量参考了网上很多对Megatron代码的解读文章和NVIDAMegatron团队公开发布的2篇论文，并结合最近Megatron-LM代码库的更新，整理成了这几篇系列文章。Megatron-LM代码版本：23.06https://github.com/NVIDIA/Megatron-LM/tr

u013250861·2025-02-01 15:05

自定义 LLM：LangChain与文心一言擦出火花

自定义LLM自定义LLM需要实现以下必要的函数：_call：它需要接受一个字符串、可选的停用词，并返回一个字符串。

AI领航者·2025-02-01 15:31

【大模型应用开发动手做AI Agent】Plan and Solve策略的提出

Plan-and-Solve策略的提出关键词：大模型，AIAgent，Plan-and-Solve，智能体，策略学习，强化学习，自然语言处理1.背景介绍随着人工智能技术的飞速发展，大模型（LargeLanguageModel，LLM

杭州大厂Java程序媛·2025-02-01 14:22

LLM主要类别架构

LLM主要类别架构介绍LLM主要类别LLM本身基于transformer架构。

大模型微调实战·2025-02-01 08:36

LLM应用架构实战：基于LangChain的企业级最佳实践

前言随着ChatGPT等大语言模型的广泛应用，越来越多的企业开始将LLM整合到其业务系统中。然而，从概念验证(PoC)到生产环境的转换过程中，往往会遇到诸多技术挑战。

LLM教程·2025-02-01 05:44

构建高效LLM应用开发架构的关键策略

文章标题：构建高效LLM应用开发架构的关键策略在当今快速发展的技术世界中，人工智能（AI）已经成为推动创新的核心动力。其中，大型语言模型（LLM）的应用开发尤为引人注目。

AI天才研究院·2025-02-01 05:12

深入探讨：如何在Python中使用流式传输技术高效调用大型语言模型

深入探讨：如何在Python中使用流式传输技术高效调用大型语言模型在现代人工智能应用中，大型语言模型（LargeLanguageModels,LLM）已经成为了强大的工具，能够生成高质量的自然语言文本，

m0_57781768·2025-01-31 19:14

【大模型入门必看】LLM大语言模型导读

前言在规模扩展定律（ScalingLaws）被证明对语言模型有效之后，研究者构建出了许多大语言模型。尤其是2022年底面向普通消费者的ChatGPT模型的出现，正式标志着自然语言处理进入大语言模型时代。本章将简要梳理大语言模型的技术要点以及构建过程，并且列举了可用于预训练以及微调模型的常用数据集，介绍了目前开发大语言模型常用的代码库、预训练大语言模型的步骤以及涉及的关键技术，包括数据准备阶段、模型

古-月·2025-01-31 16:24

本地部署 DeepSeek-R1 大模型

本地部署DeepSeek-R1大模型指南1.引言1.1DeepSeek-R1模型简介在人工智能的世界里，大型语言模型（LLM）正如一座巨大的宝库，里面储存着丰富的信息和无限的潜力。

网络安全我来了·2025-01-31 13:57

A Survey on Large Language Model Acceleration based on KV Cache Management

本文是LLM系列文章，针对《ASurveyonLargeLanguageModelAccelerationbasedonKVCacheManagement》的翻译。

UnknownBody·2025-01-31 12:47

Deepseek两项关键发现：无需人类专家介入SFT、有自己

目前尚未实现AGI，主流AI行业和公众普遍认为通过扩大纯语言模型（LLM）的预训练规模就能实现突破

极道Jdon·2025-01-31 08:13

DeepSeek极端榨取硬件性能被曝光

DeepSeek的出现是否意味着前沿LLM开发不再需要大规模GPU集群？简单来说：不是的。