闻达LLM

LLM应用架构实战：基于LangChain的企业级最佳实践

前言随着ChatGPT等大语言模型的广泛应用，越来越多的企业开始将LLM整合到其业务系统中。然而，从概念验证(PoC)到生产环境的转换过程中，往往会遇到诸多技术挑战。

LLM教程·2025-02-01 05:44

构建高效LLM应用开发架构的关键策略

文章标题：构建高效LLM应用开发架构的关键策略在当今快速发展的技术世界中，人工智能（AI）已经成为推动创新的核心动力。其中，大型语言模型（LLM）的应用开发尤为引人注目。

AI天才研究院·2025-02-01 05:12

深入探讨：如何在Python中使用流式传输技术高效调用大型语言模型

深入探讨：如何在Python中使用流式传输技术高效调用大型语言模型在现代人工智能应用中，大型语言模型（LargeLanguageModels,LLM）已经成为了强大的工具，能够生成高质量的自然语言文本，

m0_57781768·2025-01-31 19:14

【大模型入门必看】LLM大语言模型导读

前言在规模扩展定律（ScalingLaws）被证明对语言模型有效之后，研究者构建出了许多大语言模型。尤其是2022年底面向普通消费者的ChatGPT模型的出现，正式标志着自然语言处理进入大语言模型时代。本章将简要梳理大语言模型的技术要点以及构建过程，并且列举了可用于预训练以及微调模型的常用数据集，介绍了目前开发大语言模型常用的代码库、预训练大语言模型的步骤以及涉及的关键技术，包括数据准备阶段、模型

古-月·2025-01-31 16:24

本地部署 DeepSeek-R1 大模型

本地部署DeepSeek-R1大模型指南1.引言1.1DeepSeek-R1模型简介在人工智能的世界里，大型语言模型（LLM）正如一座巨大的宝库，里面储存着丰富的信息和无限的潜力。

网络安全我来了·2025-01-31 13:57

A Survey on Large Language Model Acceleration based on KV Cache Management

本文是LLM系列文章，针对《ASurveyonLargeLanguageModelAccelerationbasedonKVCacheManagement》的翻译。

UnknownBody·2025-01-31 12:47

Deepseek两项关键发现：无需人类专家介入SFT、有自己

目前尚未实现AGI，主流AI行业和公众普遍认为通过扩大纯语言模型（LLM）的预训练规模就能实现突破

极道Jdon·2025-01-31 08:13

DeepSeek极端榨取硬件性能被曝光

DeepSeek的出现是否意味着前沿LLM开发不再需要大规模GPU集群？简单来说：不是的。

极道Jdon·2025-01-31 08:13

Ubuntu上如何优雅下载huggingface上某个gguf模型文件

OS:Ubuntu22.04LTS需求：下载GorillaOpenfunctionsV2Q2GGUF模型到本地https://huggingface.co/gorilla-llm/gorilla-openfunctions-v2

晨欣·2025-01-31 08:40

万字长文解读生成式AI参考架构

原文:TheGenAIReferenceArchitecture本文将介绍构建端到端GenAI应用的主要架构构件和蓝图，以便为生产做好准备，并且提出了几个在实施和设计基于LLM的应用时需要注意的关键事项

俞凡 DeepNoMind·2025-01-31 07:32

LLM模型部署经验分享

LLM模型部署经验分享作者：大连理工大学李凯首先，你需要选择一个合适的部署平台，这可以是本地服务器、云服务提供商（如AWS、Azure、GoogleCloud等）、边缘设备或者特定的部署服务（如HuggingFaceHub

lewis_kai·2025-01-31 06:56

开源大模型（LLM）下载

由于huggingface等国外网址无法访问或限制等问题，下载不了或下载速度慢。可以尝试从modespace（魔搭社区）下载。1、找到对应的模型文件，比如Meta-Llama-3-8B，然后找到下载入口2、点击模型下载，有2种下载方式，这里我们通过git下载（注意由于模型文件一般都比较大，直接使用gitclone下载时会有问题，超大文件下载后数据会缺失。可通过gitlfsclone命令）3、打开l

baidu_20834545·2025-01-31 06:25

使用Ollama和Open WebUI快速玩转大模型：简单快捷的尝试各种llm大模型，比如DeepSeek r1

Ollama本身就是非常优秀的大模型管理和推理组件，再使用OpenWebUI更加如虎添翼！Ollama快速使用指南安装OllamaWindows下安装下载Windows版Ollama软件：Releasev0.5.7·ollama/ollama·GitHub下载ollama-windows-amd64.zip这个文件即可。可以说Windows拥抱开源真好，Windows下安装软件简单方便，开源软件直

skywalk8163·2025-01-31 04:38

[特殊字符]文献阅读分享：《负面情绪更吸睛？利用大型语言模型重构新闻推荐系统中的情感框架》

本文通过实验研究，探讨了基于LLM的情感框架重构对用户情感、参与度和付费意愿的影响。相关工

Sheakan·2025-01-30 22:20

实战LLM强化学习——使用GRPO（DeepSeek R1出圈算法）

但，为了更好的理解强化学习在LLM训练过程中发挥的意义，也为了学习GPRO这个强化学习算法，笔者出此题目，方便大家学习理解。GRPO（GroupRela

FF-Studio·2025-01-30 19:54

vLLM源码之分离式架构

一、vLLM分离式架构概述1.基本概念vLLM是一个用于高效地服务大语言模型（LLM）推理的库。其分离式架构是一种创新的设计理念，旨在优化LLM的运行效率。

Bj陈默·2025-01-30 17:38

OpenAI 函数调用功能入门

Javascript版Langchain入门作者：AI小火箭的HB我是AI小火箭的HB，我探索和写作人工智能和语言交叉点的所有事物，范围从LLM，聊天机器人，语音机器人，开发框架，以数据为中心的潜在空间等

AI火箭·2025-01-30 16:57

DeepSeek：LLM在MoE训练中的无损平衡

标题：AUXILIARY-LOSS-FREELOADBALANCINGSTRAT-EGYFORMIXTURE-OF-EXPERTS来源：arXiv,2408.15664摘要对于混合专家（MoE）模型，不平衡的专家负载将导致路由崩溃或计算开销增加。现有方法通常采用辅助损耗来促进负载平衡，但较大的辅助损耗会在训练中引入不可忽略的干扰梯度，从而损害模型性能。为了在训练过程中控制负载平衡，同时不产生不希望

大模型任我行·2025-01-30 16:24

Deepseek技术浅析（一）

DeepSeek是北京深度求索人工智能基础技术研究有限公司推出的人工智能技术品牌，专注于大语言模型（LLM）的研发与应用。

爱研究的小牛·2025-01-30 12:58

【llm对话系统】大模型源码分析之llama模型的long context更长上下文支持

1.引言Llama模型的一个重要特性是支持长上下文处理。本文将深入分析Llama源码中实现长上下文的关键技术点，包括位置编码(positionembedding)的外推方法、注意力机制的优化等。我们将通过详细的代码解析来理解其实现原理。2.位置编码的外推实现2.1旋转位置编码(RoPE)基础Llama采用旋转位置编码(RoPE,RotaryPositionEmbedding)来编码token的位置

kakaZhui·2025-01-30 12:57

LLM系列(0)：行业大模型落地服务在全业务场景的应用与探索【大模型智能问答、NL2SQL、文档智能分析智能生成、AI智能体决策等】

行业大模型落地服务：在全业务场景的应用与探索1.行业大模型落地挑战及应对1.1.挑战一：有限的算力资源在政企客户场景中落地行业大模型方案，可能首先面临的一个挑战是客户的算力资源有限。算力资源作为大模型落地的前提条件，是很多客户关注的重点，也是业务团队前期与客户沟通交流的一个重点。行业大模型场景落地是否一定需要大量的GPU算力，以及需要多少的算力才能满足落地需求？GPU算力主要消耗在两个地方，一是大

汀、人工智能·2025-01-30 10:41

【llm对话系统】大模型 RAG 之回答生成：融合检索信息，生成精准答案

在这一步，LLM将融合用户问题和检索到的文档片段，生成最终的答案。这个过程不仅仅是简单的文本拼接，更需要LLM对检索结果进行理解、推理和整合，才能输出准确、流畅且符合用户需求的答案。

kakaZhui·2025-01-30 10:09

ollama如何保持模型加载在内存（显存）中或立即卸载

这允许在您多次请求LLM时获得更快的响应时间。然而，您可能希望在5分钟内释放内存，或者希望模型无限期地保留在内存中。

点动生态云·2025-01-30 09:34

AI学习指南Ollama篇-Ollama的多模态应用探索

AI学习指南应用篇-Ollama的多模态应用探索一、引言（一）背景介绍随着大语言模型（LLM）的发展，多模态应用（结合文本、图像、语音等）成为新的趋势。

俞兆鹏·2025-01-30 09:04

Llama 3：开源大模型的里程碑式突破

标题：Llama3：开源大模型的里程碑式突破文章信息摘要：Meta通过Llama3展现了开源LLM的重大突破：采用超大规模训练数据和多阶段训练方法（SFT、rejectionsampling、PPO和DPO

XianxinMao·2025-01-30 08:50

大型语言模型构建指南：从头开始构建大语言模型《Build a Large Language Model (From Scratch)》免费PDF

在这本富有洞察力的书中，畅销书作家塞巴斯蒂安·拉施卡（SebastianRaschka）将指导你逐步创建自己的LLM，用清晰的文字、图表和示例解释每个阶段。

AGI大模型学习·2025-01-30 05:34

书籍推荐：《从零构建大型语言模型》附免费PDF下载

在这本富有洞察力的书中，畅销书作家塞巴斯蒂安·拉施卡（SebastianRaschka）将指导你逐步创建自己的LLM，用清晰的文字、图表和示例解释每个阶段。

大模型入门学习·2025-01-30 05:33

LLM based Single Agent System

LLM-BasedSingleAgentSystem:ANewEraofIntelligentAutomation关键词：大语言模型，单智能体系统，强化学习，自然语言处理，智能自动化1.背景介绍近年来，

AGI大模型与大数据研究院·2025-01-30 05:03

为什么多模态大模型中使用Q-Former的工作变少了？附Q-Former结构简介

多模态大模型中需要一个输入投影模块，将视觉特征投射到LLM能理解的语言特征维度，这里就可以选择各种不同的模块。

同屿Firmirin·2025-01-30 01:01

初学者指南：借助 LangChain 构建 LLM 驱动的应用程序！

初学者指南：借助LangChain构建LLM驱动的应用程序！原文链接：ABeginner’sGuidetoBuildingLLM-PoweredApplicationswithLangChain!

·2025-01-29 23:24

【llm对话系统】大模型源码分析之 LLaMA 位置编码 RoPE

在自然语言处理（NLP）领域，Transformer模型已经成为主流。然而，Transformer本身并不具备处理序列顺序的能力。为了让模型理解文本中词语的相对位置，我们需要引入位置编码（PositionalEncoding）。本文将深入探讨LLaMA模型中使用的RotaryEmbedding（旋转式嵌入）位置编码方法，并对比传统的Transformer位置编码方案，分析其设计与实现的优势。1.传

kakaZhui·2025-01-29 23:17

Mooncake：面向大语言模型服务的以 KVCache 为中心的架构

摘要Mooncake是Kimi的服务平台，Kimi是由MoonshotAI提供的领先的LLM服务。它采用以KVCache为中心的分解架构，将预填充和解码集群分离。

步子哥·2025-01-29 22:42

进阶之路：从传统编程到AI大模型与Prompt驱动的爬虫技术

随着人工智能技术的发展，LLM大模型的出现为爬虫技术带来了新的思路。与传统的编程模式不同，使用AI大模型+prompt可以显著提高程序员的编程效率。

大模型老炮·2025-01-29 21:04

9.1 LangChain深度解析：大模型应用开发的“万能胶水”与核心架构设计

重新定义大模型应用开发范式LangChain是一个专为大语言模型（LLM）应用开发设计的开源框架，由HarrisonChase于2022年创建。它被开发者社区称为“AI应用开发的乐高积木”——通过标准

少林码僧·2025-01-29 20:52

为什么提到各种本地化部署模型软件时总要提到 llama.cpp?

尽管名字里有“cpp”，它实际上指的是基于C++开发的一整套工具，用于高效地在本地运行大语言模型（LLM）。

风雅GW·2025-01-29 18:00

Llama.cpp与Python的完美结合：快速入门指南

Llama.cpp与Python的完美结合：快速入门指南引言在现代AI的浪潮中，Llama.cpp提供了一种便捷的方法，将大型语言模型(LLM)集成到您的项目中。

nseejrukjhad·2025-01-29 17:29

[如何在LangChain中实现安全集成：最佳实践与应对策略]

这些集成使开发人员能够创建结合LLM（大语言模型）强大功能和外部资源交互的多样化应用。然而，安全问题不容忽视。本文将深入探讨在LangChain应用中实现安全集成的最佳实践，并

dsndnwfk·2025-01-29 17:56

万字精研：大型语言模型微调Fine-Tuning技术——14种主流方法的原理、适用场景及实践指南

万字精研：大型语言模型微调Fine-Tuning技术——14种主流方法的原理、适用场景及实践指南LLM训练时间和的成本太过庞大，况且个人卷训练经验极为困难，不妨从微调开始搞起。

汀、人工智能·2025-01-29 15:40

AI Agent的性能优化：从架构到代码级别的调优

从一个性能瓶颈说起还记得去年我们的AI助手刚上线时的情况：用户：这个响应也太慢了吧,要等好几秒运营：API费用每天都在涨我：让我看看到底是哪里慢...通过分析,我发现主要有三个问题：LLM调用延迟高向量检索效率低内存占用过大架构层面

·2025-01-29 15:48

LLM（大语言模型）——Springboot集成文心一言、讯飞星火、通义千问、智谱清言

目录引言代码完整地址入参出参ControllerServiceService实现类模型Service入参转换类文心一言实现类讯飞星火实现类通义千问实现类智谱清言实现类引言本文将介绍如何使用Java语言，结合SpringBoot框架，集成国内热门大模型API，包括文心一言、讯飞星火、通义千问、智谱清言。在开始前，请确保您已经按照各模型官网的指引，完成了相应的资源申请和配置。这些资源是调用大模型API

1telescope·2025-01-29 13:54

DeepSeek-R1-Distill-Qwen-1.5B：最佳小型LLM？

DeepSeek掀起了生成式AI领域的风暴。首先推出DeepSeek-v3，现在推出DeepSeek-R1，这两款模型都打破了所有基准，并且完全开源。但今天我们不是在讨论这两款超级模型，而是讨论DeepSeek-R1的一个蒸馏版本——DeepSeek-R1-Distill-Qwen-1.5B，它可能是今天被低估的版本，虽然只有15亿个参数，但它悄无声息地在一些主要基准上超越了GPT-4和Claud

李孟聊人工智能·2025-01-29 13:53

为大模型提供webui界面的利器：Open WebUI 完全本地离线部署deepseek r1

它支持各种LLM运行程序，如Ollama和OpenAI兼容的API，内置RAG推理引擎，使其成为一个强大的AI部署解决方案。安装使用pip进行安装：pipinstallopen-w

skywalk8163·2025-01-29 11:53

RAG：AI大模型联合向量数据库和 Llama-index，助力检索增强生成技术

检索增强生成（RAG）技术，结合了传统的信息检索和最新的大语言模型（LLM），不仅能够回答复杂的查询，还能在此基础上生成信息丰富的内容。

AI学习不迷路·2025-01-29 10:21

***LLM* Gateway：您的智能对话门户**

LLMGateway：您的智能对话门户llm-gatewayGatewayforsecure&reliablecommunicationswithOpenAIandotherLLMproviders项目地址

芮奕滢Kirby·2025-01-29 09:10

LangGraph系列-1：用LangGraph构建简单聊天机器人

在快速发展的人工智能和大型语言模型（llm）世界中，开发人员不断寻求创建更灵活、更强大、更直观的人工智能代理的方法。

梦想画家·2025-01-29 06:12

2024 LLM年度事件回顾：价格全面下跌、本地运行大模型、多模态能力爆发……

2025年伊始，Django的作者之一SimonWillison，带我们回顾了2024年AI的重磅进展，堪称大模型的“里程碑”盘点。快来看看有哪些突破，刷新了我们对AI的认知！原文很长，下面给大家列几个关键点：1、GPT-4壁垒被突破从前，GPT-4被视为无人能及的高度智能“天花板”，现在，ChatbotArea排行榜上已经有近70个模型，超过了2023年3月版本的GPT-4。谷歌的Gemini1

大模型.·2025-01-29 02:09

从零到手搓一个Agent：AI Agents新手入门精通

今日主题：当什么是Agent，与LLM的区别又是啥这一天，你的女朋友问你（假设我们有女朋友），宝宝，什么是Agent啊，Agent和LLM有什么区别呀，最近大家都在说的Agent究竟是什么，包括很多文章都在写的