LLM零碎知识第3页

从LLM出发：由浅入深探索AI开发的全流程与简单实践（全文3w字）

文章目录第一部分：AI开发的背景与历史1.1人工智能的起源与发展1.2神经网络与深度学习的崛起1.3Transformer架构与LLM的兴起1.4当前AI开发的现状与趋势第二部分：AI开发的核心技术2.1

码事漫谈·2025-03-17 09:48

【人工智能】Model Context Protocol (MCP) 是一个开放协议，标准化了应用程序向大型语言模型（LLMs）提供上下文的方式

MCP，旨在标准化应用程序如何为大型语言模型（LLM）提供上下文信息。MCP，提供了一个标准的接口，使得LLM可以无缝集成各种外部数据源和工具，从而扩展其能力和应用场景。二、MCP的定义和作用MCP定

本本本添哥·2025-03-17 06:28

大模型系列——正式推出 Spring AI MCP：用于 MCP（模型上下文协议）的 Java SDK

模型上下文协议（MCP）是一种开放式协议，它规范了应用程序为大型语言模型（LLM

不二人生·2025-03-17 05:20

MCP（Model Context Protocol）模型上下文协议理论篇1 - 架构

核心架构理解MCP如何连接客户端、服务器和LLM模型上下文协议(MCP)建立在灵活、可扩展的架构之上，能够实现LLM应用程序和集成之间的无缝通信。本文档涵盖了核心架构组件和概念。

AIQL·2025-03-17 05:47

小语言模型（SLM）技术解析：如何在有限资源下实现高效AI推理

尽管大语言模型（LLM）如GPT-4、GeminiUltra等在复杂任务中表现惊艳，但其高昂的算力成本、庞大的参数量（通常超过千亿）和依赖云端的特性，使得实际落地面临诸多瓶颈。

硅基打工人·2025-03-16 22:52

【开源所有代码-全在线智能音箱】树莓派智能音箱，自定义唤醒词，大模型LLM GPT对话

安装sounddevicepipinstallsounddevice安装portAudiosudoapt-getinstalllibportaudio2sudoapt-getinstalllibasound-devsudoapt-getinstallportaudio.devsudoapt-getinstallpython3-pyaudiopipinstallpyaudio安装wavepipins

南七小僧·2025-03-16 15:04

大语言模型微调和大语言模型应用区别

大语言模型微调和大语言模型应用区别微调与应用LLM的区别微调大语言模型（LLM）是指取一个已经预训练好的模型，进一步用特定数据集训练，使其更好地适应某个任务或领域，比如为医疗聊天机器人优化医疗术语理解。

AI Echoes·2025-03-16 15:34

【大模型UI\多模型回复UI】

它支持多种大型语言模型（LLM），包括Ollama和兼容OpenAI的API。

Ai君臣·2025-03-16 06:29

大模型的webui

exportXXX_LLM_C=~/xcore-llm/build/ReleaseexportCUDA_VISIBLE_DEVICES=2,3exportCUDACXX=/usr/local/cuda-

Zain Lau·2025-03-16 05:26

大模型+智能代理：自动化测试的终极组合？

近年来，大模型（LLM,LargeLanguageModel）+智能代理（Agent）的结合，为自动化测试带来了新的可能性。这种“智能测试代理”能够利用大模型的自然语言

测试者家园·2025-03-16 05:55

LLM对齐方法作用：主要解决大型语言模型（LLMs）输出与人类价值观、需求和安全规范不一致的问题

LLM对齐方法作用：主要解决大型语言模型（LLMs）输出与人类价值观、需求和安全规范不一致的问题对齐方法（AlignmentMethods）主要解决大型语言模型（LLMs）输出与人类价值观、需求和安全规范不一致的问题

ZhangJiQun&MXP·2025-03-16 05:52

【AI热点】MCP协议深度洞察报告

摘要人工智能技术飞速发展，大型语言模型（LLM）如何高效、安全地利用外部数据和工具成为关键问题。

碣石潇湘无限路·2025-03-16 03:37

【AI】Transformer布道：让AI学会“左顾右盼”的超级大脑！（扫盲帖）

在LLM爆火的时代，如果还不了解Transformer就太落伍了，下面我第一次尝试用一种更日常、更口语化的方式，把Transformer这个模型讲个大概。

碣石潇湘无限路·2025-03-16 03:37

TensorRT-LLM保姆级教程-快速入门

本系列将针对TensorRT-LLM推理进行讲解。本文为该系列第一篇，将简要概述TensorRT-LLM的基本特性。另外，我撰写的大模型相关的博客及配套代码均整理放置在Github，有需要的朋友自

大模型八哥·2025-03-16 02:34

Langchain如何调用Siliconflow的模型

官网（ChatCompletions(siliconflow.cn)）上给出了详细的调用方式，我们可以方便的ctrlC和ctrlV而Langchain支持自定义封装LLM（CustomLLM|️Langchain

LJY_LU·2025-03-16 01:52

向量存储与检索器

文章目录向量存储如何创建和查询向量存储相似性搜索按向量进行相似性搜索异步操作检索器如何使用向量存储作为检索器从向量存储创建检索器最大边际相关性检索传递搜索参数相似性得分阈值检索指定前k案例案例1案例2langchain支持从向量数据库和其他来源检索数据，以便与LLM

小码农0912·2025-03-15 22:05

第三十个问题-讲讲Agent、MCP、OpenAI Responses API

1.Agent（智能体）136定义与核心功能Agent是什么：能够自主执行复杂任务的智能实体，通常基于大语言模型（LLM）构建，配备指令和工具，可独立完成多步骤任务（如网络搜索、文件处理、自动化操作等）

释迦呼呼·2025-03-15 21:54

大语言模型的潜力是否被高估

关于大语言模型（LLM）的潜力是否被高估，目前学术界和产业界存在显著分歧。

dev.null·2025-03-15 19:12

LLM之Colossal-LLaMA-2：源码解读(init_tokenizer.py文件)实现基于源词表的扩展、(init_model.py文件)实现过计算均值扩展模型、(prepare_pretr

LLM之Colossal-LLaMA-2：源码解读(init_tokenizer.py文件)实现基于jsonl文件中读取新词列表(新中文词汇)→for循环去重实现词表的扩展(中文标记的新词汇)→保存新的分词模型

一个处女座的程序猿·2025-03-15 18:38

llm数据存储基础设施

链接:https://i68.ltd/notes/posts/20250310-llm-db/infinity专为LLM应用程序构建的AI原生数据库，可提供对密集向量、稀疏向量、张量（多向量）和全文的快速混合搜索项目仓库

galileo2016·2025-03-15 17:24

模型的秘密武器：利用注意力改善长上下文推理能力

【导语】在大语言模型（LLM）不断刷新各项任务记录的今天，很多模型宣称能处理超长上下文内容，但在实际推理过程中，复杂问题往往因隐性事实的遗漏而败下阵来。

步子哥·2025-03-15 16:51

大型语言模型与强化学习的融合：迈向通用人工智能的新范式——基于基础复现的实验平台构建

1.引言大型语言模型（LLM）在自然语言处理领域的突破，展现了强大的知识存储、推理和生成能力，为人工智能带来了新的可能性。

（initial）·2025-03-15 16:17

基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[5]-高阶实战微调

基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[5]-高阶实战微调1.推荐的模型组合在默认的配置文件中，我们提供了以下模型组合LLM:Chatglm2-6bEmbeddingModels

汀、人工智能·2025-03-15 11:40

【开源代码解读】AI检索系统R1-Searcher通过强化学习RL激励大模型LLM的搜索能力

关于R1-Searcher的报告：第一章：引言-AI检索系统的技术演进与R1-Searcher的创新定位1.1信息检索技术的范式转移在数字化时代爆发式增长的数据洪流中，信息检索系统正经历从传统关键词匹配到语义理解驱动的根本性变革。根据IDC的统计，2023年全球数据总量已突破120ZB，其中非结构化数据占比超过80%。这种数据形态的转变对检索系统提出了三个核心的挑战：语义歧义消除：如何准确理解"A

accurater·2025-03-15 11:37

大模型LLM基于PEFT的LoRA微调详细步骤---第一篇：模型下载篇

模型下载：HuggingFace官网：https://huggingface.co/----需要VPN魔搭社区：https://modelscope.cn/home----国内映射，不需要VPN写在篇始：国内关注方法一即可。其余几种都需要VPN，而且在服务器下载的速度有限~~。下一篇：微调详细流程以及环境...方法一：魔搭（modelscope）下载#需要安装pipinstallmodelscop

素雪风华·2025-03-15 08:42

AI Agent代理框架与直接 API 调用的选择、构建块、工作流与代理的模式

我们将这两种实现统称为“代理系统”，但在架构上做出区分：工作流是指通过预定义代码路径协调LLM与工具的组合；代理则是让LLM自主决定流程和工具使用，保持对任务执行过程的动态控制。何时使用代理？

AI Echoes·2025-03-15 05:39

什么是代理？

代理"的定义多样：完全自主的系统（长期独立运行，使用工具完成复杂任务）遵循预定义工作流的规范性实现在Anthropic的架构体系中：工作流：通过预定义代码路径编排LLM和工具代理：动态自主决策流程和工具使用的系统何时

AI Echoes·2025-03-15 05:38

LLM推理和优化（1）：基本概念介绍

一、LLM推理的核心过程：自回归生成LLM（如DeepSeek、ChatGPT、LLaMA系列等）的推理本质是自回归生成：从初始输入（如[CLS]或用户prompt）开始，逐token预测下一个词，直到生成结束符

AndrewHZ·2025-03-14 23:50

云原生周刊：基于 KubeSphere LuBan 架构打造DeepSeek 插件

·2025-03-14 22:37

【大模型LLM面试合集】分布式训练_总结

9.总结1.数据并行数据并行，由于其原理相对比较简单，是目前使用最广泛的分布式并行技术。数据并行不仅仅指对训练的数据并行操作，还可以对网络模型梯度、权重参数、优化器状态等数据进行并行。我们首先以PyTorch数据并行的发展（DataParallel、DistributedDataParallel、FullyShardedDataParallel）为主线进行讲述了数据并行的技术原理。同时，也简述了D

X.AI666·2025-03-14 17:28

Python和FastAPI框架开发和容器化部署AWS上支持多种LLM和向量数据库的微服务API

用FastAPI创建一个输入提示词和所使用的LLM名称和向量搜索方式的API，返回LLM输出文本，其中用到OpenAIGPT4o3和AWSBedrock上的多个LLM模型的API，通过内部的类配置使用的模型和向量数据搜索类型

weixin_30777913·2025-03-14 13:26

LLM：RMSNorm

importtorchimporttorch.nnasnnclassLayerNorm(nn.Module):def__init__(self,dim:int,eps:float):super(LayerNorm,self).__init__()self.dim=dimself.eps=epsself.weight=nn.Parameter(torch.ones(self.dim))self.bi

微风❤水墨·2025-03-14 12:23

LLM大语言模型书籍：《大模型时代》开启人工智能狂潮！（附文档）

哈喽大家好！很久都没有更新大模型这块的书了，今天给大家说一下这本：《大模型时代》，本书对大模型时代的技术、应用和产业变化进行了深入的分析和阐述。近2年GPT风靡全球，然而真正的智慧“心脏”却是大型语言模型（LargeLanguageModel）！生成式大型模型正引领我们进入一个崭新的时代。《本书》深入探讨了大型模型时代的技术演进、应用场景和产业变革。生动地阐释了ChatGPT背后的工作原理，深入解

Langchain·2025-03-14 08:51

打卡代码随想录第17天：LeetCode654.最大二叉树、617.合并二叉树、700.二叉搜索树中的搜索、98.验证二叉搜索树

学习资料：代码随想录文中含LLM生成内容，不一定对654.最大二叉树力扣题目地址思路：不断寻找该部分的最大值去切割数组，不断递归，到在左闭右开区间不成立时，返回空节点。

jingjingjing1111·2025-03-14 07:08

【GPT入门】第18课 langchain介绍与API初步体验

提示工程支持6.可扩展性2.langchain核心组件架构图3.最简单的helloworld入门1.langchain介绍LangChain是一个用于开发由语言模型驱动的应用程序的开源框架，它在大语言模型（LLM

*星星之火*·2025-03-14 05:26

医疗诊断 AI Agent：LLM 在临床决策支持中的角色

《医疗诊断AIAgent：LLM在临床决策支持中的角色》文章撰写步骤撰写一篇深度、思考、见解的专业技术博客文章，需要严谨的逻辑思维和结构化的内容组织。

AGI大模型与大数据研究院·2025-03-14 04:17

LLM 为什么需要 tokenizer？

文章目录1.LLM预训练目的1.1什么是语言模型2.Tokenizer一般处理流程（了解）3.进行Tokenizer的原因3.1one-hot的问题3.2词嵌入4.结语1.LLM预训练目的我们必须知道一个预训练目的

SmallerFL·2025-03-14 03:45

pop_dialog_state(state: State)弹出对话栈并返回到主助手，让整个对话流程图可以明确追踪对话流，并将控制权委派给特定的子对话图。

messages=[]ifstate["messages"][-1].tool_calls:#注意：目前没有处理llm并行调用工具的边缘情况messages.append(ToolMessage(cont

背太阳的牧羊人·2025-03-14 02:07

从零开始：基于LLM大模型构建智能应用程序的完整指南

目录从零开始：基于LLM大模型构建智能应用程序的完整指南什么是LLM大模型如何利用LLM大模型构建智能应用程序1.收集和准备数据2.构建LLM大模型3.集成和部署4.监测和维护使用特定于私有领域的数据增强

AI天才研究院·2025-03-14 00:27

第81期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。

·2025-03-13 20:59

【LLM大模型】大模型涌现能力及 Prompt Engineering提示词

涌现能力GPT3是第一批拥有“涌现能力”的大语言模型，即模型未经特定任务的训练，但在适当的提示下，仍然能够解决某些特定领域的问题。例如大语言模型可以解答数学问题、辅助进行编程、甚至是进行问答等，其实都属于模型的涌现能力。作为概率模型，大语言模型甚至不知道数字代表的真实含义，模型只是在学习了无数的语料之后，发现了一些数学结论之间的潜在概率关系，才最终涌现出了数学运算或者复杂推理的能力。但是“涌现能力

Langchain·2025-03-13 18:15

揭秘Prompt Engineering 提示词工程（附学习文档）

PromptEngineering概览何为Prompt在自然语言处理领域，尤其是与大型语言模型（LLM）互动时，Prompt起着至关重要的作用。

LLM.·2025-03-13 18:43

LLM Weekly（2025.03.03-03.09）

网络新闻QwQ-32B：拥抱强化学习的力量。研究人员推出了QwQ-32B，这是一个拥有320亿参数的模型，它利用强化学习来提升推理能力。尽管参数较少，但通过整合类似智能体的推理和反馈机制，QwQ-32B的表现可与更大规模的模型相媲美。该模型可在HuggingFace平台上获取。**人工智能领域的先驱安德鲁·巴托（AndrewBarto）和理查德·萨顿（RichardSutton）因对强化学习的开创

UnknownBody·2025-03-13 16:29

第二十八个问题-Dify、RAG-Flow、FastGPT 核心特点对比

Dify、RAG-Flow、FastGPT核心特点对比以下基于搜索结果，从功能定位、技术架构、适用场景等维度总结三者的核心特点：1.Dify定位：开源的LLM应用开发平台，强调低代码与快速构建生成式AI

释迦呼呼·2025-03-13 15:18

开启AI开发新时代——全解析Dify开源LLM应用开发平台

开启AI开发新时代——全解析Dify开源LLM应用开发平台在人工智能迅速发展的今天，如何快速将创意转化为高效可用的应用成为开发者亟待解决的问题。

gs80140·2025-03-13 09:36

LLM - 白话AI Agent

文章目录一、AIAgent：让大模型从"思考者"变为"行动者"二、Agent的基本工作原理三、Agent系统的基本组成四、Agent面临最大的挑战五、Java版智能体实战：竞品分析助手一、AIAgent：让大模型从"思考者"变为"行动者"大模型已经非常强大，能够生成内容、回答问题甚至协助编程。那为什么我们还需要AIAgent？简单的说，大模型就像一个“超级大脑”，知识丰富、能力强大，但它的问题是“

小小工匠·2025-03-13 09:30

LLM填坑：训练自己的分词器-Tokenizer

说明：文本搬运以下文章，略微调整，有需求可参考原文。paper:https://zhuanlan.zhihu.com/p/625715830code:Chatterbox/example/TrainTokenizersExample/train_tokenizers.pyatmain·enze5088/Chatterbox·GitHubHuaggingface教程：

微风❤水墨·2025-03-13 08:53

LLM填坑：训练自己的分词器-Tokenizer 2

本文记录另外一个例子，例子中涉及如何手动配置config，实现与Huaggingface兼容。merges.txtmerges文件存放的是训练tokenizer阶段所得到的合并词表结果，就是tokenizer.json中，model.merges下的内容。tokenizer_config.json分词器的配置信息，定义了分词器的版本、额外添加的标记（tokens）、结构/代码和模型参数等信息，比如