LLM零碎知识

LLM 词汇表

Contextwindow“上下文窗口”是指语言模型在生成新文本时能够回溯和参考的文本量。这不同于语言模型训练时所使用的大量数据集，而是代表了模型的“工作记忆”。较大的上下文窗口可以让模型理解和响应更复杂和更长的提示，而较小的上下文窗口可能会限制模型处理较长提示或在长时间对话中保持连贯性的能力。Fine-tuning微调是使用额外的数据进一步训练预训练语言模型的过程。这使得模型开始表示和模仿微调数

落难Coder·2024-09-16 10:22

如何部分格式化提示模板:LangChain中的高级技巧

标题:如何部分格式化提示模板:LangChain中的高级技巧内容:如何部分格式化提示模板:LangChain中的高级技巧引言在使用大型语言模型(LLM)时,提示工程是一个关键环节。

nseejrukjhad·2024-09-16 09:49

【有啥问啥】刷爆各大榜单的Reflection 70B模型背后的错误自我纠正（Reflection-Tuning）技术解析：一种革新AI模型的方法

刷爆各大榜单的Reflection70B模型背后的错误自我纠正（Reflection-Tuning）技术解析：一种革新AI模型的方法在快速发展的AI领域，尤其是大型语言模型（LLM）的竞争中，错误自我纠正技术

Chauvin912·2024-09-15 15:32

HALTT4LLM：大型语言模型的幻觉检测指标

HALTT4LLM：大型语言模型的幻觉检测指标haltt4llmThisprojectisanattempttocreateacommonmetrictotestLLM'sforprogressineliminatinghallucinationswhichisthemostseriouscurrentprobleminwidespreadadoptionofLLM'sformanyrealpur

谢忻含Norma·2024-09-15 14:30

深度解析：如何使用输出解析器将大型语言模型（LLM）的响应解析为结构化JSON格式

深度解析：如何使用输出解析器将大型语言模型（LLM）的响应解析为结构化JSON格式在现代自然语言处理（NLP）的应用中，大型语言模型（LLM）已经成为了重要的工具。

m0_57781768·2024-09-15 13:41

深入探讨：如何在Python中通过LangChain技术精准追踪大型语言模型（LLM）的Token使用情况

深入探讨：如何在Python中通过LangChain技术精准追踪大型语言模型（LLM）的Token使用情况在现代的人工智能开发中，大型语言模型（LLM）已经成为了不可或缺的工具，无论是用于自然语言处理、

m0_57781768·2024-09-15 13:37

使用You.com API进行LLM输出的事实性增强

使用You.comAPI进行LLM输出的事实性增强引言大型语言模型(LLM)在生成人类可读的文本方面表现出色,但它们可能会产生过时或不准确的信息。

aehrutktrjk·2024-09-15 12:05

如何从大型语言模型(LLM)流式响应

引言随着大型语言模型(LLM)的不断发展,我们不仅能够获得高质量的文本生成结果,还可以实时观察模型生成文本的过程。

aehrutktrjk·2024-09-15 12:30

LLM 进展和前进道路

它还将检查当前可用的大型语言模型（LLM），包括其架构、调优参数、企业就绪情况、系统配置等，以深入了解其训练和推理过程。这种探索将使我们能够了解该领域的进展，并评估可用于商

晨曦_子画·2024-09-15 09:44

Upstage 将发布新一代 LLM “Solar Pro “预览版

SolarPro是最智能的LLM，经过优化可在单GPU上运行，性能超过微软、Meta和谷歌等科技巨头的模型。

吴脑的键客·2024-09-14 14:31

#LLM入门|Prompt#2.3_对查询任务进行分类|意图分析_Classification

在本章中，我们将重点探讨评估输入任务的重要性，这关乎到整个系统的质量和安全性。在处理不同情况下的多个独立指令集的任务时，首先对查询类型进行分类，并以此为基础确定要使用哪些指令，具有诸多优势。这可以通过定义固定类别和硬编码与处理特定类别任务相关的指令来实现。例如，在构建客户服务助手时，对查询类型进行分类并根据分类确定要使用的指令可能非常关键。具体来说，如果用户要求关闭其账户，那么二级指令可能是添加有

向日葵花籽儿·2024-09-14 12:16

OpenLM: 一个灵活的开源大语言模型接口工具

OpenLM:一个灵活的开源大语言模型接口工具引言在人工智能和自然语言处理快速发展的今天，大语言模型(LLM)已经成为许多应用的核心。

llzwxh888·2024-09-14 11:43

使用中专API实现AI模型调用与部署

在AI技术领域，如何调用和部署大语言模型（LLM）是一个常见的需求。

llzwxh888·2024-09-14 11:42

大模型框架：vLLM

它利用了全新的注意力算法「PagedAttention」，提供易用、快速、便宜的LLM服务。二、安装vLLM2.1使用GPU进行安装vLLM是一个Py

m0_37559973·2024-09-14 11:41

多模态大语言模型(MLLMs)-一般架构（非常详细）零基础入门到精通，收藏这一篇就够了

多模态大语言模型(MultimodalLargeLanguageModel,MLLM），在LLM原有的强大泛化和推理能力基础上，进一步引入了多模态信息处理能力。

程序员_大白·2024-09-14 11:40

使用 Apache Cassandra 实现 LLM 缓存：提升 AI 应用性能的实用指南

使用ApacheCassandra实现LLM缓存：提升AI应用性能的实用指南引言在当今的AI驱动的应用程序中，大语言模型（LLM）扮演着越来越重要的角色。

afTFODguAKBF·2024-09-14 09:58

反思的魔力：用语言的力量强化AI智能体

智能体的困境近年来，大型语言模型（LLM）在与外部环境（如游戏、编译器、API）交互的领域中大放异彩，化身为目标驱动的智能体。然而，传统的强化学习方法如同一位严苛的训练师，需要大

步子哥·2024-09-14 08:52

天下苦英伟达久矣！PyTorch官方免CUDA加速推理，Triton时代要来？

在做大语言模型（LLM）的训练、微调和推理时，使用英伟达的GPU和CUDA是常见的做法。在更大的机器学习编程与计算范畴，同样严重依赖CUDA，使用它加速的机器学习模型可以实现更大的性能提升。

诗者才子酒中仙·2024-09-14 04:56

RAG与LLM原理及实践(17)---Docker Redis & Python Usage

目录背景Redis环境download修改镜像RunRedisCodingpythonredisdownload基本使用描述完整代码运行结果高阶用法序列化的方式Snapshot与AOF快照（RDB）AOF（Append-OnlyFile）代码总结发布与订阅描述代码运行结果注意事项解释Transanction描述代码键空间描述开启python代码运行结果背景实际上，你会发现本专栏题目是RAG，Mil

PhoenixAI8·2024-09-13 17:49

RAG与LLM原理及实践(16)---RAG 前端技术Flask-socketIO

结合点实时数据更新与推送实时查询与响应安装使用完整案例说明后端python代码代码解释前端html代码JS代码代码解释总结背景构建RAG系统或别的系统时，如果后端采用的全Python，或者说是以python为主的系统，是很常见的一个选择，因为毕竟python对LLM

PhoenixAI8·2024-09-13 17:18

llm-universe学习小记录4--构建RAG应用

构建RAG应用一、将LLM接入LangChain1、基于LangChain调用ChatGPT2、使用LangChain调用百度文心一言3、使用LangChain调用讯飞星火4、使用LangChain调用智谱

Adela0546·2024-09-13 16:43

深度学习的零碎知识点

显卡内存什么是显卡内存简单来说就是，Windows会在物理显存/「专用GPU内存」不够用或只有集成显卡的情况下，将物理内存RAM当作GPU的虚拟显存/「共享GPU内存」来使用。什么是Windows「共享GPU内存」，它与VRAM有什么不同(sysgeek.cn)平常说的显卡内存就是【专用GPU内存】。如何查看内存大小Win10任务管理器中的"专用GPU内存"是怎么回事？“共享GPU内存”又是什么?

csdn_now·2024-09-13 13:50

大模型基础知识-LoRA与QLoRA

介绍LoRA与QLoRA1.LoRA(Low-RankAdaptation)LoRA是一种用于大规模语言模型(LLM)的参数高效微调技术，旨在减少微调大模型所需的计算资源和存储空间。

破壁者-燕·2024-09-13 03:12

HippoRAG如何从大脑获取线索以改进LLM检索

知识存储和检索正在成为大型语言模型(LLM)应用的重要组成部分。虽然检索增强生成(RAG)在该领域取得了巨大进步，但一些局限性仍然没有克服。

极道亦有道·2024-09-12 19:57

如何训练LLM自动在RAG和参数记忆之间进行选择

检索增强生成(RAG)管道使大型语言模型(LLM)能够在其响应中使用外部信息源。但是RAG应用程序为发送到LLM的每个请求检索额外的场景信息。

极道亦有道·2024-09-12 19:27

增强检索增强生成模型的可靠性和可追溯性

大型语言模型(LLM)表现出了卓越的能力，但也存在幻觉、缺乏领域适应性和缺乏持续学习等问题。当它们必须处理知识密集型任务时，这些问题更加明显。

RA AI衍生者训练营·2024-09-12 18:47

LLM大模型学习：LLM大模型推理加速

文Mia/叶娇娇推理优化部署、推理加速技术是现在，尤其在大模型时代背景之下，消费级GPU和边端设备仍为主流的状况下。推理加速是实际工程落地的首要考虑因素之一，今天笔者来聊聊涉及到的可以实现大模型推理加速的技术。目录一、模型优化技术二、模型压缩技术三、硬件加速四、GPU加速五、模型并行化和分布式计算技术一、模型优化学习常见的模型优化技术，如模型剪枝、量化、分片、蒸馏等，掌握相应的实现方法。1.1剪枝

七七Seven～·2024-09-12 17:45

大模型书籍推荐：从头开始构建一个大型语言模型（含PDF免费）《Build a Large Language Model (From Scratch)》

在这本富有洞察力的书中，畅销书作家塞巴斯蒂安·拉施卡（SebastianRaschka）将指导你逐步创建自己的LLM，用清晰的文字、图表和示例解释每个阶段。

AI女王·2024-09-12 15:58

本地部署大语言模型详细讲解

前言：本地部署大语言模型（LLM，LargeLanguageModel）需要相应的硬件资源和技术栈支持，如GPU计算能力、大量内存、存储空间，以及模型部署框架。

程序员小羊！·2024-09-12 04:25

LLM系列(4)：通义千问7B在Swift/DeepSpeed上微调秘诀与实战陷阱避坑指南

LLM系列(4)：通义千问7B在Swift/DeepSpeed上微调秘诀与实战陷阱避坑指南阿里云于2023年8月3日开源通义千问70亿参数模型，包括通用模型Qwen-7B以及对话模型Qwen-7B-Chat

汀、人工智能·2024-09-12 00:21

洞悉LangChain：LangChain工程化设计，从API到智能Agent的全面探索

当然也可以问一下AI：通义千问2.5：LangChain是一个开源框架，专注于简化开发者利用大型语言模型（LLM）创建应用程序的过程。这些大型语言模型，如GPT-3

汀、人工智能·2024-09-11 19:16

威斯康星大学教授的这本书把大模型（LLM）一次性讲明白了！

在当今人工智能技术飞速发展的时代，大型语言模型（LLM）作为聊天机器人、文本生成和理解等应用的核心，已经成为研究和商业领域关注的焦点。

AI小白龙*·2024-09-11 18:38

大模型算法岗，面试百问百答，7天3个offer拿到手！

1.RAG技术体系的总体思路数据预处理->分块（这一步骤很关键，有时候也决定了模型的效果）->文本向量化->query向量化->向量检索->重排->query+检索内容输入LLM->输出2.使用外挂知识库主要为了解决什

爱喝白开水a·2024-09-11 14:44

深度学习速通系列:LoRA微调是什么

LoRA微调（Low-RankAdaptation）是一种用于大型预训练语言模型（LLM）的高效微调技术。

Ven%·2024-09-11 11:47

LLAMA Factory: 简洁高效的大语言模型训练平台

LLAMAFactory:简洁高效的大语言模型训练平台LLaMA-Factory易于使用的LLM微调框架（LLaMA,BLOOM,Mistral,百川，Qwen,ChatGLM）。

俞纬鉴Joshua·2024-09-11 08:57

DayThirteen 笔记

returna.second>b.second;//从大到小排序}intmain（）{sort(danjia,danjia+n,cmp);}记录一个求幂函数的二分算法LLbineryPow(LLa,LLb,LLm

隔壁班胡胖胖·2024-09-11 02:17

llama.cpp本地部署大模型

llama.cpp是一个C++库，用于简化LLM推理的设置，它使得在本地机器上运行大模型（GGUF格式）成为可能。

张兆坤的那些事·2024-09-11 00:00

llm在网页中的流式输出（langchain与streamlit库）

一、手动进行流式输出llm本身是支持在终端流式输出的，以ollama为例llm=Ollama(base_url="http://localhost:11434",model="qwen",callback_manager

格瑞Lxf·2024-09-10 23:22

大模型LLM面试常见算法题-包括Attention和Transformer常见面试题

哪些因素会导致LLM的偏见？什么是思维链（CoT）提示？Tokenizer的实现方法及原理解释一下大模型的涌现能力？解释langchainAgent的概念langchain有哪些替代方案？

剑圣土豆·2024-09-10 15:57

深入解析五大 LLM 可视化工具：Langflow、Flowise、Dify、AutoGPT UI 和 AgentGPT

近年来，大语言模型（LLM）技术的迅猛发展推动了智能代理（Agent）应用的广泛应用。从任务自动化到智能对话系统，LLM代理可以极大简化复杂任务的执行。

花千树-010·2024-09-10 13:13

如何在5个步骤中编写更好的ChatGPT提示

在本文中，我将向你展示如何编写提示，激励驱动ChatGPT的大语言模型（LLM）提供最佳答案。另请参阅:自从ChatGPT问世以来，我测试了几十个AI聊天机器人。

AI脑极体·2024-09-10 08:15

llama_index 官方文档阅读笔记 (持续更新版)

llama0.10.17版本阅读链接:LlamaIndexv0.10.17LlamaIndex是一个基于LLM的应用程序的数据框架，它受益于上下文增强。

皮卡丘ZPC·2024-09-10 02:02

【论文速读】| SEAS：大语言模型的自进化对抗性安全优化

基本信息原文作者:MuxiDiao,RumeiLi,ShiyangLiu,GuogangLiao,JingangWang,XunliangCai,WeiranXu作者单位:北京邮电大学,美团关键词:大语言模型（LLM

云起无垠·2024-09-09 15:06

AI 内容创作：思考与实践

文章目录LLM与RAGLLMRAGRAG定制策略AI写作助手演示内容层次结构与内容深度优化有效的主题与段落结构内容深度的多样性与独特性提高文本逻辑性与连贯性模拟实践内容评测与优化迭代机制内容评测自动迭代优化机制评估指标模拟实践个性化写作与

三余知行·2024-09-09 00:22

GraphRAG入门:基本概念、应用场景及学习方法

有噪音或主题抽象的数据.二、GraphRAG能做什么GraphRAG能连接大量信息,回答普通难搜索难以解答的问题.她可以回答跨文档的问题,也能总结数据集的主要主题.三、GraphRAG的特点1.知识图谱提取:使用llm

学习中的程序媛~·2024-09-08 18:41

LLM系列 | 36：Google最新开源大模型：Gemma 2介绍及其微调(下篇)

引言环境安装数据准备下载处理模型训练模型inference结果gemma-2-9bgemma-2-9b-it引言低头观落日，引手摘飞星。小伙伴们好，我是微信公众号《小窗幽记机器学习》的小编：卖黑神话的小女孩。本文紧接前文Google最新开源大语言模型：Gemma2介绍及其微调(上篇)，介绍如何用中文语料微调Gemma2模型。如想与小编进一步交流，欢迎在《小窗幽记机器学习》上获取小编微信号，或者直接

JasonLiu1919·2024-09-08 18:10

基于云原生向量数据库 PieCloudVector 的 RAG 实践

然而AIGC依然面临一系列挑战，检索增强生成（RAG）技术作为LLM的一项重要补充被提出。本文将结合实例演示，和大家一起探索基于PieCloudVector的RAG实践。AIGC强调

OpenPie｜拓数派·2024-09-08 17:08

Transformer、BERT、GPT、T5、LLM（大语言模型），以及它们在实际行业中的运用

我们重点讨论以下几个主流模型框架：Transformer、BERT、GPT、T5、LLM（大语言模型），以及它们在实际行业中的运用。

Funhpc_huachen·2024-09-08 17:38

一文了解LangChain

LangChain是为我们开发基于大语言模型(LLM)的应用提供了框架，简单一点说：LangChain提供了一个标准接口，用于将不同的语言模型连接在一起，以及与其他工具和数据源进行集成。

程序员二飞·2024-09-08 03:27

大模型推理框架 RTP-LLM 架构解析

RTP-LLM是阿里巴巴智能引擎团队推出的大模型推理框架，支持了包括淘宝、天猫、闲鱼、菜鸟、高德、饿了么、AE、Lazada等多个业务的大模型推理场景。

阿里技术·2024-09-07 23:32

推荐频道