RAG 第12页

LLM Agent之再谈RAG的召回多样性优化

1.Query多样性2019QueryExpansionTechniquesforInformationRetrieval:aSurvey传统搜索Query的扩展，有基于用户搜索日志挖掘的相似Query，有基于相同召回文档关联的相似Query，也有基于SMT的Query改写方案。那和大模型时代更搭配的自然是改写方案，LLM的加持很大程度上降低了Query改写的难度，也为改写提供了更多的可能性。1.

人工智能小豪·2024-01-06 00:10

LLM之RAG理论（四）| RAG高级数据索引技术

一、简单RAG架构快速概览在2023年年初，我的主要关注点集中在VectorDB及其在更广泛的设计领域中的表现上。然而，随着2023年的收尾，这一领域出现了重大进展。

wshzd·2024-01-05 12:24

自然语言转SQL，一个微调ChatGPT3.5的实例(上)--训练数据准备

然而，由于最先进的LLM尚未开放进行微调，因此最近在这一领域的研究集中在创建能够在不修改基础LLM的情况下实现复杂的自然语言到SQL（NL-to-SQL）场景的检索增强生成（RAG）算法。

数大招疯·2024-01-05 08:36

LLM 幻觉现象及 RAG 解决方案

tensorflow1.12版本有xxx这个api么”,模型回答“有”,其实没有.原因训练语料质量低,本身有错误答案存在.LLM的训练并不关注“事实是否正确”,自然不能保证生成答案一定符合事实.推断期间引入错误,2.RAG

yichudu·2024-01-04 16:45

吴恩达最新短课，知识很硬核，附中英字幕

机器学习算法与Python实战·2024-01-03 07:22

【LLM-RAG】知识库问答 | 检索 | embedding

noteRAG流程（写作论文中的background：公式设定、emb、召回内容、召回基准）（工作中的思路：嵌入模型、向量存储、向量存储检索器、LLM、query改写、RAG评测方法）仅为个人关于RAG

山顶夕景·2024-01-01 16:07

RAG LLM App开发实战

基于检索增强生成（RAG：RetrievalAugmentedGeneration）的LLM应用程序解决了这个确切的问题，并将LLM的实用性扩展到我们的

xiangzhihong8·2024-01-01 16:44

高级RAG(三)：llamaIndex从小到大的检索

在上一篇博客：父文档检索器中我们介绍了langchain中的两种父文档检索方式即：“检索完整文档”和“检索较大的文档块”。今天我们要介绍llamaIndex中与langchain的父文档检索有点相似的检索方法即“从小到大的检索”。一、LlamaIndex简介LlamaIndex是一个用于连接大语言模型（LLMs）和外部数据源的数据框架，它可以让LLMs访问和利用私有或领域特定的数据。LlamaIn

-派神-·2024-01-01 12:41

高级RAG(二)：父文档检索器

在我之前写的>系列博客中，我们介绍了利用大型语言模型LLM来检索文档时的过程和步骤，如下图所示：我们在检索文档之前，通常需要对文档进行切割，然后将其存入向量数据库如下图所示：当我们在使用langchain框架做文档切割时传统的做法是使用像CharacterTextSplitter,RecursiveCharacterTextSplitter这样的文档分割器将文档按指定的块大小(chunk_size

-派神-·2024-01-01 12:40

使用python快速开发与PDF文档对话的Gemini聊天机器人

检索增强生成(Retrieval-augmentedgeneration，RAG)使得我们可以让大型语言模型(LLMs)访问外部知识库数据(如pdf,word、text等)，从而让人们可以更加方便的通过

-派神-·2024-01-01 12:08

Langchain-Chatchat开源库使用的随笔记（一）

最近核心探索的是知识库的使用，其中关于文档如何进行分块的详细，可以参考笔者的另几篇文章：大模型RAG场景、数据、应用难点与解决（四）RAG分块Chunk技术优劣、技巧、方法汇总（五）原项目地址：Langchain-ChatchatWIKI

悟乙己·2024-01-01 06:19

AI 开发必看的 6 款开源矢量数据库

矢量数据库专为此目的而设计，为检索增强生成（RAG）应用程序、推荐系统和

codingpy·2023-12-31 06:59

一文带你了解大模型的RAG(检索增强生成) | 概念理论介绍+ 代码实操（含源码）

针对大型语言模型效果不好的问题，之前人们主要关注大模型再训练、大模型微调、大模型的Prompt增强，但对于专有、快速更新的数据却并没有较好的解决方法，为此检索增强生成（RAG）的出现，弥合了LLM常识和专有数据之间的差距

机器学习社区·2023-12-31 00:36

LLM之RAG实战（十）| 如何构建一个RAG支持的聊天机器人，包括聊天、嵌入和重排序

在这篇博客文章中，我们将深入研究创建一个RAG支持的聊天机器人，该聊天机器人利用先进的NLP模型进行聊天、嵌入和重新排序，并使用hnswlib进行高效的文档检索。

wshzd·2023-12-30 20:19

LLM之RAG理论（三）| 高级RAG技术全面汇总

检索增强生成（Retrieval-AugmentedGeneration，又称RAG）通过检索LLMs之外的数据源来支持其生成答案。

wshzd·2023-12-30 20:49

LLM之RAG实战（九）| 高级RAG 03：多文档RAG体系结构

在RAG（检索和生成）这样的框架内管理和处理多个文档有很大的挑战。关键不仅在于提取相关内容，还在于选择包含用户查询所寻求的信息的适当文档。

wshzd·2023-12-30 20:49

LLM之RAG实战（十一）| 使用Mistral-7B和Langchain搭建基于PDF文件的聊天机器人

在本文中，使用LangChain、HuggingFaceEmbeddings和HuggingFace的Mistral-7BLLM创建一个简单的Python程序，可以从任何pdf文件中回答问题。一、LangChain简介LangChain是一个在语言模型之上开发上下文感知应用程序的框架。LangChain使用带prompt和few-shot示例的LLM来提供相关响应和推理。LangChain擅长文档

wshzd·2023-12-30 20:17

「悦数图数据库」获 2023 年度 IT168 创新解决方案奖标题】

图技术结合大模型技术，未来新方向RAG，即Retrieval-AugmentedGeneration，是一种结合了信息检索与生成模型的技术。

悦数图数据库·2023-12-29 10:04

一文讲清楚检索增强生成（RAG）

文章目录什么是检索增强生成？逆向工作：为大语言模型提供额外的知识来回答问题通过系统提示给出LLM自定义指令为LLM提供特定的知识来源将所有内容放在一起并提出问题检索步骤：从您的知识库中获取正确的信息什么是嵌入？它们与知识检索有什么关系？使用嵌入找到最好的知识片段为您的知识库建立索引回顾整个过程推荐阅读Howdodomain-specificchatbotswork?AnOverviewofRetr

早睡身体好呀·2023-12-27 15:36

大模型应用_PrivateGPT

https://github.com/imartinez/privateGPT1功能整体功能，想解决什么问题搭建完整的RAG系统，与FastGPT相比，界面比较简单。

xieyan0811·2023-12-24 19:15

大模型工具_QUIVR

https://github.com/StanGirard/quivr/24.5KStar1功能整体功能，想解决什么问题实现了前后端结合的RAG方案。构建能直接使用的应用。

xieyan0811·2023-12-24 19:13

向量数据库的介绍

我们做了很多期关于大模型的内容了但是不论是检索增强生成RAG还是代理Agent几乎每个大语言模型驱动的应用程序都可能会用到向量数据库那么，究竟什么是向量数据库它与传统数据库有何不同我们又该如何选择向量数据库呢

韫秋鱼线·2023-12-24 14:52

RasaGPT对话系统的工作原理

RasaGPT结合了Rasa和Langchain这2个开源项目，当超出Rasa现有意图(out_of_scope)的时候，就会执行ActionGPTFallback，本质上就是利用Langchain做了一个RAG

NLP工程化·2023-12-24 10:26

微软推出了GPT-RAG：这是一个机器学习库，为在Azure OpenAI上使用RAG模式生产部署大型语言模型（LLMs）提供了企业级参考架构

订阅：https://rengongzhineng.io/去试试https://github.com/Azure/GPT-RAG随着AI的飞速发展

新加坡内哥谈技术·2023-12-23 11:27

LLM微调（四）| 微调Llama 2实现Text-to-SQL，并使用LlamaIndex在数据库上进行推理

所有这些都意味着，对于从RAG系统到Agent的复杂LLM应用

wshzd·2023-12-23 09:57

LLM之RAG实战（六）| 高级RAG 02：选择最佳embedding和重排序模型

在构建检索增强生成（RAG）Pipeline时，一个关键组件是Retriever。

wshzd·2023-12-23 09:27

LLM之RAG实战（七）| 使用llama_index实现多模态RAG

一、多模态RAGOpenAI开发日上最令人兴奋的发布之一是GPT-4VAPI（https://platform.openai.com/docs/guides/vision）的发布。GPT-4V是一个多模态模型，可以接收文本/图像，并可以输出文本响应。最近还有一些其他的多模态模型：LLaVa和Fuyu-8B。在过去的一年里，大部分应用程序开发都是围绕文本输入/文本输出范式。最典型的例子之一是检索增强

wshzd·2023-12-23 09:27

LLM之RAG实战（八）| 使用Neo4j和LlamaIndex实现多模态RAG

人工智能和大型语言模型领域正在迅速发展。一年前，没有人使用LLM来提高生产力。时至今日，很难想象我们大多数人或多或少都在使用LLM提供服务，从个人助手到文生图场景。由于大量的研究和兴趣，LLM每天都在变得越来越好、越来越聪明。不仅如此，他们的理解也开始跨越多种模态。随着GPT-4-Vision和随后的其他LLM的引入，今天的LLM似乎可以很好地处理和理解图像。以下是ChatGPT描述图像中内容的一

wshzd·2023-12-23 09:55

5 分钟内搭建一个免费问答机器人：Milvus + LangChain

只需借助开源的RAG技术栈、LangChain以及好用的向量数据库Milvus。必须要强调的是，该问答机器人的成本很低，因为我们在召回、评估和开发迭代的过程中不需要调用大语言模型API。

Zilliz Planet·2023-12-22 11:36

“文思助手”苏哒智能加入飞桨技术伙伴计划，共同打造“大模型+企业办公”新模式

苏哒智能的核心技术包括大模型检索增强生成RAG、行业预训练模型、多模态文档智能

飞桨PaddlePaddle·2023-12-20 14:34

RAG落地实践、AI游戏开发、上海·深圳·广州线下工坊启动！星河社区重磅周

飞桨星河社区在成立的5年以来，已汇集660+万AI开发者，覆盖深度学习初学者、在职开发者、企业开发者、高校教师、创业者等，已成为AI领域最具影响力的社区之一，无论是AI爱好者还是AI开发者，都能在这里探索AI的无限可能。飞桨星河社区五周年活动，为期1个月，共设置7大线上动手实践、13场技术干货直播、全国8城线下工坊。上周五周年活动获得热烈反响！AutoGen解析、插件开发2场直播干货爆表，星河多人

飞桨PaddlePaddle·2023-12-20 14:33

WebLangChain_ChatGLM：结合 WebLangChain 和 ChatGLM3 的中文 RAG 系统

WebLangChain_ChatGLM介绍本文将详细介绍基于网络检索信息的检索增强生成系统，即WebLangChain。通过整合LangChain，成功将大型语言模型与最受欢迎的外部知识库之一——互联网紧密结合。鉴于中文社区中大型语言模型的蓬勃发展，有许多可供利用的开源大语言模型。ChatGLM、Baichuan、Qwen等大语言模型针对中文交互场景进行了优化，以提升其对中文理解和问答的能力。所

kebijuelun·2023-12-20 12:10

RAG（检索增强生成）技术

1.基本概念检索增强LLM(RetrievalAugmentedLLM)，简单来说，就是给LLM提供外部数据库，对于用户问题(Query)，通过一些信息检索(InformationRetrieval,IR)的技术，先从外部数据库中检索出和用户问题相关的信息，然后让LLM结合这些相关信息来生成结果。下图是一个检索增强LLM的简单示意图。传统的信息检索工具，比如Google/Bing这样的搜索引擎，只

IT斜杆青年·2023-12-19 15:18

如何提高RAG增强的准确性

在一个典型的RAG应用开发中，必要的步骤为文档加载，文档拆分，向量化，向量存储。然后基于向量存储进行相似性查询，或基于向量距离的查询。这类查询就叫检索，LangChain所提供的对应组件就是检索器。

summermoonlight·2023-12-18 07:32

Re59：读论文 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

博文目录诸神缄默不语的论文阅读笔记和分类论文名称：Retrieval-AugmentedGenerationforKnowledge-IntensiveNLPTasks模型开源地址：https://huggingface.co/facebook/rag-token-nqArXiv

诸神缄默不语·2023-12-17 15:40

Elasticsearch：使用 OpenAI 生成嵌入并进行向量搜索 - nodejs

在我之前的文章：Elasticsearch：使用OpenAI和Langchain的RAG-RetrievalAugmentedGeneration（一）（二）（三）（四）我详细地描述了如何使用LangChain

Elastic 中国社区官方博客·2023-12-17 04:19

Re58：读论文 REALM: Retrieval-Augmented Language Model Pre-Training

Retrieval-AugmentedLanguageModelPre-Training模型名称：Retrieval-AugmentedLanguageModelpre-training(REALM)本文是2020年ICML论文，作者来自谷歌，关注RAG

诸神缄默不语·2023-12-17 02:41

疯狂SQL转换系列- SQL for Tencent Cloud VectorDB

对腾讯云向量数据库的支持，主要是为了给LLM的RAG(检索增

colorknight·2023-12-16 21:29

改进了编排控制并增强了推理的可视性，Agents for Amazon Bedrock 现已上市

他们使用开发人员提供的指令创建编排计划，然后通过调用公司API和使用检索增强生成（RAG

亚马逊云开发者·2023-12-16 13:36

Mistral AI发布行业领先的Mixtral 8x7B专家混合模型&完成4.15亿美元融资

他们在多模态、检索增强生成（RAG）等大模型突破方向有着丰富经验，有理由期待MistralAI的下一代新模型成为gamechanger的潜力。企业端使用LLM时考虑的不仅

技术狂潮AI·2023-12-16 13:00

AnythingLLM：基于RAG方案构专属私有知识库（开源｜高效｜可定制）

而现阶段切入大模型应用落地最合适的方案依然是结合大模型基于RAG检索增强来实现知识库的检索和生存。从而构建个人或者企业私有化的本地

技术狂潮AI·2023-12-16 13:26

LLM之Agent（六）| 使用AutoGen、LangChian、RAG以及函数调用构建超级对话系统

函数调用和Agent有各种组合，在这里我们将通过函数调用调用RAG检索增强生成机制，并使用结果生成输出。

wshzd·2023-12-16 02:17

【NLP】RAG 应用中的调优策略

本文通过数据科学家的视角审视检索增强生成（RAG）管道。它讨论了您可以尝试提高RAG管道性能的潜在“超参数”。

Sonhhxg_柒·2023-12-15 19:31

国内AI著作权侵权第一案；大模型3D可视化网站也太酷了；RAG从架构到技术细节；AI一年，人间十年；通义千问AI挑战赛；算法可视化网站 | ShowMeAI日报

日报&周刊合集|生产力工具与行业应用大全|点赞关注评论拜托啦！AI生成图片著作权侵权第一案判了！这个案件与你我都有关原告李某使用AI生成涉案图片后发布于小红书平台；被告刘某在百家好发文配图时使用了原告该AI生成的图片，并截掉了署名水印。原告起诉要求被告道歉并进行经济赔偿。这个案件被称为「AI生成图片相关领域著作权第一案」，自3月份以来一直备受关注。「AI生成的图片是否受到著作权法的保护」这个问题，

ShowMeAI·2023-12-15 19:06

HuggingFists-低代码玩转LLM RAG(2) --Query

首先我们回顾一下RAG的结构，如下图：基于向量数据库的RAG结构图我们在上篇文章中介绍了如何使用HuggingFists实现结构图右半部分的文档向量化入库的过程。

colorknight·2023-12-15 10:15

LangChain 24 对本地文档的搜索RAG检索增强生成Retrieval-augmented generation

LangChain系列文章LangChain实现给动物取名字，LangChain2模块化prompttemplate并用streamlit生成网站实现给动物取名字LangChain3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain4用向量数据库Faiss存储，读取YouTube的视频文本搜索IndexesforinformationretrieveLangC

AI架构师易筋·2023-12-15 08:44

LLM之RAG实战（四）：Self-RAG如何革命工业LLM

论文地址：https://arxiv.org/pdf/2310.11511.pdfGithub地址：https://github.com/AkariAsai/self-rag尽管LLM（大型语言模型）的模型和数据规模不断增加

wshzd·2023-12-15 05:01

LLM之RAG实战（二）：使用LlamaIndex + Metaphor实现知识工作自动化

检索增强生成（RAG）系统可以将LLM与静态知识源上的外部存储解决方案相结合。RAG通常需要两个核心组件：通用抽象，允许LLM以“读取”和“写入”的方式智能地对数据执行各种任务；一个适合LLM

wshzd·2023-12-05 21:35

LLM Agent之再谈RAG的召回多样性优化

几个月前我们就聊过RAG的经典方案解密Prompt系列14.LLMAgent之搜索应用设计。

液态不合群·2023-12-05 05:37

PyLMKit(5):基于网页知识库的检索增强生成RAG

基于网页知识库的检索增强生成RAG0.项目信息日期：2023-12-2作者：小知课题:RAG（Retrieval-AugmentedGeneration，检索增强生成）是一种利用知识库检索的方法，提供与用户查询相关的内容

txhy2018·2023-12-04 09:10

推荐频道

RAG

LLM Agent之再谈RAG的召回多样性优化

LLM之RAG理论（四）| RAG高级数据索引技术

自然语言转SQL，一个微调ChatGPT3.5的实例(上)--训练数据准备

LLM 幻觉现象及 RAG 解决方案

吴恩达最新短课，知识很硬核，附中英字幕

【LLM-RAG】知识库问答 | 检索 | embedding

RAG LLM App开发实战

高级RAG(三)：llamaIndex从小到大的检索

高级RAG(二)：父文档检索器

使用python快速开发与PDF文档对话的Gemini聊天机器人

Langchain-Chatchat开源库使用的随笔记（一）

AI 开发必看的 6 款开源矢量数据库

一文带你了解大模型的RAG(检索增强生成) | 概念理论介绍+ 代码实操（含源码）

LLM之RAG实战（十）| 如何构建一个RAG支持的聊天机器人，包括聊天、嵌入和重排序

LLM之RAG理论（三）| 高级RAG技术全面汇总

LLM之RAG实战（九）| 高级RAG 03：多文档RAG体系结构

LLM之RAG实战（十一）| 使用Mistral-7B和Langchain搭建基于PDF文件的聊天机器人

「悦数图数据库」获 2023 年度 IT168 创新解决方案奖标题】

一文讲清楚检索增强生成（RAG）

大模型应用_PrivateGPT

大模型工具_QUIVR

向量数据库的介绍

RasaGPT对话系统的工作原理

微软推出了GPT-RAG：这是一个机器学习库，为在Azure OpenAI上使用RAG模式生产部署大型语言模型（LLMs）提供了企业级参考架构

LLM微调（四）| 微调Llama 2实现Text-to-SQL，并使用LlamaIndex在数据库上进行推理

LLM之RAG实战（六）| 高级RAG 02：选择最佳embedding和重排序模型

LLM之RAG实战（七）| 使用llama_index实现多模态RAG

LLM之RAG实战（八）| 使用Neo4j和LlamaIndex实现多模态RAG

5 分钟内搭建一个免费问答机器人：Milvus + LangChain

“文思助手”苏哒智能加入飞桨技术伙伴计划，共同打造“大模型+企业办公”新模式

RAG落地实践、AI游戏开发、上海·深圳·广州线下工坊启动！星河社区重磅周

WebLangChain_ChatGLM：结合 WebLangChain 和 ChatGLM3 的中文 RAG 系统

RAG（检索增强生成）技术

如何提高RAG增强的准确性

Re59：读论文 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

Elasticsearch：使用 OpenAI 生成嵌入并进行向量搜索 - nodejs

Re58：读论文 REALM: Retrieval-Augmented Language Model Pre-Training

疯狂SQL转换系列- SQL for Tencent Cloud VectorDB

改进了编排控制并增强了推理的可视性，Agents for Amazon Bedrock 现已上市

Mistral AI发布行业领先的Mixtral 8x7B专家混合模型&完成4.15亿美元融资

AnythingLLM：基于RAG方案构专属私有知识库（开源｜高效｜可定制）

LLM之Agent（六）| 使用AutoGen、LangChian、RAG以及函数调用构建超级对话系统

【NLP】RAG 应用中的调优策略

国内AI著作权侵权第一案；大模型3D可视化网站也太酷了；RAG从架构到技术细节；AI一年，人间十年；通义千问AI挑战赛；算法可视化网站 | ShowMeAI日报

HuggingFists-低代码玩转LLM RAG(2) --Query

LangChain 24 对本地文档的搜索RAG检索增强生成Retrieval-augmented generation

LLM之RAG实战（四）：Self-RAG如何革命工业LLM

LLM之RAG实战（二）：使用LlamaIndex + Metaphor实现知识工作自动化

LLM Agent之再谈RAG的召回多样性优化

PyLMKit(5):基于网页知识库的检索增强生成RAG