RAG 第9页

大模型 RAG 优化收集一

痛点1：文档切分粒度不好把控，既担心噪声太多又担心语义信息丢失问题1：如何让LLM简要、准确回答细粒度知识？问题2：如何让LLM回答出全面的粗粒度（跨段落）知识？分析：文档分割不够准确，导致模型有可能只回答了两点，而实际上是因为向量相似度召回的结果是残缺的。有人可能会问，那完全可以把切割粒度大一点，比如每10个段落一分。但这样显然不是最优的，因为召回片段太大，噪声也就越多。LLM本来就有幻觉问题，

fan_fan_feng·2024-01-21 08:47

大模型 RAG 面试篇

1.LLMs存在模型幻觉问题，请问如何处理？检索+LLM。先用问题在领域数据库里检索到候选答案，再用LLM对答案进行加工。2.基于LLM+向量库的文档对话思路是怎么样？加载文件读取文本文本分割文本向量化问句向量化在文本向量中匹配出与问句向量最相似的topk个匹配出的文本作为上下文和问题一起添加到prompt中提交给LLM生成回答3.基于LLM+向量库的文档对话核心技术是什么？基于LLM+向量库的文

fan_fan_feng·2024-01-20 19:48

手工微调embedding模型RAG检索能力

在RAG应用中，有一个我们可以去提升的环节就是——Embedding模型，我在之前的文章《大模型主流应用RAG的介绍——从架构到技术细节》也说过可以去微调embedding模型以便增强我们整体的检索能力

asd8705·2024-01-20 06:29

NVIDIA 大模型 RAG 分享笔记

文章目录大语言模型在垂直领域落地的三个挑战：什么是RAG以及为什么能解决大预言模型所带来的的这三个问题RAG不是一项技术而是整体的Pipeline非参数化：数据库部分加载到数据库中检索阶段提升检索效率的技术检索前

RessCris·2024-01-20 06:58

书生·浦语大模型实战营-学习笔记3

目录(3)基于InternLM和LangChain搭建你的知识库1.大模型开发范式（RAG、Fine-tune）RAG微调（传统自然语言处理的方法）2.LangChain简介（RAG开发框架）3.构建向量数据库

Kinno酱·2024-01-19 17:27

《向量数据库指南》RAG 应用中的指代消解——解决方案初探

其中，检索增强生成（Retrieval-augmentedgeneration，RAG）是一种针对知识密集型NLP任务的生成方法，它通过在生成过程中引入检索组件，从已知的知识库中检索相关信息，并将这些信息与

LCHub低代码社区·2024-01-19 15:30

用通俗易懂的方式讲解：基于 Langchain 框架，利用 MongoDB 矢量搜索实现大模型 RAG 高级检索方法

想象一下，你是一名侦探，身处庞大的信息世界，试图在堆积如山的数据中找到隐藏的一条重要线索，这就是检索增强生成（RAG）发挥作用的地方，它就像你在人工智能和语言模型世界中的可靠助手。

Python算法实战·2024-01-19 12:22

用通俗易懂的方式讲解：选择最佳的 Embedding 和重排序模型，提升大模型 RAG 效果特别明显！

在构建检索增强生成（RAG）Pipeline时，一个关键组件是Retriever。

Python算法实战·2024-01-19 12:21

Azure Machine Learning - 聊天机器人构建

此示例使用Python、AzureOpenAI服务和AzureAI搜索中的检索扩充生成（RAG）实现聊天应用，以获取虚构公司员工福利的解答。关注TechLead，分享AI全维度知识。作者拥有10

TechLead KrisChang·2024-01-19 06:51

大模型入门0: 基础知识

大模型0基础知识:transformer基础与NLP1参数量预估与scalinglaw2sft3RAG与langchain4prompt5rlhf6agent7分布式训练8推理优化9传统任务本文结构transformer

YueTann·2024-01-19 05:07

大语言模型LLM幻觉的解决方法：检索增强生成RAG

为了解决这些问题，检索增强生成（Retrieval-AugmentedGeneration,RAG）的概念应运而生。它是一个为大模

英智未来·2024-01-19 01:21

用通俗易懂的方式讲解：使用Llama-2、PgVector和LlamaIndex，构建大模型 RAG 全流程

其中RAG（RetrievalAugmentedGeneration，检索增强生成）是解决幻觉比较有效的方法。

Python算法实战·2024-01-18 21:33

Elasticsearch：聊天机器人教程（一）

在本教程中，你将构建一个大型语言模型(LLM)聊天机器人，该机器人使用称为检索增强生成(RAG)的模式。使用RAG构建的聊天机器人可以克服ChatGPT等通用会话模型所具有的一些限制。

Elastic 中国社区官方博客·2024-01-18 19:04

深度好文：最全的大模型 RAG 技术概览

本文是对检索增强生成（RetrievalAugmentedGeneration,RAG）技术和算法的全面研究，对各种方法进行了系统性的梳理。

深度学习算法与自然语言处理·2024-01-18 15:56

使用 Neo4j 和 LangChain 集成非结构化知识图增强 QA

目前基于大模型的信息检索有两种方法，一种是基于微调的方法，一种是基于RAG的方法。

深度学习算法与自然语言处理·2024-01-18 15:56

利用 LangChain 和 Neo4j 向量索引，构建一个RAG应用程序

Neo4j向量检索已成为检索增强生成(RAG)应用程序领域的关键工具，特别是在处理结构化和非结构化数据方面。LangChain库是构建大型语言模型(LLM)应用程序的重要框架。

深度学习算法与自然语言处理·2024-01-18 15:22

书生·浦语大模型实战营第三次课堂笔记

LLM的局限性知识时效性受限:如何让LLM能够获取最新的知识专业能力有限:如何打造垂域大模型定制化成本高:如何打造个人专属的LLM应用RAG:检索增强生成，核心思想：给大模型外挂一个知识库，对于用户的提问

Unicornlyy·2024-01-18 10:20

中国AIGC开发者大会：展望2024年大模型发展趋势，总结2023年大模型应用

2023年是大模型快速发展的一年，提示词工程、RAG知识库增强检索、AIAgent、微调等各种技术的迭代和发展，为大模型应用到实际场景降本增效起到了极大的促进作用，AIGC（生成式人工智能）成为新时代的宠儿

Souidc-hph·2024-01-17 21:11

使用 Elasticsearch 和 LlamaIndex 进行高级文本检索：句子窗口检索

2023年是检索增强生成(RAG)的一年，人们探索了许多用例，并使用该技术开发了数百种产品。从Q/A聊天机器人到基于上下文的代理，RAG的使用一直是LLM申请快速增长的主要因素。

Elastic 中国社区官方博客·2024-01-17 15:40

网易有道自研RAG引擎QAnything正式开放下载

昨日，网易有道宣布将自研的知识库问答引擎QAnything正式开源，除了可以调用云端大模型服务，还支持纯本地部署，所有用户可免费在开源社区Github内进行下载，一键部署即可使用。该系统目前支持word、ppt、excel、pdf、图片等多种文档格式，直接导入进去即可实现像"ChatGPT"一样问答。据了解，QAnything的主要原理是基于检索增强的生成（RetrievalAugmentedGe

CSDN资讯·2024-01-17 11:07

技术动态 | 知识图谱遇上RAG行业问答:回顾知识检索增强范式、挑战及与知识图谱的结合...

转载公众号|老刘说NLP今天我们来看看AIDD2023(https://aidd.vip/dhrc-sz2023)中有关知识图谱与行业问答上的一些有趣的分享，供大家一起参考。一、知识检索增强范式、拷问、评估与选型同济大学王昊奋老师的《知识增强大模型:垂域落地的最后一公里》报告中，很有启发性地介绍了知识增强大模型的一些思考，特别棒，择其中几个有趣的点，分享给大家。1、RAGvsFine-tuning

开放知识图谱·2024-01-17 11:46

LlamaIndex 官方发布高清大图，纵览高级 RAG技术

近日，Llamaindex官方博客重磅发布了一篇博文《ACheatSheetandSomeRecipesForBuildingAdvancedRAG》，通过一张图给开发者总结了当下主流的高级RAG技术，

Python算法实战·2024-01-17 11:57

用通俗易懂的方式讲解：大模型 RAG 在 LangChain 中的应用实战

Retrieval-AugmentedGeneration（RAG）是一种强大的技术，能够提高大型语言模型（LLM）的性能，使其能够从外部知识源中检索信息以生成更准确、具有上下文的回答。

Python算法实战·2024-01-17 11:56

用通俗易懂的方式讲解：一文讲清大模型 RAG 技术全流程

目录一、为什么业界普遍关注RAG？通俗易懂讲解大模型系列技术交流二、RAG技术要怎么干？

Python算法实战·2024-01-17 11:26

用通俗易懂的方式讲解：使用 LlamaIndex 和 Eleasticsearch 进行大模型 RAG 检索增强生成

检索增强生成（Retrieval-AugmentedGeneration，RAG）是一种结合了检索（Retrieval）和生成（Generation）的技术，它有效地解决了大语言模型（LLM）的一些问题

Python算法实战·2024-01-17 11:54

LLM大模型工程入门级知识初探

CodeInterpreter四、函数支持FunctionCall五、外部集成LangChain六、Embedding与向量数据库VectorDBEmbeddingSearch向量数据库VectorDB八、SFT、RLHF、RAG

无一郎的技术圈·2024-01-17 02:06

书生·浦语大模型--第三节课笔记--基于 InternLM 和 LangChain 搭建你的知识库

RAGLangChain框架：构建向量数据库构建检索问答链优化建议web部署实践部分环境配置大模型开发范式LLM的局限性：时效性（最新知识）、专业能力有限（垂直领域）、定制化成本高（个人专属）两种开发范式：RAG

李日音·2024-01-16 22:45

检索增强生成技术(RAG)深度优化指南：原理、挑战、措施、展望

ChatGPT、Midjourney等生成式人工智能（GenAI）在文本生成、文本到图像生成等任务中表现出令人印象深刻的性能。然而，生成模型也不能避免其固有的局限性，包括产生幻觉的倾向，在数学能力弱，而且缺乏可解释性。因此，提高他们能力的一个可行办法是让他们能够与外部世界互动，以不同的形式和方式获取知识，从而提高所生成内容的事实性和合理性。最近，出现了一些以检索增强生成（Retrieval-Aug

lichunericli·2024-01-16 20:58

Agent检索增强生成

检索增强生成(RAG)设计模式通常用于在特定数据域中开发大语言模型(LLM)应用。然而，RAG的过往的研究重点主要在于提高检索工具的效率，例如嵌入搜索、混合搜索和微调嵌入，而忽视了智能搜索。

lichunericli·2024-01-16 20:58

检索增强生成(RAG)技术创新进展：自我检索、重排序、前瞻检索、系统2注意力、多模态RAG

检索增强生成(RAG)提供了一种将ChatGPT/GPT-4等大型语言模型与自定义数据集成的途径，但存在局限性。让我们了解RAG最近的研究创新如何解决其中的一些问题。

lichunericli·2024-01-16 20:28

RAG基础功能优化、以及RAG架构优化

RAG基础功能优化对RAG的基础功能优化，我们要从RAG的流程入手[1]，可以在每个阶段做相应的场景优化。从RAG的工作流程看，能优化的模块有：文档块切分、文本嵌入模型、提示工程优化、大模型迭代。

lichunericli·2024-01-16 20:57

揭秘RAG与语义搜索的异同，你了解多少？

检索增强生成（RAG）和语义搜索都是自然语言处理领域的先进技术，但它们各自服务于不同的目的并以不同的方式运作。

wwlsm_zql·2024-01-16 14:06

RAG为什么是必不可少的？

检索增强生成（RAG）之所以重要，主要有以下几个关键原因，特别是在提高大型语言模型（LLM）如聊天机器人和其他自然语言处理应用的性能和可靠性方面：提高准确性和相关性：RAG使LLM能够访问和引用来自外部知识库的最新

wwlsm_zql·2024-01-16 14:06

RAG检索增强技术在知识库智能检索场景下的应用实践

如果你对这篇文章感兴趣，而且你想要了解更多关于AI领域的实战技巧，可以关注「技术狂潮AI」公众号。在这里，你可以看到最新最热的AIGC领域的干货文章和案例实战教程。一、知识检索增强的基本概述1.1、知识检索增强技术提出的背景1.1.1、LLM的缺陷知识检索增强技术的提出背景主要源于当前基于LLM（大规模语言模型）的知识检索存在诸多缺陷。首先，LLM往往存在幻觉现象，即在生成结果时可能出现与事实不符

技术狂潮AI·2024-01-16 14:31

RAG检索式增强技术是什么——OJAC近屿智能带你一探究竟

OJAC近屿智能·2024-01-16 14:30

如何优化大型语言模型，让AI回应更智能、更准确？

什么是检索增强生成（RAG)？检索增强生成（RAG）是一种优化大型语言模型输出的过程，它在生成回应之前会参考其训练数据源之外的权威知识库。

wwlsm_zql·2024-01-16 11:03

#RAG##AIGC#检索增强生成 (RAG) 基本介绍和入门实操示例

本文包括RAG基本介绍和入门实操示例RAG基本介绍通用语言模型可以进行微调以实现一些常见任务，例如情感分析和命名实体识别。这些任务通常不需要额外的背景知识。

向日葵花籽儿·2024-01-16 09:28

LLM之幻觉（二）：大语言模型LLM幻觉缓减技术综述

LLM幻觉缓减技术，如下图所示：LLM幻觉缓减技术值得注意的是：检索增强生成（RAG）知识检索（https://arxiv.org/abs/2307.03987）CoNLI（https://arxiv.org

wshzd·2024-01-16 09:21

LLM论文：ALCE （Enabling Large Language Models to Generate Text with Citations）

这是一篇RAG领域的文章，原文在这：https://aclanthology.org/2023.emnlp-main.398.pdf时间[Submittedon24May2023(v1),lastrevised31Oct2023

__心似大海__·2024-01-16 08:19

一文搞懂大模型RAG应用（附实践案例）

相对于成本昂贵的“PostTrain”或“SFT”，基于RAG的技术方案往往成为一种更优选择。本文从RAG架构入手，详细介绍相关技术细节，并附上一份实践案例。什么是RAG?

AIPHIL·2024-01-16 06:27

提示词prompt、RAG、Agent框架、微调Fine-tuning在实际应用中的落地选择

提示词的本质相当于text的填充，提示词的knowhow能力会扩展到RAG，提示词的指令遵循能力会扩展到FT微调。

lichunericli·2024-01-16 04:46

陪伴7.4

这边的鸳鸯双宿双飞，那边的少绾形单影只，赖在了折颜的十里桃林，别人喝酒是品的，她喝酒都是整坛整坛往肚里灌，任折颜怎么劝说都不停，折颜无奈，rag白真看着少绾，自己来了九重天，若这世上还有人能够劝得住少绾的

转角花开·2024-01-16 03:32

高级检索增强生成技术(RAG)全面指南：原理、分块、编码、索引、微调、Agent、展望

ChatGPT、Midjourney等生成式人工智能（GenAI）在文本生成、文本到图像生成等任务中表现出令人印象深刻的性能。然而，生成模型也不能避免其固有的局限性，包括产生幻觉的倾向，在数学能力弱，而且缺乏可解释性。因此，提高他们能力的一个可行办法是让他们能够与外部世界互动，以不同的形式和方式获取知识，从而提高所生成内容的事实性和合理性。检索增强生成（Retrieval-AugmentedGen

lichunericli·2024-01-15 21:52

微调您的Embedding模型以最大限度地提高RAG管道中的相关性检索

英文原文地址：https://betterprogramming.pub/fine-tuning-your-embedding-model-to-maximize-relevance-retrieval-in-rag-pipeline

lichunericli·2024-01-15 21:51

大模型听课笔记——书生·浦语（3）

InternLM和LangChain搭建你的知识库LLM具有许多有点，但同样也有着局限性：知识时效性受限专业能力有限定制化成本高1针对上述问题，现在常用的大语言模型范式(检索增强生成VS微调)2本节课主要围绕RAG

亲爱的阿基米德^·2024-01-15 21:42

【搭建个人知识库-3】

搭建个人知识库-31大模型开发范式1.1RAG原理1.2LangChain框架1.3构建向量数据库1.4构建知识库助手1.5WebDemo部署2动手实践2.1环境配置2.2知识库搭建2.2.1数据收集2.2.2

中古传奇·2024-01-15 17:31

忘记RAG，未来是RAG-Fusion

英文原文地址：https://towardsdatascience.com/forget-rag-the-future-is-rag-fusion-1147298d8ad1忘记RAG，未来是RAG-Fusion

lichunericli·2024-01-15 08:56

书生·浦语大模型实战营笔记（三）

RAG：检索增强生成外挂知识库，对用户的问题首先从知识库中找到相关回答，再把问题和回答交给大模型，可以提高知识储备特点：可实时更新，新知识只要放到知识库中即可，较简单Finetune：微调对于新的数据集

三省斋主·2024-01-15 07:45

用python提取PDF中各类文本内容的方法

从PDF文档中提取信息，是很多类似RAG这样的应用第一步要处理的事情，这里需要做好三件事：提取出来的文本要保持信息完整性，也就是准确性提出的结果需要有附加信息，也就是要保存元数据提取过程要完成自动化，也就是流程化然而

lichunericli·2024-01-15 07:56

高级检索增强生成技术(RAG)全面指南：原理、分块、编码、索引、微调、Agent、展望...

来自：旺知识ChatGPT、Midjourney等生成式人工智能（GenAI）在文本生成、文本到图像生成等任务中表现出令人印象深刻的性能。然而，生成模型也不能避免其固有的局限性，包括产生幻觉的倾向，在数学能力弱，而且缺乏可解释性。因此，提高他们能力的一个可行办法是让他们能够与外部世界互动，以不同的形式和方式获取知识，从而提高所生成内容的事实性和合理性。检索增强生成（Retrieval-Augmen

zenRRan·2024-01-15 05:28

推荐频道

RAG

大模型 RAG 优化 收集一