rag

RAG 新路径！提升开发效率、用户体验拉满

RAG（Retrieval-AugmentedGeneration）框架结合了强大的信息检索能力和生成模型的能力，允许系统从海量数据中检索相关信息，并基于这些信息生成准确、丰富的回答。
·2024-02-11 18:21

Code Review、InLineChat、RAG全部独家提供，这波上新CodeGeeX平替Github Copilot稳了！

智谱AI2024年度的技术开放日上，CodeGeeX重磅发布第三代模型。针对CodeGeeX插件产品的系列新功能，也同时上线发布，提供给用户免费使用。一、第三代模型性能全面提升CodeGeeX第三代模型正式发布，基础能力全面提升。针对Python、Java、JavaScript、C++、Golang五种主流编程语言，代码生成准确率提升200%。二、自定义系统指令CodeGeeX3代模型中，用户可以
·2024-02-11 18:38

使用UMAP降维可视化RAG嵌入

检索增强生成（RAG）在LLMS的工作流程中添加了一个检索步骤，使其能够在响应查询时从其他来源（如私人文本文档）中查询相关数据。这些文档事先分成小段，然后使用embedding
·2024-02-11 17:42

LLM之RAG实战（二十五）| 使用LlamaIndex和BM25重排序实践

本文，我们将研究高级RAG方法的中的重排序优化方法以及其与普通RAG相比的关键差异。一、什么是RAG？检索增强生成（RAG）是一种复杂的自然语言处理方法，它包括两个不同的步骤：信息检索和生成语言建模。
wshzd·2024-02-11 06:03

LLM之RAG实战（二十四）| LlamaIndex高级检索（三）：句子窗口检索

这是本系列关于高级检索技术的第三篇文章，之前的两篇分别介绍构建基本的RAG和父文档检索技术，本文我们将深入研究句子窗口检索技术。
wshzd·2024-02-11 06:02

LLM之RAG实战（二十六）| 使用llamaindex-cli无需一行代码即可实现RAG

本文将介绍一个无需一行代码即可实现RAG的开源工具：llamaindex-cli，该工具是基于llama-index实现的，并采用默认向量数据库Chroma，因此首先需要进行如下安装：pipinstallllama-indexpipinstallchromadbStep1
wshzd·2024-02-11 06:32

微调LLM或使用RAG，开发RAG管道的12个痛点

论文地址：archive.is/bNbZo·PainPoint1:MissingContent内容缺失·PainPoint2:MissedtheTopRankedDocuments错过排名靠前的文档·PainPoint3:NotinContext—ConsolidationStrategyLimitations不在上下文中—整合战略的局限性·PainPoint4:NotExtracted未提取·P
lichunericli·2024-02-10 05:37

每日一看大模型新闻（2023.12.20下）大模型+搜索构建完整技术栈，百川智能搜索增强给企业定制化下了一剂「猛药」；谷歌发布最重要23个产品时刻，其中15个有关AI；微软Azure发布GPT-RAG

1.产品发布1.1谷歌发布新大语言模型：零样本生成10秒视频达SOTA！发布日期：2023.12.20谷歌发布新大语言模型：零样本生成10秒视频达SOTA！网友：压力给到Runway/Pika主要内容：谷歌最新发布的大语言模型VideoPoet，能够实现零样本生成视频。该模型不仅没有使用常见的扩散模型，而且画面稳定、动作逼真，清晰度也大幅提升。VideoPoet具备多种能力，包括文本-视频、图像-
超爱玩大模型·2024-02-09 22:19

基于 InternLM 和 LangChain 搭建你的知识库

第三节课《基于InternLM和LangChain搭建你的知识库》主要讲述了如何使用RAG（检索增强生成器）范式和LangChain开源框架建立知识库应用。
查里王·2024-02-09 02:30

只需三步，搭建基于知识库的专属ChatGPT

只需三步，搭建基于知识库的专属ChatGPTMetaAI的研究人员引入了一种叫做检索增强生成（RetrievalAugmentedGeneration，RAG）的方法来完成知识密集型的任务。
明月出天山_·2024-02-08 20:01

LLM大语言模型（六）：RAG模式下基于PostgreSQL pgvector插件实现vector向量相似性检索

目录HightLightMac上安装PostgreSQLDBever图形界面管理端创建DB使用向量检索vector相似度计算近似近邻索引HNSW近似近邻索引示例HightLight使用PostgreSQL来存储和检索vector，在数据规模非庞大的情况下，简单高效。可以和在线业务共用一套DB，减少其他组件的引入，降低复杂度，在业务初期可以极大的提升效率。Mac上安装PostgreSQL强烈建议使用
Hugo Lei·2024-02-08 15:24

部分意图分类【LLM+RAG】

我们将意图分类和LLM与检索增强生成（RAG）系统的这种交织视为“部分意图分类”。这种实践及其背后的故事表明，对于人工智能专业
新缸中之脑·2024-02-07 12:47

《AI 大模型全栈工程师》学习笔记1 - 大模型应用的技术架构

目录1前言1.1课程链接1.2名词解释&前置知识2大模型应用的技术架构2.1Prompt-Response架构2.2Agent+FunctionCalling架构2.3RAG（Retrieval-AugmentedGeneration
coffee_baba·2024-02-07 09:37

Elasticsearch：BM25 及 使用 Elasticsearch 和 LangChain 的自查询检索器

在这个例子中：我们将摄取LangChain之外的电影样本数据集自定义ElasticsearchStore中的检索策略以仅使用BM25使用自查询检索将问题转换为结构化查询使用文档和RAG策略来回答问题安装如果你还没有安装好自己的
Elastic 中国社区官方博客·2024-02-07 04:23

Embedchain聊天机器人开发简明教程【开源RAG框架】

你在考虑开发聊天机器人吗？在本教程中，我们将引导你完成使用Embedchain框架构建ChatBot的步骤。Embedchain库提供了用于开发可针对不同领域进行定制的聊天机器人的适应性基础设施。在本课程中，我们将集中精力开发Audi聊天机器人。我们将详细介绍安装Embedchain库、设置OpenAIAPI密钥、构建聊天机器人实例、为其提供训练资源，以及向聊天机器人询问问题以获得答案。NSDT工
新缸中之脑·2024-02-07 01:39

LLM Agents 的细分技术

2.1RAG：知识，记忆与技能库2.1.1RAG简介RAG的核心思想就是将传统的语言生成模型（如GPT系列）与一个检索系统相结合，在处理一个输入时，RAG首先使用检索系统从一个大规模的文档集合中检索出相关的文本片段
lichunericli·2024-02-06 13:53

为什么先进的RAG方法对AI的未来至关重要?

检索增强生成（RAG）是生成式人工智能领域的一大进步，它将高效的数据检索与大型语言模型的强大功能结合在一起。
lichunericli·2024-02-06 13:52

LLM之RAG实战（二十二）| LlamaIndex高级检索（一）构建完整基本RAG框架（包括RAG评估）

在RAG（retrievalAugmentedGeneration，检索增强生成）系统中，检索到文本的质量对大型语言模型生成响应的质量是非常重要的。
wshzd·2024-02-06 06:40

使用 LlamaIndex 部署本地 Mistral-7b 大模型实现 RAG

原理LlamaIndex的文档链接：UsingLLMs-LlamaIndex0.9.33LlamaIndex的一般使用模式如下：加载文档（手动或通过数据加载器)将文档解析为节点构建索引（来自节点或文档)（可选，高级）在其他索引之上构建索引查询索引默认情况下，LlamaIndex使用OpenAI的text-davinci-003模型，然而由于OpenAI的网站在国内无法访问，故使用本地下载好的Mis
明月出天山_·2024-02-06 00:26

模块化的RAG和RAG流程：第一部分

RAG的压缩和高级总结。在第一部分中，我们将重点介绍模块化RAG的概念和组成部分，包括6种模块类型，14个模块和40多个运算符。
ericliu2017·2024-02-06 00:56

12个RAG痛点和建议解决方案

解决检索增强生成的核心挑战ImageadaptedfromSevenFailurePointsWhenEngineeringaRetrievalAugmentedGenerationSystem·痛点1：内容缺失·痛点2：错过了排名靠前的文件·痛点3：不在上下文中—合并策略的局限性·痛点4：未提取·痛点5:WrongFormat·痛点6:不正确的特异性·痛点7：不完整·痛点8：数据摄入可扩展性·痛
ericliu2017·2024-02-06 00:56

忘记 RAG：拥抱Agent设计，让 ChatGPT 更智能更贴近实际

RAG（检索增强生成）设计模式通常用于开发特定数据领域的基于实际情况的ChatGPT。然而，重点主要是改进检索工具的效率，如嵌入式搜索、混合搜索和微调嵌入，而不是智能搜索。
ericliu2017·2024-02-06 00:56

使用LlamaIndex，Qdrant，Ollama和FastAPI构建本地RAG api

介绍ChatGPT已经改变了我们与AI的互动方式。人们现在将这些大型语言模型（LLMs）作为主要的个人助手来进行写作、头脑风暴甚至咨询。然而，这些LLMs的问题在于，它们的表现只能和它们接受的训练数据一样好。例如，如果一家公司想要向ChatGPT查询一份内部文件，ChatGPT可能无法理解它。此外，它的知识可能不是最新的，而且容易产生幻觉。为了解决这个问题，我们可以在我们的数据上对这些LLMs进行
ericliu2017·2024-02-06 00:54

七月论文审稿GPT第2.5版：微调GPT3.5 turbo 16K和llama2 13B以扩大对GPT4的优势

前言自去年7月份我带队成立大模型项目团队以来，我司至今已有5个项目组，其中第一个项目组的AIGC模特生成系统已经上线在七月官网第二项目组的论文审稿GPT则将在今年34月份对外上线发布第三项目组的RAG知识库问答第
v_JULY_v·2024-02-05 20:19

Google聊天机器人Bard计划更名为Gemini并推出新功能；12 个 RAG 痛点和建议

AI新闻Google聊天机器人Bard计划更名为Gemini并推出新功能摘要：Google的聊天机器人Bard即将更名为Gemini并在2月7日上线。Gemini将推出付费计划GeminiAdvanced，类似于ChatGPTPlus的付费模式，用户可以访问强大的AI模型Ultra1.0，执行复杂任务如编程、逻辑推理和创造性协作。GeminiAdvanced还将引入新功能和独家特性，如增强的多模态
go2coding·2024-02-05 15:42

用通俗易懂的方式讲解：12 个大模型 RAG 痛点及解决方案

受Barnett等人的论文《工程检索增强生成系统时的七个失败点》启发，让我们在本文中探讨论文中提到的七个失败点以及开发RAG管道时的五个常见痛点。
Python算法实战·2024-02-05 03:20

今日arXiv最热NLP大模型论文：引入噪声，可提升RAG检索效果超30%？？

检索增强生成（Retrieval-AugmentedGeneration，简称RAG）系统的出现，提高了LLMs回答生成的准确性。它分为两个部分:检索与生成。
夕小瑶·2024-02-04 16:35

Amazon Bedrock 知识库现可提供完全托管的 RAG 体验

借助知识库，可安全地将AmazonBedrock中的基础模型(FM)连接到贵公司的数据，供检索增强生成(RAG)使用。
亚马逊云开发者·2024-02-04 13:22

基于LlamaIndex解决RAG的关键痛点

SevenFailurePointsWhenEngineeringaRetrievalAugmentedGenerationSystem》的启发，本文将探讨论文中提到的七个痛点，以及在开发检索增强型生成（RAG
技术狂潮AI·2024-02-04 13:01

12个RAG常见痛点及解决方案

Barnett等人的论文《SevenFailurePointsWhenEngineeringaRetrievalAugmentedGenerationSystem》介绍了RAG的七个痛点，我们将其延申扩展再补充开发
deephub·2024-02-04 13:00

技术动态 | 模块化（Modular）RAG 和 RAG Flow

随着RAG技术的演进，RAG整体的流程变动更加丰富和自由。具体表现在以下几个方面：在检索增强数据源上，不再局限于传统的纯⽂本⽂档为为代表的非结构化数据。
开放知识图谱·2024-02-04 07:06

LLM App SDK：LangChain vs. LlamaIndex

在WhyRAGisbig中，我表示支持检索增强生成（RAG）作为私有、离线、去中心化LLM应用程序的关键技术。当你建造一些东西供自己使用时，你就是在孤军奋战。
新缸中之脑·2024-02-03 20:28

《向量数据库指南》——Milvus Cloud始于向量，不止于向量

在火热的RAG应用浪潮中，不少开发者还提出让Mi
LCHub低代码社区·2024-02-03 09:10

《向量数据库指南》——AIGC 需求的快速变化，催生了Milvus Cloud向量数据库的超高速迭代

随着RAG技术的发展，LLM和向量数据库这对黄金搭档开始走到一起，成为幻觉问题的通用处理范式。MilvusCloud作为全球最流行的开源向量数
LCHub低代码社区·2024-02-03 02:38

用通俗易懂的方式讲解：一文详解大模型 RAG 模块

文章目录什么是RAG？技术交流&资料通俗易懂讲解大模型系列RAG模块化什么是模块化RAG？
Python算法实战·2024-02-03 01:43

RAG初探 - 动手实现一个最简单的RAG应用

文章目录0.什么是RAG1.RAG基本流程2.向量数据库的生成2.1文档加载与分块2.2创建向量数据库2.2.1创建过程2.2.2运行结果2.2.3踩坑2.2.3.1坑一：NoneTypeobjectisnotiterable2.2.3.2
同学小张·2024-02-02 17:15

【AI大模型应用开发】【补充知识】文本向量化与向量相似度（含Python代码）

在上篇文章【AI大模型应用开发】3.RAG初探-动手实现一个最简单的RAG应用中，我们动手实现了一个RAG基本流程。里面涉及到向量数据库和向量检索。对于没接触过的人可能比较懵。
同学小张·2024-02-02 17:15

快手技术副总裁王仲远: 加盟智源研究院,任院长；TikTok 正式控股印尼电商平台 Tokopedia；消息称阿里考虑出售银泰商业

今日精选•前快手技术副总裁王仲远:加盟智源研究院,任院长•TikTok正式控股印尼电商平台Tokopedia•消息称阿里巴巴正考虑出售银泰商业科技动态•阿里云推出企业级大模型RAG系统投融资与企业动态•
晓飞趋势·2024-02-02 11:11

为什么RAG是件大事【检索增强生成】

一项关键技术是检索增强生成（RAG），它可以使LLM个性化，而无需昂贵的训练过程（“微调”）。
新缸中之脑·2024-02-02 06:04

RAG Fusion简明教程

随着NLP和生成AI领域的最新进展，RAG（检索增强生成）的引入有望通过结合基于检索的模型和序列到序列的强大功能，对BERTChatGPT等现有技术进行改进。架构。
新缸中之脑·2024-02-02 06:04

大模型创业的3条军规

上周，一家初创公司未能围绕LLM和RAG开展业务，尽管他们获得了第一份B2B大型合同。以下是原因以及如何避免这种情况：创始人写了一篇博客解释了为什么他不得不关闭他的业务，我在这里总结了他的要点。
新缸中之脑·2024-02-02 06:34

基于 Langchain-Chatchat，我搭建了一个本地知识库问答系统

2.4一键启动2.5启动界面示例技术交流群用通俗易懂方式讲解系列一、LangChain-Chatchat基于ChatGLM等大语言模型与Langchain等应用框架实现，开源、可离线部署的检索增强生成(RAG
深度学习算法与自然语言处理·2024-02-02 01:31

企业级大模型的护城河：RAG + 微调

围绕LLM的炒作是前所未有的，但这是有道理的，生成式AI有潜力改变我们所知道的社会。在很多方面，LLM将使数据工程师变得更有价值——这令人兴奋！不过，向老板展示数据发现工具或文本到SQL生成器的炫酷演示是一回事，而将其与公司的专有数据（甚至更重要的客户数据）一起使用则是另一回事。很多时候，公司急于构建人工智能应用程序，却对其实验的财务和组织影响缺乏远见。这不是他们的错——高管和董事会应该为围绕这项
新缸中之脑·2024-02-01 09:18

#RAG|NLP|Jieba|PDF2WORD# pdf转word-换行问题

文档在生成PDF时,文宁都发生了什么。本文讲解了配置对象、resources对象和content对象的作用,以及字体、宇号、坐标、文本摆放等过程。同时,还解释了为什么PDF转word或转文字都是一行一行的以及为什么页眉页脚的问题会加大识别难度。最后提到了文本的编码和PDF中缺少文档结构标记的问题。PDF转word更像是一种逆向工程。第三方库pdf转word的痛点-格式不保留本文着力解决换行问题：源
向日葵花籽儿·2024-02-01 07:54

大语言应用技术原理

大模型应用技术原理RAG向量数据库对比选型标准开源vs.闭源vs.源码可见客户端/SDK语言托管方式self-hosted/on-premiseredis,pgvector,milvusmanaged/
三更科技公社·2024-02-01 04:00

大模型微调学习之旅③ — 基于 InternLM 和 LangChain 搭建你的知识库

目录一、大模型开发范式1、通用大模型的局限性：2、解决通用大模型范式的两种解决思路：①检索增强生成（RAG）②延呈传统自然语言处理算法微调（Finetune）二、LangChain简介①什么是LangChain②LangChain
Hoo K·2024-01-30 08:08

动手学RAG：汽车知识问答

原文：动手学RAG：汽车知识问答-知乎Part1内容介绍在自然语言处理领域，大型语言模型（LLM）如GPT-3、BERT等已经取得了显著的进展，它们能够生成连贯、自然的文本，回答问题，并执行其他复杂的语言任务
javastart·2024-01-30 08:03

提高RAG性能的高级查询转换

然而，RAG的流行是当之无愧的，因为没有其他解决方案能像它一样有效地减轻大型语言模
lichunericli·2024-01-29 11:02

一文了解向量数据库在RAG中扮演的角色

共同探讨有深度的生成式AI技术前沿洞见、技术迭代、案例解析、方法和实践，请关注“神州问学”公众号，加入社群！引言在过去的一年里，大型语言模型的发展以及人工智能生成浪潮在全球范围内引起了广泛关注。然而，这些大型语言模型面临一个众所周知的挑战：一旦训练完成，它们就无法理解最新的或某些未经过训练的专业领域知识。为了解决这个问题，检索增强生成（Retrieval-AugmentedGeneration,R
神州问学·2024-01-29 11:00

如何使用Prompt快速压缩将RAG成本降低80%

英文原文地址：HowtoCutRAGCostsby80%UsingPromptCompression通过即时压缩加速推理2024年1月5日推理过程是使用大型语言模型时消耗资金和时间成本的因素之一，对于较长的输入，这个问题会更加凸显。下面，您可以看到模型性能与推理时间之间的关系。性能得分与推理吞吐量[1]小型模型每秒生成更多的tokens，往往在OpenLLM排行榜上得分较低。增加模型参数大小可以提
lichunericli·2024-01-29 11:00
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他