E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
RAG
大模型
RAG
优化 收集一
痛点1:文档切分粒度不好把控,既担心噪声太多又担心语义信息丢失问题1:如何让LLM简要、准确回答细粒度知识?问题2:如何让LLM回答出全面的粗粒度(跨段落)知识?分析:文档分割不够准确,导致模型有可能只回答了两点,而实际上是因为向量相似度召回的结果是残缺的。有人可能会问,那完全可以把切割粒度大一点,比如每10个段落一分。但这样显然不是最优的,因为召回片段太大,噪声也就越多。LLM本来就有幻觉问题,
fan_fan_feng
·
2024-01-21 08:47
人工智能
大模型
RAG
面试篇
1.LLMs存在模型幻觉问题,请问如何处理?检索+LLM。先用问题在领域数据库里检索到候选答案,再用LLM对答案进行加工。2.基于LLM+向量库的文档对话思路是怎么样?加载文件读取文本文本分割文本向量化问句向量化在文本向量中匹配出与问句向量最相似的topk个匹配出的文本作为上下文和问题一起添加到prompt中提交给LLM生成回答3.基于LLM+向量库的文档对话核心技术是什么?基于LLM+向量库的文
fan_fan_feng
·
2024-01-20 19:48
大模型
RAG
面试题
算法
大模型
手工微调embedding模型
RAG
检索能力
在
RAG
应用中,有一个我们可以去提升的环节就是——Embedding模型,我在之前的文章《大模型主流应用
RAG
的介绍——从架构到技术细节》也说过可以去微调embedding模型以便增强我们整体的检索能力
asd8705
·
2024-01-20 06:29
embedding
NVIDIA 大模型
RAG
分享笔记
文章目录大语言模型在垂直领域落地的三个挑战:什么是
RAG
以及为什么能解决大预言模型所带来的的这三个问题
RAG
不是一项技术而是整体的Pipeline非参数化:数据库部分加载到数据库中检索阶段提升检索效率的技术检索前
RessCris
·
2024-01-20 06:58
大模型
笔记
书生·浦语大模型实战营-学习笔记3
目录(3)基于InternLM和LangChain搭建你的知识库1.大模型开发范式(
RAG
、Fine-tune)
RAG
微调(传统自然语言处理的方法)2.LangChain简介(
RAG
开发框架)3.构建向量数据库
Kinno酱
·
2024-01-19 17:27
大模型
学习
笔记
自然语言处理
人工智能
chatgpt
nlp
神经网络
《向量数据库指南》
RAG
应用中的指代消解——解决方案初探
其中,检索增强生成(Retrieval-augmentedgeneration,
RAG
)是一种针对知识密集型NLP任务的生成方法,它通过在生成过程中引入检索组件,从已知的知识库中检索相关信息,并将这些信息与
LCHub低代码社区
·
2024-01-19 15:30
Milvus
Cloud
向量数据库
数据库
低代码
LCHub
用通俗易懂的方式讲解:基于 Langchain 框架,利用 MongoDB 矢量搜索实现大模型
RAG
高级检索方法
想象一下,你是一名侦探,身处庞大的信息世界,试图在堆积如山的数据中找到隐藏的一条重要线索,这就是检索增强生成(
RAG
)发挥作用的地方,它就像你在人工智能和语言模型世界中的可靠助手。
Python算法实战
·
2024-01-19 12:22
大模型
大模型理论与实战
langchain
mongodb
数据库
算法
LLM
大模型
用通俗易懂的方式讲解:选择最佳的 Embedding 和重排序模型,提升大模型
RAG
效果特别明显!
在构建检索增强生成(
RAG
)Pipeline时,一个关键组件是Retriever。
Python算法实战
·
2024-01-19 12:21
大模型理论与实战
embedding
大模型
LLM
深度学习
人工智能
Azure Machine Learning - 聊天机器人构建
此示例使用Python、AzureOpenAI服务和AzureAI搜索中的检索扩充生成(
RAG
)实现聊天应用,以获取虚构公司员工福利的解答。关注TechLead,分享AI全维度知识。作者拥有10
TechLead KrisChang
·
2024-01-19 06:51
azure
人工智能
机器学习
深度学习
microsoft
大模型入门0: 基础知识
大模型0基础知识:transformer基础与NLP1参数量预估与scalinglaw2sft3
RAG
与langchain4prompt5rlhf6agent7分布式训练8推理优化9传统任务本文结构transformer
YueTann
·
2024-01-19 05:07
python
大语言模型LLM幻觉的解决方法:检索增强生成
RAG
为了解决这些问题,检索增强生成(Retrieval-AugmentedGeneration,
RAG
)的概念应运而生。它是一个为大模
英智未来
·
2024-01-19 01:21
语言模型
人工智能
机器学习
用通俗易懂的方式讲解:使用Llama-2、PgVector和LlamaIndex,构建大模型
RAG
全流程
其中
RAG
(RetrievalAugmentedGeneration,检索增强生成)是解决幻觉比较有效的方法。
Python算法实战
·
2024-01-18 21:33
大模型理论与实战
大模型
llama
人工智能
算法
LLM
大模型
RAG
检索增强生成
Elasticsearch:聊天机器人教程(一)
在本教程中,你将构建一个大型语言模型(LLM)聊天机器人,该机器人使用称为检索增强生成(
RAG
)的模式。使用
RAG
构建的聊天机器人可以克服ChatGPT等通用会话模型所具有的一些限制。
Elastic 中国社区官方博客
·
2024-01-18 19:04
Elasticsearch
AI
Elastic
机器人
语言模型
langchain
人工智能
elasticsearch
ai
搜索引擎
深度好文:最全的大模型
RAG
技术概览
本文是对检索增强生成(RetrievalAugmentedGeneration,
RAG
)技术和算法的全面研究,对各种方法进行了系统性的梳理。
深度学习算法与自然语言处理
·
2024-01-18 15:56
NLP与大模型
自然语言处理
人工智能
深度学习
大模型
使用 Neo4j 和 LangChain 集成非结构化知识图增强 QA
目前基于大模型的信息检索有两种方法,一种是基于微调的方法,一种是基于
RAG
的方法。
深度学习算法与自然语言处理
·
2024-01-18 15:56
大模型实战
NLP与大模型
langchain
知识图谱
neo4j
大语言模型
大模型
深度学习
自然语言处理
利用 LangChain 和 Neo4j 向量索引,构建一个
RAG
应用程序
Neo4j向量检索已成为检索增强生成(
RAG
)应用程序领域的关键工具,特别是在处理结构化和非结构化数据方面。LangChain库是构建大型语言模型(LLM)应用程序的重要框架。
深度学习算法与自然语言处理
·
2024-01-18 15:22
NLP与大模型
大模型实战
langchain
neo4j
大模型
大语言模型
深度学习
人工智能
书生·浦语大模型实战营第三次课堂笔记
LLM的局限性知识时效性受限:如何让LLM能够获取最新的知识专业能力有限:如何打造垂域大模型定制化成本高:如何打造个人专属的LLM应用
RAG
:检索增强生成,核心思想:给大模型外挂一个知识库,对于用户的提问
Unicornlyy
·
2024-01-18 10:20
大模型
笔记
中国AIGC开发者大会:展望2024年大模型发展趋势,总结2023年大模型应用
2023年是大模型快速发展的一年,提示词工程、
RAG
知识库增强检索、AIAgent、微调等各种技术的迭代和发展,为大模型应用到实际场景降本增效起到了极大的促进作用,AIGC(生成式人工智能)成为新时代的宠儿
Souidc-hph
·
2024-01-17 21:11
AIGC
使用 Elasticsearch 和 LlamaIndex 进行高级文本检索:句子窗口检索
2023年是检索增强生成(
RAG
)的一年,人们探索了许多用例,并使用该技术开发了数百种产品。从Q/A聊天机器人到基于上下文的代理,
RAG
的使用一直是LLM申请快速增长的主要因素。
Elastic 中国社区官方博客
·
2024-01-17 15:40
Elasticsearch
AI
Elastic
elasticsearch
大数据
搜索引擎
全文检索
人工智能
数据库
网易有道自研
RAG
引擎QAnything正式开放下载
昨日,网易有道宣布将自研的知识库问答引擎QAnything正式开源,除了可以调用云端大模型服务,还支持纯本地部署,所有用户可免费在开源社区Github内进行下载,一键部署即可使用。该系统目前支持word、ppt、excel、pdf、图片等多种文档格式,直接导入进去即可实现像"ChatGPT"一样问答。据了解,QAnything的主要原理是基于检索增强的生成(RetrievalAugmentedGe
CSDN资讯
·
2024-01-17 11:07
开源
语言模型
技术动态 | 知识图谱遇上
RAG
行业问答:回顾知识检索增强范式、挑战及与知识图谱的结合...
转载公众号|老刘说NLP今天我们来看看AIDD2023(https://aidd.vip/dhrc-sz2023)中有关知识图谱与行业问答上的一些有趣的分享,供大家一起参考。一、知识检索增强范式、拷问、评估与选型同济大学王昊奋老师的《知识增强大模型:垂域落地的最后一公里》报告中,很有启发性地介绍了知识增强大模型的一些思考,特别棒,择其中几个有趣的点,分享给大家。1、RAGvsFine-tuning
开放知识图谱
·
2024-01-17 11:46
知识图谱
人工智能
LlamaIndex 官方发布高清大图,纵览高级
RAG
技术
近日,Llamaindex官方博客重磅发布了一篇博文《ACheatSheetandSomeRecipesForBuildingAdvancedRAG》,通过一张图给开发者总结了当下主流的高级
RAG
技术,
Python算法实战
·
2024-01-17 11:57
大模型理论与实战
大模型
人工智能
大模型
多模态大模型
langchain
RAG
Llamaindex
用通俗易懂的方式讲解:大模型
RAG
在 LangChain 中的应用实战
Retrieval-AugmentedGeneration(
RAG
)是一种强大的技术,能够提高大型语言模型(LLM)的性能,使其能够从外部知识源中检索信息以生成更准确、具有上下文的回答。
Python算法实战
·
2024-01-17 11:56
大模型理论与实战
大模型
langchain
检索增强
算法
大模型
深度学习
RAG
多模态
用通俗易懂的方式讲解:一文讲清大模型
RAG
技术全流程
目录一、为什么业界普遍关注
RAG
?通俗易懂讲解大模型系列技术交流二、
RAG
技术要怎么干?
Python算法实战
·
2024-01-17 11:26
大模型
大模型理论与实战
多模态
LLM
chatgpt
Agent
人工智能
RAG
检索增强
用通俗易懂的方式讲解:使用 LlamaIndex 和 Eleasticsearch 进行大模型
RAG
检索增强生成
检索增强生成(Retrieval-AugmentedGeneration,
RAG
)是一种结合了检索(Retrieval)和生成(Generation)的技术,它有效地解决了大语言模型(LLM)的一些问题
Python算法实战
·
2024-01-17 11:54
大模型
大模型理论与实战
人工智能
深度学习
大模型
模型部署
LLM
多模态
LLM大模型工程入门级知识初探
CodeInterpreter四、函数支持FunctionCall五、外部集成LangChain六、Embedding与向量数据库VectorDBEmbeddingSearch向量数据库VectorDB八、SFT、RLHF、
RAG
无一郎的技术圈
·
2024-01-17 02:06
oneapi
gpt
书生·浦语大模型--第三节课笔记--基于 InternLM 和 LangChain 搭建你的知识库
RAGLangChain框架:构建向量数据库构建检索问答链优化建议web部署实践部分环境配置大模型开发范式LLM的局限性:时效性(最新知识)、专业能力有限(垂直领域)、定制化成本高(个人专属)两种开发范式:
RAG
李日音
·
2024-01-16 22:45
InternLM大模型
笔记
langchain
语言模型
chatgpt
检索增强生成技术(
RAG
)深度优化指南:原理、挑战、措施、展望
ChatGPT、Midjourney等生成式人工智能(GenAI)在文本生成、文本到图像生成等任务中表现出令人印象深刻的性能。然而,生成模型也不能避免其固有的局限性,包括产生幻觉的倾向,在数学能力弱,而且缺乏可解释性。因此,提高他们能力的一个可行办法是让他们能够与外部世界互动,以不同的形式和方式获取知识,从而提高所生成内容的事实性和合理性。最近,出现了一些以检索增强生成(Retrieval-Aug
lichunericli
·
2024-01-16 20:58
LLM
人工智能
语言模型
Agent检索增强生成
检索增强生成(
RAG
)设计模式通常用于在特定数据域中开发大语言模型(LLM)应用。然而,
RAG
的过往的研究重点主要在于提高检索工具的效率,例如嵌入搜索、混合搜索和微调嵌入,而忽视了智能搜索。
lichunericli
·
2024-01-16 20:58
Agent
人工智能
语言模型
检索增强生成(
RAG
)技术创新进展:自我检索、重排序、前瞻检索、系统2注意力、多模态
RAG
检索增强生成(
RAG
)提供了一种将ChatGPT/GPT-4等大型语言模型与自定义数据集成的途径,但存在局限性。让我们了解
RAG
最近的研究创新如何解决其中的一些问题。
lichunericli
·
2024-01-16 20:28
LLM
人工智能
语言模型
RAG
基础功能优化、以及
RAG
架构优化
RAG
基础功能优化对
RAG
的基础功能优化,我们要从
RAG
的流程入手[1],可以在每个阶段做相应的场景优化。从
RAG
的工作流程看,能优化的模块有:文档块切分、文本嵌入模型、提示工程优化、大模型迭代。
lichunericli
·
2024-01-16 20:57
RAG
人工智能
语言模型
揭秘
RAG
与语义搜索的异同,你了解多少?
检索增强生成(
RAG
)和语义搜索都是自然语言处理领域的先进技术,但它们各自服务于不同的目的并以不同的方式运作。
wwlsm_zql
·
2024-01-16 14:06
大模型
RAG
人工智能
ChatGPT
RAG
语义检索
RAG
为什么是必不可少的?
检索增强生成(
RAG
)之所以重要,主要有以下几个关键原因,特别是在提高大型语言模型(LLM)如聊天机器人和其他自然语言处理应用的性能和可靠性方面:提高准确性和相关性:
RAG
使LLM能够访问和引用来自外部知识库的最新
wwlsm_zql
·
2024-01-16 14:06
RAG
大模型
RAG
人工智能
大模型
语言模型
RAG
检索增强技术在知识库智能检索场景下的应用实践
如果你对这篇文章感兴趣,而且你想要了解更多关于AI领域的实战技巧,可以关注「技术狂潮AI」公众号。在这里,你可以看到最新最热的AIGC领域的干货文章和案例实战教程。一、知识检索增强的基本概述1.1、知识检索增强技术提出的背景1.1.1、LLM的缺陷知识检索增强技术的提出背景主要源于当前基于LLM(大规模语言模型)的知识检索存在诸多缺陷。首先,LLM往往存在幻觉现象,即在生成结果时可能出现与事实不符
技术狂潮AI
·
2024-01-16 14:31
大模型企业实战
LLM应用实战
AI应用实战
人工智能
企业知识库
RAG
RAG
检索式增强技术是什么——OJAC近屿智能带你一探究竟
我们的大模型商业化落地产品更多AI资讯请关注Free三天集训营助教在线为您火热答疑
RAG
(Retrieval-AugmentedGeneration)模型是一个创新的自然语言处理(NLP)技术,它结合了传统的信息检索方法和现代的生成式语言模型
OJAC近屿智能
·
2024-01-16 14:30
AIGC
人工智能
chatgpt
langchain
python
如何优化大型语言模型,让AI回应更智能、更准确?
什么是检索增强生成(
RAG
)?检索增强生成(
RAG
)是一种优化大型语言模型输出的过程,它在生成回应之前会参考其训练数据源之外的权威知识库。
wwlsm_zql
·
2024-01-16 11:03
RAG
人工智能
ChatGPT
大模型
#
RAG
##AIGC#检索增强生成 (
RAG
) 基本介绍和入门实操示例
本文包括
RAG
基本介绍和入门实操示例
RAG
基本介绍通用语言模型可以进行微调以实现一些常见任务,例如情感分析和命名实体识别。这些任务通常不需要额外的背景知识。
向日葵花籽儿
·
2024-01-16 09:28
AIGC
人工智能
jupyter
RAG
AIGC
LLM之幻觉(二):大语言模型LLM幻觉缓减技术综述
LLM幻觉缓减技术,如下图所示:LLM幻觉缓减技术值得注意的是:检索增强生成(
RAG
)知识检索(https://arxiv.org/abs/2307.03987)CoNLI(https://arxiv.org
wshzd
·
2024-01-16 09:21
笔记
ChatGPT
幻觉
语言模型
人工智能
深度学习
LLM论文:ALCE (Enabling Large Language Models to Generate Text with Citations)
这是一篇
RAG
领域的文章,原文在这:https://aclanthology.org/2023.emnlp-main.398.pdf时间[Submittedon24May2023(v1),lastrevised31Oct2023
__心似大海__
·
2024-01-16 08:19
语言模型
人工智能
自然语言处理
一文搞懂大模型
RAG
应用(附实践案例)
相对于成本昂贵的“PostTrain”或“SFT”,基于
RAG
的技术方案往往成为一种更优选择。本文从
RAG
架构入手,详细介绍相关技术细节,并附上一份实践案例。什么是
RAG
?
AIPHIL
·
2024-01-16 06:27
人工智能
提示词prompt、
RAG
、Agent框架、微调Fine-tuning在实际应用中的落地选择
提示词的本质相当于text的填充,提示词的knowhow能力会扩展到
RAG
,提示词的指令遵循能力会扩展到FT微调。
lichunericli
·
2024-01-16 04:46
LLM
人工智能
语言模型
prompt
陪伴7.4
这边的鸳鸯双宿双飞,那边的少绾形单影只,赖在了折颜的十里桃林,别人喝酒是品的,她喝酒都是整坛整坛往肚里灌,任折颜怎么劝说都不停,折颜无奈,
rag
白真看着少绾,自己来了九重天,若这世上还有人能够劝得住少绾的
转角花开
·
2024-01-16 03:32
高级检索增强生成技术(
RAG
)全面指南:原理、分块、编码、索引、微调、Agent、展望
ChatGPT、Midjourney等生成式人工智能(GenAI)在文本生成、文本到图像生成等任务中表现出令人印象深刻的性能。然而,生成模型也不能避免其固有的局限性,包括产生幻觉的倾向,在数学能力弱,而且缺乏可解释性。因此,提高他们能力的一个可行办法是让他们能够与外部世界互动,以不同的形式和方式获取知识,从而提高所生成内容的事实性和合理性。检索增强生成(Retrieval-AugmentedGen
lichunericli
·
2024-01-15 21:52
LLM
人工智能
语言模型
微调您的Embedding模型以最大限度地提高
RAG
管道中的相关性检索
英文原文地址:https://betterprogramming.pub/fine-tuning-your-embedding-model-to-maximize-relevance-retrieval-in-
rag
-pipeline
lichunericli
·
2024-01-15 21:51
LLM
人工智能
语言模型
embedding
大模型听课笔记——书生·浦语(3)
InternLM和LangChain搭建你的知识库LLM具有许多有点,但同样也有着局限性:知识时效性受限专业能力有限定制化成本高1针对上述问题,现在常用的大语言模型范式(检索增强生成VS微调)2本节课主要围绕
RAG
亲爱的阿基米德^
·
2024-01-15 21:42
笔记
【搭建个人知识库-3】
搭建个人知识库-31大模型开发范式1.1
RAG
原理1.2LangChain框架1.3构建向量数据库1.4构建知识库助手1.5WebDemo部署2动手实践2.1环境配置2.2知识库搭建2.2.1数据收集2.2.2
中古传奇
·
2024-01-15 17:31
大模型
忘记
RAG
,未来是
RAG
-Fusion
英文原文地址:https://towardsdatascience.com/forget-
rag
-the-future-is-
rag
-fusion-1147298d8ad1忘记
RAG
,未来是
RAG
-Fusion
lichunericli
·
2024-01-15 08:56
LLM
人工智能
语言模型
embedding
书生·浦语大模型实战营笔记(三)
RAG
:检索增强生成外挂知识库,对用户的问题首先从知识库中找到相关回答,再把问题和回答交给大模型,可以提高知识储备特点:可实时更新,新知识只要放到知识库中即可,较简单Finetune:微调对于新的数据集
三省斋主
·
2024-01-15 07:45
笔记
用python提取PDF中各类文本内容的方法
从PDF文档中提取信息,是很多类似
RAG
这样的应用第一步要处理的事情,这里需要做好三件事:提取出来的文本要保持信息完整性,也就是准确性提出的结果需要有附加信息,也就是要保存元数据提取过程要完成自动化,也就是流程化然而
lichunericli
·
2024-01-15 07:56
LLM
人工智能
python
pdf
高级检索增强生成技术(
RAG
)全面指南:原理、分块、编码、索引、微调、Agent、展望...
来自:旺知识ChatGPT、Midjourney等生成式人工智能(GenAI)在文本生成、文本到图像生成等任务中表现出令人印象深刻的性能。然而,生成模型也不能避免其固有的局限性,包括产生幻觉的倾向,在数学能力弱,而且缺乏可解释性。因此,提高他们能力的一个可行办法是让他们能够与外部世界互动,以不同的形式和方式获取知识,从而提高所生成内容的事实性和合理性。检索增强生成(Retrieval-Augmen
zenRRan
·
2024-01-15 05:28
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他