E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
RAG
增强常见问题解答搜索引擎:在 Elasticsearch 中利用 KNN 的力量
随着大型语言模型和信息检索架构(如
RAG
)的出现,在现代软件系统中利用文本表示(向量/嵌入)和向量数据库已变得越来越流行。
Elastic 中国社区官方博客
·
2023-10-28 18:49
Elasticsearch
AI
Elastic
搜索引擎
elasticsearch
大数据
使用
RAG
、Langchain 和 Streamlit 制作用于文档问答的 AI 聊天机器人
在这篇文章中,我们将探索创建一个简单但有效的聊天机器人,该机器人根据上传的PDF或文本文件的内容响应查询。该聊天机器人使用Langchain、FAISS和OpenAI的GPT-4构建,将为文档查询提供友好的界面,同时保持对话上下文完整。APP链接地址:Streamlit潜在用例在深入研究实际代码之前,让我们花点时间回顾一下该工具的潜在用例以及如何使用它来进一步增强您的研究、信息检索或摘要工作流程:
Omer_
·
2023-10-28 01:43
大模型
python
人工智能
chatgpt
Elasticsearch:使用 Open AI 和 Langchain 的
RAG
- Retrieval Augmented Generation (四)
这篇博客是之前文章:Elasticsearch:使用OpenAI和Langchain的
RAG
-RetrievalAugmentedGeneration(一)Elasticsearch:使用OpenAI和
Elastic 中国社区官方博客
·
2023-10-26 02:40
AI
Elasticsearch
Elastic
langchain
人工智能
elasticsearch
搜索引擎
大数据
全文检索
RAG
之微调垂域BGE的经验之谈
文章目录前言数据格式部分代码训练参数接下来的尝试总结前言随着大模型的爆火,很多垂域行业都开始使用大模型来优化自己的业务,最典型的方法就是
RAG
(检索增强生成)了。
ToTensor
·
2023-10-26 01:11
NLP成长之路
自然语言处理
深度学习
rag
全文检索
bge
Elasticsearch:使用 Open AI 和 Langchain 的
RAG
- Retrieval Augmented Generation (三)
这是继之前文章:Elasticsearch:使用OpenAI和Langchain的
RAG
-RetrievalAugmentedGeneration(一)Elasticsearch:使用OpenAI和Langchain
Elastic 中国社区官方博客
·
2023-10-25 23:38
Elasticsearch
AI
Elastic
langchain
elasticsearch
搜索引擎
大数据
人工智能
全文检索
Elasticsearch:使用 Open AI 和 Langchain 的
RAG
- Retrieval Augmented Generation (一)
最近看了一个同事的几个视频。他总结的很好。在使用LangChain时,根据LangChain的官方文档https://integrations.langchain.com/vectorstores,目前有三种方法可以进行使用:ElasticVectorSearch,ElasticsearchStore及ElasticKnnSearch。我们从上面的小红心来看,Elasticsearch无疑是最受欢
Elastic 中国社区官方博客
·
2023-10-25 13:46
Elasticsearch
AI
Elastic
1024程序员节
大数据
搜索引擎
elasticsearch
数据库
人工智能
langchain
LLM-
RAG
-WEB 大模型+文件+可视化对话界面
1、代码(使用步骤说明在链接里)参考下载地址:https://github.com/lonngxiang/LLM-
RAG
-WEB/代码框架说明:web.py:项目入口,web页面model.py:对接模型接口
loong_XL
·
2023-10-25 08:44
深度学习
langchain
LLM
streamlit
RAG
Kaggle - LLM Science Exam(三):Wikipedia
RAG
文章目录一、赛事概述1.1OpenBookQADataset1.2比赛背景1.3评估方法和代码要求1.4比赛数据集1.5优秀notebook二、[EDA,Datagathering]LLM-SE~WikiSTEM|1kDS2.1Dataoverview2.2Datagathering三、如何高效收集数据3.1概述3.2与训练数据关联的维基百科类别分析四、withonly270Karticles!4
神洛华
·
2023-10-22 22:34
NLP
深度学习
nlp
llm
超越ChatGPT和Llama2,新一代检索增强方法Self-
RAG
来了原创
为了解决这一问题,之前的研究人员提出了检索增强生成(
RAG
),它通过检索相关知识来增强LMs的效果,尤其在需要大量知识的任务,如问答中,表现出色。
夕小瑶
·
2023-10-22 09:13
chatgpt
人工智能
SELF-
RAG
: LEARNING TO RETRIEVE, GENERATE, AND CRITIQUE THROUGH SELF-REFLECTION
本文是LLM系列文章,针对《SELF-
RAG
:LEARNINGTORETRIEVE,GENERATE,ANDCRITIQUETHROUGHSELF-REFLECTION》的翻译。
UnknownBody
·
2023-10-20 22:34
LLM
人工智能
语言模型
LLMs之
RAG
:利用langchain实现
RAG
应用五大思路步骤—基于langchain使用LLMs(ChatGPT)构建一个问题回答文档的应用程序实战代码
LLMs之
RAG
:利用langchain实现
RAG
应用五大思路步骤—基于langchain使用LLMs(ChatGPT)构建一个问题回答文档的应用程序实战代码目录相关文章
一个处女座的程序猿
·
2023-10-20 20:10
NLP/LLMs
langchain
chatgpt
独家 | 使用检索增强生成技术构建特定行业的 LLM
让我们深入了解如何通过
RAG
(检索增强生成技术)构建特定行业的大型语言模型。公司可以通过使用像ChatGPT这样的大语言明星提高生产力。
数据派THU
·
2023-10-18 14:32
人工智能
chatgpt
RAG
:Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 论文阅读
.-142
RAG
目录0、背景1、摘要2、导言3、结论4、模型5、实验6、与REALM
小白的咆哮
·
2023-10-18 14:54
NLP
论文阅读
LLM应用架构之检索增强(
RAG
,retrieval-augmented generation)的缘起与架构介绍
LLM应用架构之检索增强(
RAG
)的缘起与架构介绍原创ullyAI工程化2023-08-2121:53收录于合集#领域技术13个#LLM应用架构3个动手点关注本文是LLM应用架构系列的第一篇,将介绍LLM
AI生成曾小健
·
2023-10-18 14:21
大语言模型LLM
大模型知识库-可信LLM
-外挂知识库
人工智能
如何选择最适合你的LLM优化方法:全面微调、PEFT、提示工程和
RAG
对比分析
一、前言自从ChatGPT问世以来,全球各地的企业都迫切希望利用大型语言模型(LLMs)来提升他们的产品和运营。虽然LLMs具有巨大的潜力,但存在一个问题:即使是最强大的预训练LLM也可能无法直接满足你的特定需求。其原因如下:定制输出:你可能需要一个具有独特结构或风格的应用程序,例如可以评分并提供简洁反馈点评文章质量的工具。缺少上下文:预训练LLM可能对于你应用程序中重要文件一无所知,例如针对某系
技术狂潮AI
·
2023-10-17 19:56
LLM应用实战
AI应用实战
人工智能
模型微调
提示工程
RAG
kaggle大模型竞赛优胜方案总结与思考
优胜方案中,如何利用
RAG
(检索增强)方法提高模型的上限,如何通过传统方法以及向量检索方法提高检索知识的质量,如何使用LoRA,
HxShine
·
2023-10-17 10:04
llm
nlp
kaggle
LLM
kaggle
kaggle大模型竞赛优胜方案总结与思考
优胜方案中,如何利用
RAG
(检索增强)方法提高模型的上限,如何通过传统方法以及向量检索方法提高检索知识的质量,如何使用LoRA,
HxShine
·
2023-10-17 10:57
llm
nlp
kaggle
kaggle
llm
Elastic Cloud v.s. Zilliz Cloud:性能大比拼
最近,随着检索增强生成系统(
RAG
:https://zilliz.com/use-cases/
LCHub低代码社区
·
2023-10-14 19:09
《向量数据库指南》
LCHub
向量数据库
低代码
Milvus
Milvus
cloud
维格云
Graph
RAG
:基于知识图谱的检索增强技术与优势对比(附 Demo)
身处信息爆炸时代,如何从海量信息中获取准确全面的搜索结果,并以更直观、可读的方式呈现出来是大家期待达成的目标。传统的搜索增强技术受限于训练文本数量、质量等问题,对于复杂或多义词查询效果不佳,更无法满足ChatGPT等大语言模型应用带来的大规模、高并发的复杂关联查询需求。在此背景下,悦数图数据库率先实现了与LlamaIndex、LangChain等大语言模型框架的深度适配并在行业内首次提出了Grap
悦数图数据库
·
2023-10-04 13:21
新闻动态
知识图谱
人工智能
数据库
RAG
:我都要
目录引言模型结构第一部分:Retriever第二部分:Generator实验结果结果分析总结引言在问答和对话的场景下,通常可以通过检索和生成两种方式得到一个回复。检索式回复是在外部知识库中检索出满意的回复,较为可靠和可控,但回复缺乏多样性;而生成式回复则依赖于强大的语言模型中储存的内部知识,不可控,解释性差,但能生成更丰富的回复。把检索和生成结合起来,FacebookAIresearch联合UCL
iLuz
·
2023-10-04 13:50
自然语言处理
深度学习
机器学习
NeurIPS 2020|
RAG
:为知识密集型任务而生
NeurIPS2020|
RAG
:检索系统助攻生成器背景今天主要介绍一项FacebookAIResearch发表于NeurIPS2020(12月才召开,大家耐心等待哈)的成果:
RAG
。
JasonLiu1919
·
2023-10-04 13:49
文本生成
论文解读
深度学习
深度学习
文本生成
技术动态 | 基于知识图谱的大模型检索增强实现策略:Graph
RAG
实现基本原理及优化思路...
转载公众号|老刘说NLP我们继续来谈谈知识库增强大模型问答的话题,今天学到一个新词,
RAG
(Retrieval-AugmentedGeneration),指的是通过
RAG
模型来对搜索结果进行增强的过程,
开放知识图谱
·
2023-10-04 13:48
知识图谱
人工智能
RAG
小结
RAGRAG做知识问答,我们所使用的语料、索引建立方式、训练方式,大致的模型参数,以及满足以上我们对GPU运算资源的需求。需求总结:以下表格列举我们实验配置和论文实验配置;如果要使用base甚至large版本的预训练模型和batch128,最好是单服务器节点有3块16G+的gpu;没有的情况下,可以利用多节点多GPU并行,需要配置;但单块gpu能跑的batch还是很有限;配置RetrieverGe
cyz0202
·
2023-10-04 13:48
技术问题
#
算法
#
深度学习
人工智能
深度学习
AI数据技术02:
RAG
数据检索
一、说明在人工智能的动态环境中,检索增强生成(
RAG
)已成为游戏规则的改变者,彻底改变了我们生成文本和与文本交互的方式。
无水先生
·
2023-10-04 13:17
LLM和ChatGPT
人工智能
人工智能
自然语言处理
【斯坦福cs324w】中译版 大模型学习笔记八 新的模型架构
Sparsely-gatedmixtureofexperts符号定义平衡专家示例SwitchTransformerBalancedAssignmentofSparseExperts(BASE)layersGLaMFacebookMoE基于检索的模型
RAG
自律版光追
·
2023-09-27 12:32
#
LLM
学习
笔记
深度学习
人工智能
神经网络
了不起的盖茨比(原版读书笔记)Day1
preoccupation全神贯注levity轻率marv.毁掉unaffected朴实的真挚的heighten加深增强abortive失败的,无果的elation兴高采烈short-winded气踹嘘嘘
rag
TAN_2a04
·
2023-09-24 00:12
Rasa:使用大语言模型进行意图分类
Rasa:使用大语言模型进行意图分类在Rasa的最新版本(3.x)中,引入了一种新的意图分类方法,即使用大型语言模型(LLM)和一种称为检索增强生成(
RAG
)的方法进行意图分类。
段智华
·
2023-09-21 11:17
Rasa智能对话机器人
Rasa
大模型+检索增强(
RAG
、Atlas 和 REPLUG)
https://zhuanlan.zhihu.com/p/6513805391.检索增强生成
RAG
在问答和对话的场景下,通常可以通过检索和生成两种方式得到一个回复。
Yuezero_
·
2023-09-19 22:55
自然语言处理
人工智能
论文阅读:Retrieval-augmented Generation across Heterogeneous Knowledge
跨异构知识的检索增强生成NAACL2022论文链接摘要检索增强生成(
RAG
)方法越来越受到NLP社区的关注,并在许多NLP下游任务上取得了最先进的性能。
张
·
2023-09-07 07:17
OpenQA论文阅读
学习笔记
论文阅读
使用GPT-4生成训练数据微调GPT-3.5
RAG
管道
OpenAI在2023年8月22日宣布,现在可以对GPT-3.5Turbo进行微调了。也就是说,我们可以自定义自己的模型了。然后LlamaIndex就发布了0.8.7版本,集成了微调OpenAIgpt-3.5turbo的功能也就是说,我们现在可以使用GPT-4生成训练数据,然后用更便宜的API(gpt-3.5turbo)来进行微调,从而获得更准确的模型,并且更便宜。所以在本文中,我们将使用NVID
deephub
·
2023-09-07 07:13
人工智能
深度学习
大语言模型
chatgpt
使用GPT-4生成训练数据微调GPT-3.5
RAG
管道
OpenAI在2023年8月22日宣布,现在可以对GPT-3.5Turbo进行微调了。也就是说,我们可以自定义自己的模型了。然后LlamaIndex就发布了0.8.7版本,集成了微调OpenAIgpt-3.5turbo的功能也就是说,我们现在可以使用GPT-4生成训练数据,然后用更便宜的API(gpt-3.5turbo)来进行微调,从而获得更准确的模型,并且更便宜。所以在本文中,我们将使用NVID
·
2023-09-06 11:44
塔罗周运势牌阵20200629-0705
图片来自网络背景音乐♪
Rag
'N'BoneMan-《Human》开篇文字大家好,这里是热得好想变成一条鱼,把自己泡在鱼缸里的若水。
安界若水
·
2023-09-03 08:28
大语言模型之七- Llama-2单GPU微调SFT
详见Finetuning_LLama_2_0_on_Colab_with_1_GPU.ipynb在上一篇博客提到两种改进预训练模型性能的方法Retrieval-AugmentedGeneration(
RAG
shichaog
·
2023-09-03 06:18
语言模型
llama
人工智能
Prompt、
RAG
、微调还是重新训练?选择正确的生成式 AI 的方法指南
文章目录一、前言二、主要内容三、总结CSDN叶庭云:https://yetingyun.blog.csdn.net/一、前言这篇博客试图根据一些常见的可量化指标,为您选择适合您用例的生成式人工智能方法提供指导。生成式AI正在以惊人的速度发展,许多组织都在尝试利用这项先进技术来解决业务问题。虽然有很多流行的方法可供选择,但是当涉及到选择正确的方法来实施生成式AI解决方案时,仍缺乏明确的指导。最常讨论
叶庭云
·
2023-08-28 10:58
ChatGPT
实践
大语言模型
生成式
AI
提示工程
检索增强生成
微调
Fine-tuning
CFDEM学习笔记
资料总结虚拟机:链接:https://pan.baidu.com/s/1MPMTJQfl76mW0H5bbT_
rAg
提取码:rqli开机密码:530944988知乎博客:作者说明了如何关闭颗粒碰撞计算来达到提升计算速度
ambu1230
·
2023-08-23 22:44
学习
笔记
CFDEM
liggghts
Openfoam
LLM 回答更加准确的秘密:为检索增强生成(
RAG
)添加引用源
想要回答这两个问题,就不得不提到今天文章的主角——
RAG
。
RAG
,也就是检索增强生成(Retrieval-augmentedgeneration),可以弥补现有LLM应用能力的技术。
LCHub低代码社区
·
2023-08-21 03:02
《向量数据库指南》
魔搭GPT
AgentBench
python
数据库
服务器
AgentBench
AI智能体
MIlvus
Cloud
VectorDBBench
LLM 回答更加准确的秘密:为检索增强生成(
RAG
)添加引用源
想要回答这两个问题,就不得不提到今天文章的主角——
RAG
。
RAG
,也就是检索增强生成(Retrieval-augmentedgeneration),可以弥补现有LLM应用能力的技术。
Zilliz Planet
·
2023-08-17 19:10
程序人生
LLM 回答更加准确的秘密:为检索增强生成(
RAG
)添加引用源
想要回答这两个问题,就不得不提到今天文章的主角——
RAG
。
RAG
,也就是检索增强生成(Retrieval-augmentedgeneration),可以弥补现有LLM应用能力的技术。
·
2023-08-17 18:26
人工智能
Prompt、
RAG
、微调还是重新训练?如何选择正确的生成式AI的使用方法
一般情况下有4种常见的使用方法:PromptEngineeringRetrievalAugmentedGeneration(
RAG
检索增强生成)微调从头开始训练基础模型(FM)本文将试图根据一些常见的可量化指标
deephub
·
2023-08-17 04:30
人工智能
prompt
深度学习
大语言模型
AIGC
Prompt、
RAG
、微调还是重新训练?如何选择正确的生成式AI的使用方法
一般情况下有4种常见的使用方法:PromptEngineeringRetrievalAugmentedGeneration(
RAG
检索增强生成)微调从头开始训练基础模型(FM)本文将试图根据一些常见的可量化指标
·
2023-08-16 10:02
吴恩达ChatGPT《LangChain Chat with Your Data》笔记
文章目录1.Introduction2.DocumentLoading2.1RetrievalAugmentedGeneration(
RAG
)2.2LoadPDFs2.3LoadYouTube2.4LoadURLs2.5LoadNotion3
datamonday
·
2023-07-26 00:45
AIGC
chatgpt
langchain
笔记
python
人工智能
OpenCV 笔记_3
模板匹配函数图像卷积filter2D卷积函数过滤器图像噪声的产生cvflann::rand_double产生随机浮点数在(0~1)之间cvflann::rand_int产生随机整数在(0~RAND_MAX)之间
RAG
Wi~
·
2023-06-17 15:54
OpenCV
opencv
计算机视觉
英语学习:R开头
rabbit兔子race种族,民族racial种族的radiation放射radio无线电,收音机radioactive放射性的
rag
破布rail铁路railway铁路rain雨rainbow彩虹raincoat
only-lucky
·
2023-06-15 18:52
学习
会用这种RYG方法论的话,项目经理能简化项目管理过程
RAG
是确定项目状态的缩写,但缩写之后必须有实质性的东西,一个快速,易于理
陌生学院
·
2023-04-20 20:49
hitchhiker Docker部署
rag
:api测试;压力测试;REST接口测试可参考HitchHiker官方文档https://brookshi.gitbooks.io/hitchhiker/content/cn/Stress/Run.html
小旗手
·
2023-04-13 02:37
ISP图像处理流程介绍
1.1器件控制1.2格式转换1.3画质优化2ISP算法流程ISP功能器件控制控制Sensor的Shutter(快门)、Gain(增益)控制镜头变焦、聚焦控控制镜头的光圈控制滤光片的切换补光灯控制格式转换
RAG
liujun3512159
·
2022-12-31 11:26
相机开发
图像处理
人工智能
常用公共数据集(医疗)(转载)
生物/医药1、2008年MICCAIMS病变分期挑战(国家卫生研究院神经科学研究蓝图)2、ASUDR-AutoCC数据-糖尿病视网膜病变分类数据集的多实例学习特征空间(
Rag
LF2018131
·
2022-12-04 08:28
数据库
生物学
Transformer课程第39章:面向Knowledge-intensive任务的Transformer模型
RAG
的架构及完整源码实现
1,为何Transformer网络能够存储factualknowledge信息?2,pretraineddenseretrieval数学原理分析3,sequence-to-sequencemodel数学原理分析4,jointlyfine-tuning数学原理分析5,parametricmemory原理分析6,non-parametricmemory原理分析7,non-parametricmemor
StarSpaceNLP667
·
2022-07-05 07:03
Transformer
NLP
StarSpace
语言模型
架构
自然语言处理
transformer
深度学习
Facebook开源
RAG
,绕开重新训练,轻松修改已训练模型丨NeurIPS 2020
AMiner平台由清华大学计算机系研发,拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱,提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线,吸引了全球220个国家/地区1000多万独立IP访问,数据下载量230万次,年度访问量超过1100万,成为学术搜索和社会网络挖掘研究的重要数据和实验平台。今天和大家分享FacebookA
AMiner科技
·
2020-10-12 18:43
AMiner会议
机器学习
人工智能
Facebook 开源自然语言处理模型,可检索文档回答问题
Facebook和AI初创公司HuggingFace今天开源了一种AI模型检索增强生成(
RAG
),这是一种自然语言处理模型,可以查找和解释上下文信息来完成一系列任务。
芒果果
·
2020-10-09 13:26
facebook
开放源代码
自然语言处理
人工智能
上一页
8
9
10
11
12
13
14
15
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他