Langchain

大模型训练营Day3 基于 InternLM 和 LangChain 搭建你的知识库

本次的授课人是一个提示词开发项目的负责人。下面一起进入本期课程吧》本次课程内容主要如下：开篇交代了大模型的局限性，然后引出主题：简单总结，大模型是根据数据集训练，很难使用具有实时性的数据进行重新训练（因为训练成本需要海量资源）。并且，通用模型的专业场景应用很差。而且很难专门定制特定的大模型。大模型的开发范式呢，主要有以下两种模式：建立知识库和微调，知识库是传统AI专家系统中就有的概念；微调呢是冻结
AIzealot无·2024-01-16 02:32

Llama2部署、微调、集成Langchain过程记录

下载并部署gradio5.使用gradio运行模型6.textgenerationwebui二、模型微调1.下载和预处理微调训练数据2.运行微调文件3.执行代码合并4.使用gradio运行微调后模型三、使用LangChain
GOozii1·2024-01-16 00:54

大模型听课笔记——书生·浦语（3）

大模型听课笔记——书生·浦语（3）基于InternLM和LangChain搭建你的知识库LLM具有许多有点，但同样也有着局限性：知识时效性受限专业能力有限定制化成本高1针对上述问题，现在常用的大语言模型范式
亲爱的阿基米德^·2024-01-15 21:42

【搭建个人知识库-3】

搭建个人知识库-31大模型开发范式1.1RAG原理1.2LangChain框架1.3构建向量数据库1.4构建知识库助手1.5WebDemo部署2动手实践2.1环境配置2.2知识库搭建2.2.1数据收集2.2.2
中古传奇·2024-01-15 17:31

pdf2image的poppler-Linux支持安装教程

、libassuan2、gpgme3、libb24、pcre25、Qt6命令行编译命令-poppler测试小结使用目的我想要解决的问题是以最快的速度抽取PDF中的图片，再和对应文本进行关联，最终适配到LangChain
内卷焦虑人士·2024-01-15 17:50

LLM之LangChain：LangChain 0.1.0 版本发布的简介、安装和使用方法、案例应用之详细攻略

LLM之LangChain：LangChain0.1.0版本发布的简介、安装和使用方法、案例应用之详细攻略导读：2024年1月8日，今天，我们很高兴宣布发布langchain0.1.0，这是我们的第一个稳定版本
一个处女座的程序猿·2024-01-15 12:59

【基于 InternLM 和 LangChain 搭建你的知识库】学习笔记

学习参考文档【基于InternLM和LangChain搭建你的知识库】学习参考链接【书生・浦语大模型实战营第三课作业(基础+进阶)】理论实战收集原始数据收集2018年-2020年几年间的优秀数学建模论文修改脚本文件
尘汐筠竹·2024-01-15 11:24

GPT实战系列-简单聊聊LangChain搭建本地知识库准备

GPT实战系列-简单聊聊LangChain搭建本地知识库准备LangChain是一个开发由语言模型驱动的应用程序的框架，除了和应用程序通过API调用，还会：数据感知:将语言模型连接到其他数据源具有代理性质
Alex_StarSky·2024-01-15 10:51

AI模型理解误区：微调垂直行业-VS-企业专属知识库或AI助理

企业中优化提示词的场景，并介绍了使用开源框架LangChain来定制化优化提词工程的方法，以及如何利用大模型和
lichunericli·2024-01-15 08:56

书生·浦语大模型实战营笔记（三）

可以提高知识储备特点：可实时更新，新知识只要放到知识库中即可，较简单Finetune：微调对于新的数据集，使用预训练数据集进行微调来符合新数据集特点：个性化微调效果好，需要重新训练，无法实时更新，训练成本高开源框架LangChain
三省斋主·2024-01-15 07:45

Langchain 与 Elasticsearch：创新数据检索的融合实战

Langchain和Elasticsearch的结合，为我们提供了一个强大的工具，以更智能的方式进行数据检索和分析。
铭毅天下·2024-01-15 05:54

检索增强生成RAG

重要信息位置为什么会影响大模型的效果LangChain的解决方案-检索后重新排序文档召回模式N选1召回模式多路召回模式摘要在RAG中，我们通常在数以万计甚至数以十亿计的海量文本文件里进行语义搜索。
北方以南ccc·2024-01-15 00:26

AI大模型学习笔记二

文章目录一、PromptEngineering1）环境准备二、LangChain（一个框架名字）三、Fine-tuning（微调）一、PromptEngineering1）环境准备①安装OpenAI库pipinstall
谢白羽·2024-01-14 22:51

书生·浦语 第三章：基于 InternLM 和 LangChain 搭建你的知识库

一、搭建环境1.1基础环境配置在官方提供的教程中构建环境的命令如下#拷贝一个pytorch2.0.1的环境/root/share/install_conda_env_internlm_base.shInternLM#激活环境condaactivateInternLM#安装一些依赖python-mpipinstall--upgradepip#升级pip的版本方便安装下面的依赖pipinstallmo
Jankin_Tian·2024-01-14 21:41

RAG代码实操之斗气强者萧炎

3.LangChain实现RAG3.1基础环境准备3.2向量数据库1.「加载数据」2.「数据分块」3.「数据块存储」4.RAG实现1.「第一步：数据检索」2.「第二步：提示增强」3.「
听风与他·2024-01-14 13:11

InternLM第3次课作业

部署参考github教程：https://github.com/InternLM/tutorial/tree/main/langchain问题1：windows端口映射过程命令ssh-iC:\\Users
Jamiechoi·2024-01-14 12:25

InternLM第3节课笔记

基于InternLM和LangChain搭建你的知识库1大模型开发范式LLM局限性：时效性、专业能力有限、定制化成本高RAG（检索、增强、生成）外挂知识库微调2LangChain简介LangChain核心组成模块
Jamiechoi·2024-01-14 12:17

LLM漫谈（三）| 使用Chainlit和LangChain构建文档问答的LLM应用程序

一、Chainlit介绍Chainlit是一个开源Python包，旨在彻底改变构建和共享语言模型（LM）应用程序的方式。Chainlit可以创建用户界面（UI），类似于由OpenAI开发的ChatGPT用户界面，Chainlit可以开发类似streamlit的web界面。1.1Chainlit的主要特点可视化中间步骤：Chainlit可以可视化大语言模型管道中的每个步骤；Chainlit与Pyth
wshzd·2024-01-14 12:08

基于 InternLM 和 LangChain 搭建你的知识库

参考教程，开展基于InternLM和LangChain的知识库构建，通过RAG（检索增强生成算法）实现知识问答。
yestolife123·2024-01-14 07:45

用通俗易懂的方式讲解：涨知识了，这篇大模型 LangChain 框架与使用示例太棒了

一图胜千言，LangChain已经成为当前LLM应用框架的事实标准，本篇文章就来对LangChain基本概念以及其具体使用场景做一个整理。
机器学习社区·2024-01-14 03:33

langchain-Agent-工具篇

文章目录工具定义的方式加载langchain中的工具自定义工具的几种方式@tooldecoratorTooldataclassSubclassBaseToolStructuredTooldataclass
我只钓小鱼·2024-01-14 00:37

langchain-Agent-工具检索

有时会定义很多工具，而定义Agent的时候只想使用与问题相关的工具，这是可以通过向量数据库来检索相关的工具，传递给Agent#Definewhichtoolstheagentcanusetoansweruserqueriessearch=SerpAPIWrapper()search_tool=Tool(name="Search",func=search.run,description="usefu
我只钓小鱼·2024-01-14 00:37

langchain-Agent-Agent类型和自定义Agent（代码）

本篇主要用于记忆Agent相关代码，不对各个类型Agent的功能和原理进行描述。文章目录代理类型reactplan&executestructured-chat自定义代理代理类型reactfromlangchain.agentsimportload_toolsfromlangchain.agentsimportinitialize_agentfromlangchain.agentsimportAg
我只钓小鱼·2024-01-14 00:34

【InternLM 大模型实战】第三课

基于InternLM和LangChain搭建你的知识库大模型开发范式RAG（检索增强生成）FINETUNE（微调）LangChain简介构建向量数据库加载源文件文档分块文档向量化搭建知识库助手构建检索问答链
卖小麦←_←·2024-01-13 21:14

LangChain 70 Evaluation 评估、衡量在多样化数据上的性能和完整性

LangChain系列文章LangChain50深入理解LangChain表达式语言十三自定义pipeline函数LangChainExpressionLanguage(LCEL)LangChain51
AI架构师易筋·2024-01-13 21:34

LangChain 68 LLM Deployment大语言模型部署方案

LangChain系列文章LangChain50深入理解LangChain表达式语言十三自定义pipeline函数LangChainExpressionLanguage(LCEL)LangChain51
AI架构师易筋·2024-01-13 21:04

LangChain 69 向量数据库Pinecone入门

LangChain系列文章LangChain50深入理解LangChain表达式语言十三自定义pipeline函数LangChainExpressionLanguage(LCEL)LangChain51
AI架构师易筋·2024-01-13 21:04

LangChain 67 深入理解LangChain 表达式语言30 调用tools搜索引擎 LangChain Expression Language (LCEL)

LangChain系列文章LangChain50深入理解LangChain表达式语言十三自定义pipeline函数LangChainExpressionLanguage(LCEL)LangChain51
AI架构师易筋·2024-01-13 21:04

LangChain 66 深入理解LangChain 表达式语言29 管理prompt提示窗口大小 LangChain Expression Language (LCEL)

LangChain系列文章LangChain50深入理解LangChain表达式语言十三自定义pipeline函数LangChainExpressionLanguage(LCEL)LangChain51
AI架构师易筋·2024-01-13 21:34

LangChain 65 深入理解LangChain 表达式语言28 余弦相似度Router Moderation LangChain Expression Language (LCEL)

LangChain系列文章LangChain50深入理解LangChain表达式语言十三自定义pipeline函数LangChainExpressionLanguage(LCEL)LangChain51
AI架构师易筋·2024-01-13 21:33

LangChain 63 深入理解LangChain 表达式语言26 生成代码code并执行 LangChain Expression Language (LCEL)

LangChain系列文章LangChain36深入理解LangChain表达式语言优势一LangChainExpressionLanguage(LCEL)LangChain37深入理解LangChain
AI架构师易筋·2024-01-13 21:33

LangChain 64 深入理解LangChain 表达式语言27 添加审查 Moderation LangChain Expression Language (LCEL)

LangChain系列文章LangChain50深入理解LangChain表达式语言十三自定义pipeline函数LangChainExpressionLanguage(LCEL)LangChain51
AI架构师易筋·2024-01-13 21:33

LangChain 61 深入理解LangChain 表达式语言24 multiple chains链透传参数 LangChain Expression Language (LCEL)

LangChain系列文章LangChain36深入理解LangChain表达式语言优势一LangChainExpressionLanguage(LCEL)LangChain37深入理解LangChain
AI架构师易筋·2024-01-13 21:02

LangChain 62 深入理解LangChain 表达式语言25 agents代理 LangChain Expression Language (LCEL)

LangChain系列文章LangChain36深入理解LangChain表达式语言优势一LangChainExpressionLanguage(LCEL)LangChain37深入理解LangChain
AI架构师易筋·2024-01-13 21:02

LangChain 60 深入理解LangChain 表达式语言23 multiple chains链透传参数 LangChain Expression Language (LCEL)

LangChain系列文章LangChain36深入理解LangChain表达式语言优势一LangChainExpressionLanguage(LCEL)LangChain37深入理解LangChain
AI架构师易筋·2024-01-13 21:02

LangChain 71 字符串评估器String Evaluation衡量在多样化数据上的性能和完整性

LangChain系列文章LangChain60深入理解LangChain表达式语言23multiplechains链透传参数LangChainExpressionLanguage(LCEL)LangChain61
AI架构师易筋·2024-01-13 21:01

【LangChain学习之旅】—（5） 提示工程（上）：用少样本FewShotTemplate和ExampleSelector创建应景文案

【LangChain学习之旅】—（5）提示工程（上）：用少样本FewShotTemplate和ExampleSelector创建应景文案提示的结构LangChain提示模板的类型使用PromptTemplate
之墨_·2024-01-13 19:52

【LangChain学习之旅】—（6） 提示工程（下）：用思维链和思维树提升模型思考质量

【LangChain学习之旅】—（6）提示工程（下）：用思维链和思维树提升模型思考质量什么是ChainofThoughtFew-ShotCoTZero-ShotCoTChainofThought实战CoT
之墨_·2024-01-13 19:52

【LangChain学习之旅】—（4） 模型I/O：输入提示、调用模型、解析输出

【LangChain学习之旅】—（4）模型I/O：输入提示、调用模型、解析输出ModelI/OLangChain中提示模板的构建语言模型为什么选择langchain输出解析总结Reference：LangChain
之墨_·2024-01-13 19:51

【LangChain学习之旅】—（7） 调用模型：使用OpenAI API还是微调开源Llama2/ChatGLM？

【LangChain学习之旅】—（7）调用模型：使用OpenAIAPI还是微调开源Llama2/ChatGLM？
之墨_·2024-01-13 19:47

基于 InternLM 和 LangChain 搭建你的知识库

基于InternLM和LangChain搭建你的知识库大模型开发范式LLM的局限性：RAG检索增强生成LangChain简介构建向量数据库搭建知识库助手WebDemo部署环境配置下载NLTK相关资源下载本项目代码大模型开发范式
桑_榆·2024-01-13 17:16

书生.浦语大模型LangChain实战

RAG（Retrieval-AugmentedGeneration）与Finetune传统大模型有以下几点问题：无法及时更新知识知识面广，但在专业领域深度不够为了解决以上诸多问题，有很多尝试方案。例如通过微调模型（Finetune）来适应专业领域知识，但这种方式对技术要求较高，属于计算密集型，很难灵活使用。2020年Lewis等人，在知识密集型NLP任务中，提出了一种更灵活的技术，称为检索增强生成
时空摆渡者·2024-01-13 16:37

基于书生·浦语大模型应用开发范式介绍

文章目录大模型应用开发范式LangChain简介构建向量数据库搭建知识库助手RAG方案优化建议大模型应用开发范式通用大模型的优势：强大的语言理解、指令跟随、语言生成的能力可以理解用户自然语言的指令具有强大的知识储备和一定的逻辑推理能力
爱科研的瞌睡虫·2024-01-13 13:20

第三节课 基于 InternLM 和 LangChain 搭建你的知识库作业

文章目录笔记作业笔记基于书生·浦语大模型应用开发范式介绍：https://blog.csdn.net/m0_49289284/article/details/135467197基于InternLM和LangChain
爱科研的瞌睡虫·2024-01-13 13:20

基于InternLM 和 LangChain 搭建你的知识库Demo

文章目录环境准备InternLM模型部署InternLM模型下载LangChain环境配置下载NLTK相关资源知识库搭建数据收集加载数据构建向量数据库脚本整合InternLM接入LangChain构建检索问答链加载向量数据库实例化自定义
爱科研的瞌睡虫·2024-01-13 13:19

[书生·浦语大模型实战营]——基于 InternLM 和 LangChain 搭建你的知识库

0.背景知识0.1InternLMInternLM是一个开源的轻量级训练框架，旨在支持大模型训练而无需大量的依赖。通过单一的代码库，它支持在拥有数千个GPU的大型集群上进行预训练，并在单个GPU上进行微调，同时实现了卓越的性能优化。在1024个GPU上训练时，InternLM可以实现近90%的加速效率。基于InternLM训练框架，我们已经发布了两个开源的预训练模型：InternLM-7B和Int
不是吧这都有重名·2024-01-13 13:00

【书生·浦语】大模型实战营——第三课笔记

教程链接：https://github.com/InternLM/tutorial/blob/main/langchain/readme.md本期学习内容为：基于InternLM和LangChain搭建你的知识库学习平台
Horace_01·2024-01-13 13:27

【笔记】书生·浦语大模型实战营——第三课（基于 InternLM 和 LangChain 搭建你的知识库）

【参考：tutorial/langchainatmain·InternLM/tutorial】【参考：(3)基于InternLM和LangChain搭建你的知识库_哔哩哔哩_bilibili-【OpenMMLab
myaijarvis·2024-01-13 13:55

大语言模型LLM的原理，bert、GPT、GLM三者的对比

本次任务：1、大语言模型原理、2、演示1：单一文档摘要、3、演示2：多文档+langchain摘要4、演示3：微调训练本地知识库：美食、菜谱大模型....一、大语言模型介绍：主要、技术依赖：transformer
金城武555·2024-01-13 10:49

用通俗易懂的方式讲解：一文讲透最热的大模型开发框架 LangChain

在这个背景下，LangChain作为一个以LLM模型为核心的开发框架出现，为自然语言处理开启了一个充满可能性的世界。借助LangChain，我们可以创建各种应用程序，包括聊天机器人和智能问答工具。
机器学习社区·2024-01-13 02:45
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他