DB-GPT开源项目文档入门

DB-GPT开源项目文档入门 (qq.com)

场景:服务中小金融机构、服务业小微商家

DB-GPT项目集成了多模型管理、多数据源管理、Text2SQL、增强检索RAG、生成式BI、多智能体,一个大而全的开源框架

项目基本信息

简介:一个原生数据应用开发框架

技术能力:

服务化多模型管理框架(SMMF,Service-oriented Multi-model Management Framework)

Text2SQL效果优化

RAG框架以及优化(RAG,Retrieval-Augmented Generation)

Multi-Agents框架协作

AWEL(Agentic Workflow Expression Language,智能体工作流编排)

分层架构:可视化层(GBT-Vis:md、图表、flow编排)、应用层(DB-GPT:生成式BI、DB对话、Excel对话)、服务层(LLMServer、APIServer等)、模块层(SMMF、RAGs、Agents)、协议层(AWEL)、训练层(DB-GPT-Hub)

核心能力:RAG、GBI(生成式BI)、微调框架、数据驱动的Multi-Agents框架、数据工厂(可信知识、数据的清洗加工)、数据源

DB-GPT开源项目文档入门_第1张图片

大模型常规发展方向:

RAG(通过附加知识库,减少输出幻觉)

智能体(多智能体协调,自动完成复杂任务)

微调(添加私有数据训练,修改原大模型权重,增强大模型某领域能力)

RAG生产落地实践架构

可信知识收集(行情、行研百科知识、专业内容、专家认知)->知识加工(知识块处理、抽取实体关系图、知识评分、向量化)->RAG(查询处理、相似召回、Ranking)->大语言模型->chat(知识问答、阅读助手)

子模块

DB-GPT-Hub:通过微调来持续提升Text2SQL效果

DB-GPT-Plugins:插件仓库,兼容Auto-GPT

GPT-Vis:可视化协议

dbgpts:官方提供的数据应用仓库,构建在DB-GPT上的应用,含智能体应用、智能体编排流程模板、通用算子,

落地产品:数据库专家智能体Kevin、报表分析智能助手

官方文档解读

网址:https://www.yuque.com/eosphoros/dbgpt-docs

环境准备:下载minconda,创建虚拟环境python=3.10

模型部署:openai代理、GLM-4-9b本地部署

智能体编排语言AWEL

分层设计:算子层、AgentFrame层以及DSL层

算子层:LLM应用开发过程中最基本的操作原子,如RAG应用开发时,检索、向量化、模型交互、Prompt处理

AgentFrame层:对算子进一步封装,可以基于算子做链式计算,支持如filter、join、map、reduce等一套链式计算操作

DSL层:提供一套标准的结构化表示语言,写DSL语句完成AgentFrame与算子的操作

源码部署:部署模型、配置元数据库、配置测试数据、运行服务(python dbgpt/app/degpt_server.py)

其他部署方式:docker、docker-compose、AutoDL、小程序云

模型服务部署:多模型服务,单机部署、集群部署

进阶:vLLM推理(提高推理速度)、元数据初始化与更新、OpenAI SDK调用本地多模型

操作手册

智能体工作流使用

通过智能体表达式语言AWEL编排智能体形成工作流,现仓库有三个工作流可用,通过dbgp安装。

示例:搜索对话应用,通过搜索引擎搜索相关知识,总结回答。创建时配置工作模式:awel_layout、flows:awel_flow_info_search

APP创建使用

源码位置:开源的dbgpts项目中,eosphoros-ai/dbgpts: Intelligent data apps and assets with LLMs (github.com)

dpgts项目的其他资源:workflows、agents、opeators

教程:应用面板中创建应用,工作模式设置auto_plan,依赖两个agent,DataScientist和Reporter,都依赖database

六大场景入门教程

六大场景:知识库、数据对话、Excel对话、数据库对话、报表分析、Agents

原生对话:即大模型提供的原生对话能力

知识库

简介:私域知识问答,RAG知识检索增强

操作步骤:创建知识空间、上传文档、等待文档切片+向量化、对话

支持的文档类型:纯文本、URL抓取、PDF、Word、md等

数据对话

简介:与结构化或半结构化数据对话,辅助数据分析与洞察

操作步骤:添加数据源、选择对话场景:数据对话、选择数据库、对话

Excel对话:选择对话场景(char Excel)、上传Excel、对话

数据库对话:选择对话场景(chat DB)、添加数据源、选择基础模型与数据库、对话

报表分析

简介:Dashboard场景,通过自然语言进行智能的报表生成与分析。是生成式BI(GBI)的基本能力之一

步骤:数据准备、添加数据源、选择对话场景(Dashboard)、对话

Agents

简介:数据驱动Multi-Agents智能体框架

插件:内置搜索插件(不能用)

插件使用步骤:进入插件市场->查看github仓库中插件列表->下载插件->选择场景(Agent chat)->配置cookie->插入元数据->对话

github插件仓库:eosphoros-ai/DB-GPT-Plugins: Multi-Agents & Plugins repo for DB-GPT, Can complete various tasks around databases. (github.com)

数据分析Agents

简介:典型的GBI应用场景

操作步骤:数据准备->添加数据源->插入元数据->选择对话场景(Agent chat-数据分析助手)->对话

数据爬取Agents

简介:自动编写程序抓取互联网数据并分析的Agents

操作步骤:编写智能体(已写好代码编写助手CodeAssistantAgent,源码dbgpt/agent/agents/expand/code_assistant_agent.py)、插入元数据、选择对话场景(互联网数据分析助手)、对话

你可能感兴趣的:(微信公众号文章,gpt)