腾讯云大模型知识引擎转为本地化知识引擎+DeepSeek

文章目录

    • 1、为什么需要本地化部署
      • 大模型 tokens 资源包
      • 知识库容量
      • 搜索服务包
    • 2、这里的底层技术-RAG
    • 3、为什么选择 DeepSeek +011ama +AnythingLLM
    • 4、部署步骤
        • 1、ollama本地化部署 DeepSeek R1
        • 2、下载并运行 DeepSeek 模型
        • 3、部署 AnythingLLM
            • 1)下载安装
            • 2)配置模型
            • 3)创建知识库
        • 4、使用 DeepSeek 官方 API(可选)
        • 5、使用方法
    • 调用AnythingLLM的API接口 ![](https://i-blog.csdnimg.cn/img_convert/10d335df11dcc07d3cf380e339685537.jpeg)

1、为什么需要本地化部署

隐私保护:默认存储和运行在本地,进一步确保数据的隐私。

低延迟:本地运行显著减少了网络传输时间,适合对实时性要求较高的场景。

无需费用:现用腾讯云的知识引擎,使用的精调知识大模型标准版(1000万 tokens/¥120)+DeepSeek模型(费用明细还没出)+知识库存储(1000万字符/月¥160)+网络搜索功能(10万次/¥2200)。

以上是最基础版,其他费用明细如下:

大模型 tokens 资源包

定义:一次性购买一定数量的tokens资源包,有效期内调用模型服务时优先抵扣资源包当中的tokens余量,tokens资源包如果到期未用完,会当做过期作废处理。

资源包有效期:1年,1年后未使用的资源包清零。

付费方式:预付费,购买tokens资源包越大,单价越低。

适用范围:稳定调用,具有一定规模的业务体量。

tokens 资源包 精调知识大模型标准版 精调知识大模型高级版 医学行业大模型标准版 金融行业大模型标准版 教育行业大模型标准版 教育行业大模型高级版 混元大模型Turbo版
1000万tokens ¥120 ¥1,200 ¥120 ¥180 ¥180 ¥900 ¥240
5000万tokens ¥600 ¥6,000 ¥600 ¥900 ¥900 ¥4,350 ¥1,200
1亿tokens ¥1,180 ¥11,800 ¥1,180 ¥1,770 ¥1,770 ¥8,700 ¥2,300
5亿 tokens ¥5,900 ¥59,000 ¥5,900 ¥8,850 ¥8,850 ¥43,000 ¥11,500
10亿 tokens ¥11,700 ¥117,000 ¥11,700 ¥17,550 ¥17,550 ¥84,000 ¥22,600

你可能感兴趣的:(腾讯云,langchain,prompt,llama)