baichuan

部署你自己的OpenAI格式api，基于flask, transformers (使用 Baichuan2-13B-Chat-4bits 模型，可以运行在单张Tesla T4显卡)

//github.com/billvsme/my_openai_api单文件实现OpenAI格式api(包含流式响应)部署你自己的OpenAI格式api，基于flask,transformers(使用Baichuan2
billvsme·2023-11-08 21:00

LangChain+LLM实战---私有化部署RAG大模型，ChatGLM2-6B、Baichuan2-13B

图1：RAG的架构流程经过之前一段时间的捣腾，个人感觉我们的RAG应用已经来到了一个全新的层面，在语义理解（相关度）和准确度上都有了长足进步。但是问题来了。之前和菊厂的业务交流中，对方明确提出一些客户的私有化部署意愿是很明确，主要原因是数据安全。这段时间和一些销售人员、潜在客户交流的时候也收到了类似信息。而我们现在的整套技术栈中，唯一还不能私有化的是LLM。而这也是最终客户最担心的问题——他们的数
lichunericli·2023-11-06 21:03

大语言模型的学习路线和开源模型的学习材料《一》

LLMstoNaturalLanguageProcessing(NLP)第一重ChatGLM-6B系列ChatGLM3ChatGLM2-6BChatGLM-6B第十重BaichuanBaichuan2Baichuan
三更两点·2023-11-05 13:56

GPT实战系列-ChatGLM3部署CUDA11+1080Ti+显卡24G实战方案

ChatGLM3模型二、资源需求三、部署安装配置环境安装过程低成本配置部署方案四、启动ChatGLM3五、功能测试新鲜出炉，国产GPT版本迭代更新啦~清华团队刚刚发布ChatGLM3，恰逢云栖大会前百川也发布Baichuan2
Alex_StarSky·2023-11-05 09:24

又一大语言模型上线！一次可读35万汉字！

10月30日，百川智能正式发布Baichuan2-192K长窗口大模型，将大语言模型（LLM）上下文窗口的长度一举提升到了192Ktoken。
机器学习社区·2023-11-04 11:05

TypeError: sdp_kernel() got an unexpected keyword argument ‘enable_mem_efficient‘

1.问题在训练baichuan2-7B-chat模型的时候出现以下问题：2.解决方案根据issues111中提到的解决方式:torch版本升到2.0以上。
hj_caas·2023-11-03 16:46

解决‘BaichuanTokenizer‘ object has no attribute ‘sp_model‘，无需重装transformers和torch

如https://github.com/baichuan-inc/Baichuan2/issues/204中所说：修改下tokenization_baichuan.py，把super()修改到最后执行self.vocab_file
夏离·2023-11-01 18:10

iOS 对接阿里百川淘宝授权随笔

最近做项目对接阿里百川淘宝授权,遇到一些问题记录下.首先按照阿里百川的文档https://baichuan.taobao.com/docs/doc.htm?
埖落嗼楿蓠·2023-10-31 01:21

Baichuan2大模型官方部署与Fastchat部署方案

Baichuan2大模型官方部署与Fastchat部署方案baichuan2模型介绍Fastchat框架介绍环境的配置【本文是在Baichuan2官方定义的推理环境依赖中运行】创建虚拟环境安装baichuan2
那年夏天那缕光·2023-10-30 03:41

BaiChuan-QWen

QWenTokenizer选择bytepairencoding(BPE)作为分词方法vacabulary在中文上做了增强，验证增加vocabulary的规模不会为下游任务带来负面影响ModelPositionalembedding：选择RoPE，反向更新时选择FP32的精度而不是FP16或BP16，以提高模型精度Bias：在多数layer中去除了bias，但是在注意力的QKV的layer中，加入了
银晗·2023-10-30 03:09

【深度学习】【NLP】如何得到一个分词器，如何训练自定义分词器：从基础到实践

训练分词器步骤1：选择分词算法步骤2：准备训练语料步骤3：配置分词器参数步骤4：训练分词器步骤5：测试和使用分词器代码示例：使用SentencePiece训练分词器分词算法的训练要素，如何训练好合并分词表baichuan
XD742971636·2023-10-27 16:53

国内 11 家通过备案的 AI 大模型产品

3、百川智能的“百川大模型”www.baichuan-ai.com4、清华系AI公司智谱华章旗下的“智谱清言”，现已
成小七·2023-10-27 08:59

大语言模型面试心路历程【0 offer版】

GRU与LSTM有什么不同4.讲一下Bert的结构5.讲一下自己的论文【KBQA相关】6.GLM的结构和微调了哪些参数7.LoRA和P-tuning的原理分别是什么8.还了解哪些参数微调的方法9.GLM和baichuan
抓个马尾女孩·2023-10-20 23:40

大模型训练-如何通过modelscope或者hg镜像快速下载LLM大模型文件

大模型镜像地址：https://aifasthub.com/models/baichuan-inc/Baichuan2-7B-Chatmodelscope:https://www.modelscope.cn
愚昧之山绝望之谷开悟之坡·2023-10-18 16:08

大语言模型(LLM)发展历程及模型相关信息汇总（2023-07-12更新）

大语言模型(largelanguagemodel，LLM)发展历程及模型相关信息汇总（2023-07-12更新）LLM发展时间轴：以下用表格形式汇总了从BERT（2018-10-11）到Baichuan
Funny_AI_LAB·2023-10-15 08:24

GPT实战系列-Baichuan2本地化部署实战方案

目录一、百川2（Baichuan2）模型介绍二、资源需求模型文件类型推理的GPU资源要求模型获取途径国外:Huggingface国内：ModelScope三、部署安装配置环境安装过程
Alex_StarSky·2023-10-12 10:10

【产业互联网周报】张勇卸任阿里云董事长与CEO；Arm将于9月14日在纳斯达克挂牌上市；腾讯混元大模型亮相...

腾讯混元大模型通过腾讯云全面开放，腾讯超过50个业务已接入混元测试；出门问问CEO李志飞：算力本身并不构成大模型竞争壁垒；第四范式完成港交所聆讯，最快10月上市，估值超210亿元；首个全国性数据要素公共服务平台上线；百川智能发布Baichuan2
ITValue·2023-10-11 09:36

Langchain-Chatchat项目：1.2-Baichuan2项目整体介绍

一.Baichuan2模型  Baichuan2模型在通用、法律、医疗、数学、代码和多语言翻译六个领域的中英文和多语言权威数据集
NLP工程化·2023-10-07 17:52

大模型部署手记（2）baichuan2+Windows GPU

1.简介组织机构：百川智能（前搜狗CEO王小川创立）代码仓：GitHub-baichuan-inc/Baichuan2:AseriesoflargelanguagemodelsdevelopedbyBaichuanIntelligentTechnology
张小白TWO·2023-10-05 13:32

阿里百川报错104

4、我的demo地址https://gitee.com/hyx5797/baichuan_sdkdemo.git5、替换成你自己的包名、用你的包名去生成安全图片、替换掉项目里面的yw_1222图片6、获取淘宝授权如图截屏
再也不要见·2023-10-04 12:39

Baichuan2 技术报告笔记

TokenizerPositionalEmbeddingsAcitivationsandNormalizationsOptimizations对齐SupervisedFine-TuningRLHF安全性预训练阶段对齐阶段参考资料对Baichuan2
chencjiajy·2023-09-29 22:26

聚观早报 | 2024款小鹏P5全新发布；华为发布13.2英寸MatePad Pro

【聚观365】9月26日消息2024款小鹏P5全新发布华为发布13.2英寸MatePadPro特斯拉发布人形机器人最新进展百川智能发布Baichuan2-53B软件行业仍将人才供不应求2024款小鹏P5
聚观365·2023-09-27 11:12

LLaMA Efficient Tuning 主流大模型的高效工具【预训练+指令监督微调】

LLaMAEfficientTuning的简介2023年6月发布的LLaMAEfficientTuning，它是一款可高效微调【全参数/LoRA/QLoRA】主流大模型【ChatGLM2/LLaMA2/Baichuan
张志翔的博客·2023-09-26 19:59

Baichuan2大模型本地部署

作为今年九月份开源的一个中午大语言模型，Baichuan2已经在各个维度上取得了亮眼的结果，效果已经超过了当前火热的ChatGLM2-6B，可以通过自然语言交互的方式为你提供以下服务：提供知识：我可以回答各领域的问题
Dr.sky_·2023-09-26 18:03

国内大语言模型的相对比较：ChatGLM2-6B、BAICHUAN2-7B、通义千问-6B、ChatGPT3.5

一、前言国产大模型有很多，比如文心一言、通义千问、星火、MOSS和ChatGLM等等，但现在明确可以部署在本地并且开放api的只有MOOS和ChatGLM。MOOS由于需要的GPU显存过大（不量化的情况下需要80GB，多轮对话还是会爆显存），但ChatGLM可以在笔记本电脑部署（int4版本只需要6GB显存即可）。所以本文采用ChatGLM与ChatGPT做对比，看看国产模型的优点和缺点。会在选取
学术菜鸟小晨·2023-09-26 12:16

使用FastChat部署Baichuan2

在这篇文章中，我们将以Baichuan2为例，利用FastChat进行模型部署的实战操作。
AI让世界更懂你·2023-09-24 16:03

FastChat 大模型部署推理；Baichuan2-13B-Chat测试、chatglm2-6b测试

参考：https://github.com/lm-sys/FastChathttps://blog.csdn.net/qq128252/article/details/132759107##安装pip3install"fschat[model_worker,webui]"1、chatglm2-6b测试python3-mfastchat.serve.cli--model-path./chatglm2
loong_XL·2023-09-24 09:11

LLM预训练之RLHF（一）：RLHF及其变种

在ChatGPT引领的大型语言模型时代，国内外的大模型呈现爆发式发展，尤其是以年初的LLaMA模型为首的开源大模型和最近百川智能的baichuan模型，但无一例外，都使用了「基于人类反馈的强化学习」（RLHF
wshzd·2023-09-20 20:02

Baichuan 2: Open Large-scale Language Models

PapernameBaichuan2:OpenLarge-scaleLanguageModelsPaperReadingNotePaperURL:https://cdn.baichuan-ai.com/
kebijuelun·2023-09-20 19:49

LLM（一）| 百川智能baichuan7B、13B、53B以及baichuan2总结

之前在文章baichuan-53BVSChatGLM-6B对比中做过百川大模型53B和ChatGLM6B模型的效果对比，由于百川大模型的内测模型是53B，因此本次对比参数量差异较大，但仍然可以看到两个模型的效果
wshzd·2023-09-18 11:14

ios 阿里百川的集成

首先打开网址https://baichuan.taobao.com/docs/doc.htm?
毛豆爱吃奶·2023-09-18 04:06

FastAPI部署中国最强通用语言大模型Baichuan2

首先，需要安装FastAPI和Uvicorn（用于运行FastAPI应用程序）：pipinstallfastapiuvicorn使用FastAPI框架：fromfastapiimportFastAPI,HTTPException,RequestfrompydanticimportBaseModelimportjsonimportmindsporeasmsfrommindformersimportA
Zain Lau·2023-09-15 12:52

百川的大模型KnowHow

近期百川智能发布了Baichuan2的7B和13B版本，可能不少卷友被刷屏惯了没有仔细看，他们在放出模型的同时也给了一份技术报告，里面干货满满，因此我自来水一波，带大家一起看看百川积累的KnowHow。
李rumor·2023-09-15 08:17

baichuan-53B VS ChatGLM-6B对比

由于百川智能的内测模型是baichuan-53B，尽管模型大小不一致，为了方便，我们仍然选择百川智能baichuan-53B与ChatGLM-6B内测结果进行对比，其中ChatGLM-6B的结果来自https
wshzd·2023-09-15 02:37

大模型升级与设计之道：ChatGLM、LLAMA、Baichuan及LLM结构解析

本文通过深入剖析ChatGLM、LLAMA和Baichuan模型的升级路径，以及探讨大型语言模型结构选型，为大家提供了一个系统性的视角，梳理了大型预训练模型的关键要素。
阿里巴巴淘系技术团队官网博客·2023-09-14 10:26

Baichuan 2: Open Large-scale Language Models

本文是LLM系列文章，针对《Baichuan2:OpenLarge-scaleLanguageModels》的翻译。
UnknownBody·2023-09-14 07:19

AIGC：【LLM（八）】——Baichuan2技术报告

文章目录摘要1.引言2.预训练2.1预训练数据（Pre-trainingData）2.2架构（Architecture）2.3令牌化器（Tokenizer）2.3.1PositionalEmbeddings2.4激活和规范化（ActivationsandNormalizations）2.5优化（Optimizations）2.6规模定律（ScalingLaws）2.7基础设施（Infrastruc
J_Xiong0117·2023-09-13 23:03

AIGC：【LLM（七）】——Baichuan2：真开源可商用的中文大模型

模型推理3.1Chat模型推理3.2Base模型推理四.模型量化4.1量化方法4.2在线量化4.3离线量化4.4量化效果五.模型微调5.1依赖安装5.2单机训练5.3多机训练5.4轻量化微调一.模型介绍Baichuan2
J_Xiong0117·2023-09-12 06:46

【大模型】更强的开源可商用的中英文大语言模型baichuan2来了，从零开始搭建

【大模型】更强的开源可商用的中英文大语言模型baichuan2来了，从零开始搭建Baichuan2介绍技术报告github地址模型下载开放协议协议测试评估通用领域测试7B模型结果13B模型结果法律、医疗
szZack·2023-09-11 09:57

baichuan2(百川2)本地部署的实战方案

本文主要介绍了baichuan2(百川2)本地部署的实战方案，希望对学习大语言模型的同
herosunly·2023-09-10 09:28

LP（六十九）智能文档助手升级

项目介绍在文章NLP（六十一）使用Baichuan-13B-Chat模型构建智能文档中，笔者详细介绍了如何使用Baichuan-13B-Chat模型来构建智能文档问答助手。
山阴少年·2023-09-10 08:44

Baichuan2开源大模型正式发布，王小川：性能超过LLaMA2

大数据产业创新服务媒体——聚焦数据·改变商业ChatGPT火爆出圈之后，社交巨头Meta奋力追赶，分别在3月、7月发布开源的LLaMA、LLaMA2大模型，引领一场大模型开源运动。LLaMA2大模型，包含了70亿、130亿、700亿参数三个版本，性能直追GPT3.5，发布之后引起轰动。业界普遍认为，在科技巨头之间的大模型之战中，LLaMA2成功为Meta赢得了一张入场券。LLaMA2与OpenAI
数据猿·2023-09-10 05:26

LLMs之Baichuan 2：Baichuan 2的简介、安装、使用方法之详细攻略

LLMs之Baichuan2：Baichuan2的简介、安装、使用方法之详细攻略目录相关文章LLMs之Baichuan：Baichuan-13B模型的简介(包括Baichuan-7B)、安装、使用方法之详细攻略
一个处女座的程序猿·2023-09-08 16:04

测试一下 Baichuan2-7B-Chat 的性能

测试一下Baichuan2-7B-Chat的性能0.背景1.实际测试结果(截图)0.背景为了了解一下阿里通义千问-7B-Chat的性能，出了几个问题测试一下。
engchina·2023-09-08 13:56

LLMs之Baichuan 2：《Baichuan 2: Open Large-scale Language Models》翻译与解读

LLMs之Baichuan2：《Baichuan2:OpenLarge-scaleLanguageModels》翻译与解读导读：2023年9月6日，百川智能重磅发布Baichuan2。
一个处女座的程序猿·2023-09-08 11:58

Dify 用户直面会:「Dify x 开源模型」的无限可能 & Baichuan 模型详解

本次线上直面会我们邀请了百川智能的Alex老师和Dify创始人张路宇和大家一起探讨关于开源LLMOps和Baichuan开源模型结合的最佳实践、当前模型技术及市场的发展趋势等话题。直面会上
·2023-09-07 18:56

9月7日，每日信息差

国际奥委会宣布成立电子竞技委员会第三、快手旗下房产业务平台快手理想家宣布正式开启“96安家节”，未来一个月，将拿出3亿购房礼金，联动开发商、房产机构和主播，为购房者带来六重好礼和优质房源第四、百川智能宣布正式开源微调后的Baichuan2
今日信息差·2023-09-07 17:23

使用全套开源工具构建 LLM 应用实战：在 Dify 调用 Baichuan 开源模型能力

背景在当下开源大语言模型火热的背景下，有很大一部分开发者希望本地部署开源LLM，用于研究LLM或者是基于开源LLM构建自己的LLM应用。笔者也正在尝试通过开源社区的一系列相关优秀项目，通过本地化部署服务来构建自己的LLM应用。那么本地部署一个开源LLM来构建一个聊天应用需要哪些准备呢？本地环境的准备：因为我们需要在本地部署一个开源的大模型，所以你需要准备一个相当硬核的本地环境。硬件上需要一台拥有高
·2023-09-01 15:09

使用自己的领域数据扩充baichuan模型词表（其他模型也一样）

环境jsonlines==3.1.0sentencepiece==0.1.99transformers==4.28.1项目结构其中tokenization_baichuan.py是直接从百川模型文件夹里复制过来的
ToTensor·2023-09-01 10:44

百川Dynamic NTK-ALiBi的代码实现：无需微调即可推理更长文本

文章目录前言代码实现完整代码前言NTK-ALiBi原理：NTK-ALiBi：通过插值实现大模型ALiBi位置编码的长文本外推代码实现打开百川模型文件夹中的modeling_baichuan.py1、增加
ToTensor·2023-09-01 10:13
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他