E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Baichuan
部署你自己的OpenAI格式api,基于flask, transformers (使用
Baichuan
2-13B-Chat-4bits 模型,可以运行在单张Tesla T4显卡)
//github.com/billvsme/my_openai_api单文件实现OpenAI格式api(包含流式响应)部署你自己的OpenAI格式api,基于flask,transformers(使用
Baichuan
2
billvsme
·
2023-11-08 21:00
AI
flask
python
后端
ai
transformer
pytorch
LangChain+LLM实战---私有化部署RAG大模型,ChatGLM2-6B、
Baichuan
2-13B
图1:RAG的架构流程经过之前一段时间的捣腾,个人感觉我们的RAG应用已经来到了一个全新的层面,在语义理解(相关度)和准确度上都有了长足进步。但是问题来了。之前和菊厂的业务交流中,对方明确提出一些客户的私有化部署意愿是很明确,主要原因是数据安全。这段时间和一些销售人员、潜在客户交流的时候也收到了类似信息。而我们现在的整套技术栈中,唯一还不能私有化的是LLM。而这也是最终客户最担心的问题——他们的数
lichunericli
·
2023-11-06 21:03
LangChain-LLM
langchain
大语言模型的学习路线和开源模型的学习材料《一》
LLMstoNaturalLanguageProcessing(NLP)第一重ChatGLM-6B系列ChatGLM3ChatGLM2-6BChatGLM-6B第十重BaichuanBaichuan2
Baichuan
三更两点
·
2023-11-05 13:56
AI前沿与LLM
chatGPT
语言模型
学习
人工智能
GPT实战系列-ChatGLM3部署CUDA11+1080Ti+显卡24G实战方案
ChatGLM3模型二、资源需求三、部署安装配置环境安装过程低成本配置部署方案四、启动ChatGLM3五、功能测试新鲜出炉,国产GPT版本迭代更新啦~清华团队刚刚发布ChatGLM3,恰逢云栖大会前百川也发布
Baichuan
2
Alex_StarSky
·
2023-11-05 09:24
GPT实战系列
ChatGLM3
GPT
1080Ti显卡
AIGC
Nvidia
Cuda
大模型
LLM
又一大语言模型上线!一次可读35万汉字!
10月30日,百川智能正式发布
Baichuan
2-192K长窗口大模型,将大语言模型(LLM)上下文窗口的长度一举提升到了192Ktoken。
机器学习社区
·
2023-11-04 11:05
机器学习
语言模型
人工智能
自然语言处理
大模型
算法
TypeError: sdp_kernel() got an unexpected keyword argument ‘enable_mem_efficient‘
1.问题在训练
baichuan
2-7B-chat模型的时候出现以下问题:2.解决方案根据issues111中提到的解决方式:torch版本升到2.0以上。
hj_caas
·
2023-11-03 16:46
bug解决
python
自然语言处理
解决‘BaichuanTokenizer‘ object has no attribute ‘sp_model‘,无需重装transformers和torch
如https://github.com/
baichuan
-inc/
Baichuan
2/issues/204中所说:修改下tokenization_
baichuan
.py,把super()修改到最后执行self.vocab_file
夏离
·
2023-11-01 18:10
python
语言模型
iOS 对接阿里百川淘宝授权随笔
最近做项目对接阿里百川淘宝授权,遇到一些问题记录下.首先按照阿里百川的文档https://
baichuan
.taobao.com/docs/doc.htm?
埖落嗼楿蓠
·
2023-10-31 01:21
Baichuan
2大模型官方部署与Fastchat部署方案
Baichuan
2大模型官方部署与Fastchat部署方案
baichuan
2模型介绍Fastchat框架介绍环境的配置【本文是在
Baichuan
2官方定义的推理环境依赖中运行】创建虚拟环境安装
baichuan
2
那年夏天那缕光
·
2023-10-30 03:41
部署
人工智能
深度学习
python
BaiChuan
-QWen
QWenTokenizer选择bytepairencoding(BPE)作为分词方法vacabulary在中文上做了增强,验证增加vocabulary的规模不会为下游任务带来负面影响ModelPositionalembedding:选择RoPE,反向更新时选择FP32的精度而不是FP16或BP16,以提高模型精度Bias:在多数layer中去除了bias,但是在注意力的QKV的layer中,加入了
银晗
·
2023-10-30 03:09
人工智能
深度学习
【深度学习】【NLP】如何得到一个分词器,如何训练自定义分词器:从基础到实践
训练分词器步骤1:选择分词算法步骤2:准备训练语料步骤3:配置分词器参数步骤4:训练分词器步骤5:测试和使用分词器代码示例:使用SentencePiece训练分词器分词算法的训练要素,如何训练好合并分词表
baichuan
XD742971636
·
2023-10-27 16:53
深度学习机器学习
深度学习
人工智能
国内 11 家通过备案的 AI 大模型产品
3、百川智能的“百川大模型”www.
baichuan
-ai.com4、清华系AI公司智谱华章旗下的“智谱清言”,现已
成小七
·
2023-10-27 08:59
AIGC
大语言模型面试心路历程【0 offer版】
GRU与LSTM有什么不同4.讲一下Bert的结构5.讲一下自己的论文【KBQA相关】6.GLM的结构和微调了哪些参数7.LoRA和P-tuning的原理分别是什么8.还了解哪些参数微调的方法9.GLM和
baichuan
抓个马尾女孩
·
2023-10-20 23:40
其他
语言模型
chatgpt
面试
大模型训练-如何通过modelscope或者hg镜像快速下载LLM大模型文件
大模型镜像地址:https://aifasthub.com/models/
baichuan
-inc/
Baichuan
2-7B-Chatmodelscope:https://www.modelscope.cn
愚昧之山绝望之谷开悟之坡
·
2023-10-18 16:08
笔记
人工智能
AIGC
笔记
大语言模型(LLM)发展历程及模型相关信息汇总(2023-07-12更新)
大语言模型(largelanguagemodel,LLM)发展历程及模型相关信息汇总(2023-07-12更新)LLM发展时间轴:以下用表格形式汇总了从BERT(2018-10-11)到
Baichuan
Funny_AI_LAB
·
2023-10-15 08:24
AIGC
语言模型
人工智能
自然语言处理
nlp
AIGC
GPT实战系列-
Baichuan
2本地化部署实战方案
目录一、百川2(
Baichuan
2)模型介绍二、资源需求模型文件类型推理的GPU资源要求模型获取途径国外:Huggingface国内:ModelScope三、部署安装配置环境安装过程
Alex_StarSky
·
2023-10-12 10:10
GPT实战系列
AIGC
ChatGPT
GPT
Baichuan
人工智能
智能对话
Huggingface
【产业互联网周报】张勇卸任阿里云董事长与CEO;Arm将于9月14日在纳斯达克挂牌上市;腾讯混元大模型亮相...
腾讯混元大模型通过腾讯云全面开放,腾讯超过50个业务已接入混元测试;出门问问CEO李志飞:算力本身并不构成大模型竞争壁垒;第四范式完成港交所聆讯,最快10月上市,估值超210亿元;首个全国性数据要素公共服务平台上线;百川智能发布
Baichuan
2
ITValue
·
2023-10-11 09:36
阿里云
云计算
Langchain-Chatchat项目:1.2-
Baichuan
2项目整体介绍
一.
Baichuan
2模型
Baichuan
2模型在通用、法律、医疗、数学、代码和多语言翻译六个领域的中英文和多语言权威数据集
NLP工程化
·
2023-10-07 17:52
langchain
pytorch
深度学习
大模型部署手记(2)
baichuan
2+Windows GPU
1.简介组织机构:百川智能(前搜狗CEO王小川创立)代码仓:GitHub-
baichuan
-inc/
Baichuan
2:AseriesoflargelanguagemodelsdevelopedbyBaichuanIntelligentTechnology
张小白TWO
·
2023-10-05 13:32
大模型
深度学习
阿里百川报错104
4、我的demo地址https://gitee.com/hyx5797/
baichuan
_sdkdemo.git5、替换成你自己的包名、用你的包名去生成安全图片、替换掉项目里面的yw_1222图片6、获取淘宝授权如图截屏
再也不要见
·
2023-10-04 12:39
Baichuan
2 技术报告笔记
TokenizerPositionalEmbeddingsAcitivationsandNormalizationsOptimizations对齐SupervisedFine-TuningRLHF安全性预训练阶段对齐阶段参考资料对
Baichuan
2
chencjiajy
·
2023-09-29 22:26
深度学习
笔记
论文阅读
大语言模型
聚观早报 | 2024款小鹏P5全新发布;华为发布13.2英寸MatePad Pro
【聚观365】9月26日消息2024款小鹏P5全新发布华为发布13.2英寸MatePadPro特斯拉发布人形机器人最新进展百川智能发布
Baichuan
2-53B软件行业仍将人才供不应求2024款小鹏P5
聚观365
·
2023-09-27 11:12
特斯拉
小鹏
人工智能
LLaMA Efficient Tuning 主流大模型的高效工具【预训练+指令监督微调】
LLaMAEfficientTuning的简介2023年6月发布的LLaMAEfficientTuning,它是一款可高效微调【全参数/LoRA/QLoRA】主流大模型【ChatGLM2/LLaMA2/
Baichuan
张志翔的博客
·
2023-09-26 19:59
ChatGLM实战教程
人工智能
机器学习
语言模型
深度学习
Baichuan
2大模型本地部署
作为今年九月份开源的一个中午大语言模型,
Baichuan
2已经在各个维度上取得了亮眼的结果,效果已经超过了当前火热的ChatGLM2-6B,可以通过自然语言交互的方式为你提供以下服务:提供知识:我可以回答各领域的问题
Dr.sky_
·
2023-09-26 18:03
自然语言处理
人工智能
深度学习
pytorch
chatgpt
国内大语言模型的相对比较:ChatGLM2-6B、
BAICHUAN
2-7B、通义千问-6B、ChatGPT3.5
一、前言国产大模型有很多,比如文心一言、通义千问、星火、MOSS和ChatGLM等等,但现在明确可以部署在本地并且开放api的只有MOOS和ChatGLM。MOOS由于需要的GPU显存过大(不量化的情况下需要80GB,多轮对话还是会爆显存),但ChatGLM可以在笔记本电脑部署(int4版本只需要6GB显存即可)。所以本文采用ChatGLM与ChatGPT做对比,看看国产模型的优点和缺点。会在选取
学术菜鸟小晨
·
2023-09-26 12:16
语言模型
人工智能
chatglm
使用FastChat部署
Baichuan
2
在这篇文章中,我们将以
Baichuan
2为例,利用FastChat进行模型部署的实战操作。
AI让世界更懂你
·
2023-09-24 16:03
大规模语言模型
人工智能
语言模型
python
FastChat 大模型部署推理;
Baichuan
2-13B-Chat测试、chatglm2-6b测试
参考:https://github.com/lm-sys/FastChathttps://blog.csdn.net/qq128252/article/details/132759107##安装pip3install"fschat[model_worker,webui]"1、chatglm2-6b测试python3-mfastchat.serve.cli--model-path./chatglm2
loong_XL
·
2023-09-24 09:11
深度学习
大模型部署
LLM预训练之RLHF(一):RLHF及其变种
在ChatGPT引领的大型语言模型时代,国内外的大模型呈现爆发式发展,尤其是以年初的LLaMA模型为首的开源大模型和最近百川智能的
baichuan
模型,但无一例外,都使用了「基于人类反馈的强化学习」(RLHF
wshzd
·
2023-09-20 20:02
ChatGPT
笔记
NLP
chatgpt
AIGC
Baichuan
2: Open Large-scale Language Models
PapernameBaichuan2:OpenLarge-scaleLanguageModelsPaperReadingNotePaperURL:https://cdn.
baichuan
-ai.com/
kebijuelun
·
2023-09-20 19:49
paper_reading
语言模型
人工智能
自然语言处理
LLM(一)| 百川智能
baichuan
7B、13B、53B以及
baichuan
2总结
之前在文章
baichuan
-53BVSChatGLM-6B对比中做过百川大模型53B和ChatGLM6B模型的效果对比,由于百川大模型的内测模型是53B,因此本次对比参数量差异较大,但仍然可以看到两个模型的效果
wshzd
·
2023-09-18 11:14
ChatGPT
NLP
笔记
chatgpt
AIGC
ios 阿里百川的集成
首先打开网址https://
baichuan
.taobao.com/docs/doc.htm?
毛豆爱吃奶
·
2023-09-18 04:06
FastAPI部署中国最强通用语言大模型
Baichuan
2
首先,需要安装FastAPI和Uvicorn(用于运行FastAPI应用程序):pipinstallfastapiuvicorn使用FastAPI框架:fromfastapiimportFastAPI,HTTPException,RequestfrompydanticimportBaseModelimportjsonimportmindsporeasmsfrommindformersimportA
Zain Lau
·
2023-09-15 12:52
fastapi
百川的大模型KnowHow
近期百川智能发布了
Baichuan
2的7B和13B版本,可能不少卷友被刷屏惯了没有仔细看,他们在放出模型的同时也给了一份技术报告,里面干货满满,因此我自来水一波,带大家一起看看百川积累的KnowHow。
李rumor
·
2023-09-15 08:17
机器学习
人工智能
深度学习
baichuan
-53B VS ChatGLM-6B对比
由于百川智能的内测模型是
baichuan
-53B,尽管模型大小不一致,为了方便,我们仍然选择百川智能
baichuan
-53B与ChatGLM-6B内测结果进行对比,其中ChatGLM-6B的结果来自https
wshzd
·
2023-09-15 02:37
ChatGPT
笔记
chatgpt
大模型升级与设计之道:ChatGLM、LLAMA、
Baichuan
及LLM结构解析
本文通过深入剖析ChatGLM、LLAMA和
Baichuan
模型的升级路径,以及探讨大型语言模型结构选型,为大家提供了一个系统性的视角,梳理了大型预训练模型的关键要素。
阿里巴巴淘系技术团队官网博客
·
2023-09-14 10:26
llama
Baichuan
2: Open Large-scale Language Models
本文是LLM系列文章,针对《
Baichuan
2:OpenLarge-scaleLanguageModels》的翻译。
UnknownBody
·
2023-09-14 07:19
LLM
语言模型
人工智能
自然语言处理
AIGC:【LLM(八)】——
Baichuan
2技术报告
文章目录摘要1.引言2.预训练2.1预训练数据(Pre-trainingData)2.2架构(Architecture)2.3令牌化器(Tokenizer)2.3.1PositionalEmbeddings2.4激活和规范化(ActivationsandNormalizations)2.5优化(Optimizations)2.6规模定律(ScalingLaws)2.7基础设施(Infrastruc
J_Xiong0117
·
2023-09-13 23:03
LLMs
自然语言处理
前沿技术paper
AIGC
AIGC:【LLM(七)】——
Baichuan
2:真开源可商用的中文大模型
模型推理3.1Chat模型推理3.2Base模型推理四.模型量化4.1量化方法4.2在线量化4.3离线量化4.4量化效果五.模型微调5.1依赖安装5.2单机训练5.3多机训练5.4轻量化微调一.模型介绍
Baichuan
2
J_Xiong0117
·
2023-09-12 06:46
LLMs
自然语言处理
AIGC
开源
【大模型】更强的开源可商用的中英文大语言模型
baichuan
2来了,从零开始搭建
【大模型】更强的开源可商用的中英文大语言模型
baichuan
2来了,从零开始搭建
Baichuan
2介绍技术报告github地址模型下载开放协议协议测试评估通用领域测试7B模型结果13B模型结果法律、医疗
szZack
·
2023-09-11 09:57
大语言模型
baichuan2
llm
baichuan
2(百川2)本地部署的实战方案
本文主要介绍了
baichuan
2(百川2)本地部署的实战方案,希望对学习大语言模型的同
herosunly
·
2023-09-10 09:28
类GPT工具使用技巧和论文解读
AIGC
百川2
baichuan2
大语言模型
GPT
LP(六十九)智能文档助手升级
项目介绍在文章NLP(六十一)使用
Baichuan
-13B-Chat模型构建智能文档中,笔者详细介绍了如何使用
Baichuan
-13B-Chat模型来构建智能文档问答助手。
山阴少年
·
2023-09-10 08:44
NLP
文档问答
LLM
Baichuan
2开源大模型正式发布,王小川:性能超过LLaMA2
大数据产业创新服务媒体——聚焦数据·改变商业ChatGPT火爆出圈之后,社交巨头Meta奋力追赶,分别在3月、7月发布开源的LLaMA、LLaMA2大模型,引领一场大模型开源运动。LLaMA2大模型,包含了70亿、130亿、700亿参数三个版本,性能直追GPT3.5,发布之后引起轰动。业界普遍认为,在科技巨头之间的大模型之战中,LLaMA2成功为Meta赢得了一张入场券。LLaMA2与OpenAI
数据猿
·
2023-09-10 05:26
开源
LLMs之
Baichuan
2:
Baichuan
2的简介、安装、使用方法之详细攻略
LLMs之
Baichuan
2:
Baichuan
2的简介、安装、使用方法之详细攻略目录相关文章LLMs之
Baichuan
:
Baichuan
-13B模型的简介(包括
Baichuan
-7B)、安装、使用方法之详细攻略
一个处女座的程序猿
·
2023-09-08 16:04
NLP/LLMs
语言模型
自然语言处理
Baichuan
测试一下
Baichuan
2-7B-Chat 的性能
测试一下
Baichuan
2-7B-Chat的性能0.背景1.实际测试结果(截图)0.背景为了了解一下阿里通义千问-7B-Chat的性能,出了几个问题测试一下。
engchina
·
2023-09-08 13:56
LINUX
Baichuan2-7B
LLMs之
Baichuan
2:《
Baichuan
2: Open Large-scale Language Models》翻译与解读
LLMs之
Baichuan
2:《
Baichuan
2:OpenLarge-scaleLanguageModels》翻译与解读导读:2023年9月6日,百川智能重磅发布
Baichuan
2。
一个处女座的程序猿
·
2023-09-08 11:58
NLP/LLMs
语言模型
人工智能
自然语言处理
Dify 用户直面会:「Dify x 开源模型」的无限可能 &
Baichuan
模型详解
本次线上直面会我们邀请了百川智能的Alex老师和Dify创始人张路宇和大家一起探讨关于开源LLMOps和
Baichuan
开源模型结合的最佳实践、当前模型技术及市场的发展趋势等话题。直面会上
·
2023-09-07 18:56
人工智能llm
9月7日,每日信息差
国际奥委会宣布成立电子竞技委员会第三、快手旗下房产业务平台快手理想家宣布正式开启“96安家节”,未来一个月,将拿出3亿购房礼金,联动开发商、房产机构和主播,为购房者带来六重好礼和优质房源第四、百川智能宣布正式开源微调后的
Baichuan
2
今日信息差
·
2023-09-07 17:23
信息差Pro
自动驾驶
5G
人工智能
网络
微信小程序
使用全套开源工具构建 LLM 应用实战:在 Dify 调用
Baichuan
开源模型能力
背景在当下开源大语言模型火热的背景下,有很大一部分开发者希望本地部署开源LLM,用于研究LLM或者是基于开源LLM构建自己的LLM应用。笔者也正在尝试通过开源社区的一系列相关优秀项目,通过本地化部署服务来构建自己的LLM应用。那么本地部署一个开源LLM来构建一个聊天应用需要哪些准备呢?本地环境的准备:因为我们需要在本地部署一个开源的大模型,所以你需要准备一个相当硬核的本地环境。硬件上需要一台拥有高
·
2023-09-01 15:09
人工智能
使用自己的领域数据扩充
baichuan
模型词表(其他模型也一样)
环境jsonlines==3.1.0sentencepiece==0.1.99transformers==4.28.1项目结构其中tokenization_
baichuan
.py是直接从百川模型文件夹里复制过来的
ToTensor
·
2023-09-01 10:44
NLP实战
深度学习
机器学习
人工智能
百川Dynamic NTK-ALiBi的代码实现:无需微调即可推理更长文本
文章目录前言代码实现完整代码前言NTK-ALiBi原理:NTK-ALiBi:通过插值实现大模型ALiBi位置编码的长文本外推代码实现打开百川模型文件夹中的modeling_
baichuan
.py1、增加
ToTensor
·
2023-09-01 10:13
NLP成长之路
pytorch
python
深度学习
上一页
1
2
3
4
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他