E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
chatglm
超详细!主流大语言模型的技术原理细节汇总!
1.比较LLaMA、
ChatGLM
、Falcon等大语言模型的细节:tokenizer、位置编码、LayerNormalization、激活函数等。
Python算法实战
·
2023-10-13 03:23
大模型理论与实战
大模型
语言模型
人工智能
自然语言处理
算法
chatglm
.cpp使用手记
chatglm
.cppAI搭建1.环境准备2githup下载项目3安装加载和量化拥抱面模型所需的软件包4准备编译环境5开始编译项目6模型转换7CLI验证8web验证9api验证10遗留问题1.环境准备cat
这样的宋哥哥
·
2023-10-12 06:57
AI
ai
虚拟桌宠模拟器(VPet)使用
ChatGLM
替代ChatGPT
开源工程虚拟桌宠
ChatGLM
特别感谢zkz098大佬找到的BUG和给出的解决方案1.拉取代码cdProjectgitclonehttps://github.com/THUDM/
ChatGLM
2-6B.git2
人工智能护发素
·
2023-10-11 20:09
chatgpt
ChatGLM
2-6B微调实践-P-Tuning方案
ChatGLM
2-6B微调实践环境准备安装部署1、安装Anaconda2、安装CUDA3、安装PyTorch4、安装
ChatGLM
2-6B微调实践1、准备数据集2、安装python依赖3、微调并训练新模型
我在北国不背锅
·
2023-10-10 19:36
大模型
chatglm
linux
LLM 时代,如何优雅地训练大模型?
details/130764843整理大家好,ChatGPT于2022年12月初发布,震惊轰动了全世界,发布后的这段时间里,一系列国内外的大模型训练开源项目接踵而至,例如Alpaca、BOOLM、LLaMA、
ChatGLM
Python算法实战
·
2023-10-10 05:09
大模型
大模型理论与实战
算法
人工智能
大模型
知识图谱
深度学习
通过Python提取pdf中的文字
通过Python的pdfplumber库提取pdf中的文字背景安装pdfplumber提取PDF文字提取PDF表格PyPDF2分割pdf合并PDFpdf旋转PDF加密解密加密解密加水印背景参加了
chatglm
JOKers_Joke
·
2023-10-10 03:49
python
pdf
开发语言
语言模型
数据分析
阿里云
ChatGLM
2-6B 模型本地部署及基于 P-Tuning v2 的微调
1.说明
ChatGLM
2-6B是开源中英双语对话模型
ChatGLM
-6B的第二代版本,在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上,还引入了更强大的性能、更强大的性能、更高效的推理、更高效的推理四大特性
天于
·
2023-10-09 04:06
python
人工智能
(三)
ChatGLM
-6B 的 DeepSpeed/P-Tuning v2微调
文章目录模型文件和相关代码准备
ChatGLM
6B部署解决`ninja`报错训练开始模型文件和相关代码准备安装日期:2023-04-19模型文件地址:https://huggingface.co/THUDM
sawyes
·
2023-10-09 04:05
NLP
nlp
pytorch
使用DeepSpeed/P-Tuning v2对
ChatGLM
-6B进行微调
link之前尝试了基于
ChatGLM
-6B使用LoRA进行参数高效微调,本文给大家分享使用DeepSpeed和P-Tuningv2对
ChatGLM
-6B进行微调,相关代码放置在GitHub上面:llm-action
luoganttcc
·
2023-10-09 04:34
大模型
大模型
ChatGLM
-6B 部署与 P-Tuning 微调实战
但最近一个月,开源文本大模型如雨后春笋般接踵而至,例如LLaMA、Alpaca、Vicuna、
ChatGLM
-6B等。树先生觉得这个事有着落了,毕竟站在巨人的肩膀上,离成功就会更近一步。
程序员树先生
·
2023-10-09 04:29
人工智能
热点
python
人工智能
语言模型
chatgpt
ChatGLM
-6B微调p tuning v2和lora对比
官方项目地址:https://github.com/THUDM/
ChatGLM
-6B参考本人之前的博客下载
ChatGLM
-6B模型:https://blog.csdn.net/Acecai01/article
Acecai01
·
2023-10-09 04:28
算法平台
ChatGLM-6B
P
tuning
v2
Lora
微调
从0到1基于
ChatGLM
-6B使用LoRA进行参数高效微调
从0到1基于
ChatGLM
-6B使用LoRA进行参数高效微调吃果冻不吐果冻皮关注他cliniNLPer等189人赞同了该文章目录收起
ChatGLM
-6B简介具备的一些能力局限性LoRA技术原理环境搭建数据集准备数据预处理参数高效微调单卡模式模型训练数据并行模式模型训练模型推理结语之前尝试了基于
luoganttcc
·
2023-10-09 03:58
大模型
大模型
LLMs 入门实战系列
【LLMs入门实战系列】第一层LLMstoNaturalLanguageProcessing(NLP)第一重
ChatGLM
-6B系列
ChatGLM
-6BChatGLM2-6B第十一重Llama2第十重BaichuanBaichuan
luoganttcc
·
2023-10-08 19:25
大模型
大模型
ChatGPT中文LLM相关的开源大模型资源汇总
文章目录前言1.文本LLM模型1.1
ChatGLM
-6B1.2
ChatGLM
2-6B1.3Moss1.4Chinese-LLaMA-Alpaca1.5OpenChineseLLaMA1.6BELLE1.7Panda1.8Robin1.9Fengshenbang-LM1.10Luotuo-Chinese-LLM1.11Linly1.12Firefly1.13ChatYuan1.14ChatRWKV1
goomind
·
2023-10-08 09:46
大模型
chatgpt
汇总开源大模型的本地API启动方式
文章目录CodeGeex2
ChatGLM
2_6BBaichuan2_13Bsqlcoder开启后测试CodeGeex2fromfastapiimportFastAPI,RequestfromtransformersimportAutoTokenizer
羊城迷鹿
·
2023-10-08 09:39
自然语言处理
神经网络
python
大模型
API
本地部署 langchain-
ChatGLM
简介什么是langchain-
ChatGLM
一种利用
ChatGLM
-6B+langchain实现的基于本地知识的
ChatGLM
应用。
kuokay
·
2023-10-07 22:35
人工智能
深度学习
自然语言处理
langchain
glm
Langchain-Chatchat项目:1.1-
ChatGLM
2项目整体介绍
ChatGLM
2-6B是开源中英双语对话模型
ChatGLM
-6B的第2代版本,引入新的特性包括更长的上下文(基于FlashAttention技术,将基座模型的上下文长度由
ChatGLM
-6B的2K扩展到了
NLP工程化
·
2023-10-07 18:42
langchain
pytorch
深度学习
ChatGLM
2-6B的通透解析:从FlashAttention、Multi-Query Attention到GLM2的微调、源码解读
目录前言第一部分相比第一代的改进点:FlashAttention与Multi-QueryAttention第二部分FlashAttention:减少内存访问提升计算速度——更长上下文的关键2.1FlashAttention相关的背景知识2.1.1Transformer计算复杂度:编辑——Self-Attention层与MLP层2.1.1.1Self-Attention层的计算复杂度:2.1.1.2
v_JULY_v
·
2023-10-07 03:04
论文
代码
实战
ChatGLM2-6B
FlashAttention
Multi-Query注意力
ChatGLM
2发布,位居C-Eval榜首!
部署推理环境配置模型下载git-lfs安装代码调用基于gradio的网页版Demo显存占用情况数理逻辑推理性能显存占用的减少量化对模型性能的影响基于P-Tuningv2的微调(官方)环境配置微调数据准备微调
ChatGLM
dzysunshine
·
2023-10-07 03:34
ChatGPT
chatgpt
chatglm
清华大学开源
ChatGLM
2-6B开源模型在anaconda下的虚拟环境详细部署及安装教程
感谢清华大学开源的
ChatGLM
2-6B软件,让我们国人有属于自己的AI聊天机器人,期待新版本的推出。
best_mimo
·
2023-10-05 17:28
Web前端设计
开源
大模型部署手记(1)
ChatGLM
2+Windows GPU
1.简介:组织机构:智谱/清华代码仓:https://github.com/THUDM/
ChatGLM
2-6B模型:THUDM/
chatglm
2-6b下载:https://huggingface.co/
张小白TWO
·
2023-10-05 13:03
大模型
深度学习
llama
看注解逐行学习
ChatGLM
2-6B大模型,项目中的modeling_
chatglm
.py文件
模型代码地址"""PyTorchChatGLMmodel.ChatGLMModel模型结构(假设输入X大小为3x5)转载自:https://blog.csdn.net/hjyai94/article/details/132504200(embedding)Embedding(转置后5x3x4096)word_embeddings:Embedding(65024,4096)(rotary_pos_e
小怪兽会微笑
·
2023-10-05 10:05
AGI
学习笔记
agi
人工智能
大模型Llama2部署,基于text-generation-webui、Llama2-Chinese
一键部署llama2+
chatglm
2,集成所有环境和微调功能,本地化界面操作!
cheng_tc
·
2023-10-05 05:46
大模型
llama
ai
语言模型
极简教学 |
ChatGLM
2-6B在只有cpu的linux服务器部署
目录一、安装wget二、安装git三、安装pip四、下载
ChatGLM
2-6B源码五、安装Anaconda六、安装pytorch七、下载模型库八、最后的准备工作九、运行程序一、安装wget1.删除自带的
倾斜的橡胶
·
2023-10-04 19:16
服务器
linux
运维
分享9个已开源的GPT4平替,用过感觉还不错
分享9个已开源的GPT4平替,用过感觉还不错鱼子酱关注她22人赞同了该文章目录收起1.ColossalAI2.
ChatGLM
3.LLaMa4.LLaMa-ChatLLaMA5.BELLE6.PaLM-rlhf-pytorch7
luoganttcc
·
2023-10-04 16:08
大模型
大模型
【LLM】主流大模型体验(文心一言 科大讯飞 字节豆包 百川 阿里通义千问 商汤商量)
note智谱AI体验百度文心一言体验科大讯飞大模型体验字节豆包百川智能大模型阿里通义千问商汤商量简要分析:仅从测试“老婆饼为啥没有老婆”这个问题的结果来看,
chatglm
分点作答有条理(但第三点略有逻辑问题
山顶夕景
·
2023-10-03 15:02
LLM大模型
大模型
文心一言
人工智能
ImportError: cannot import name ‘GenerationConfig‘ from ‘transformers.generation.utils‘
部署
Chatglm
2的时候报错:ImportError:cannotimportname'GenerationConfig'from'transformers.generation.utils'出错原因是本地的
mldxs
·
2023-10-03 15:25
前端
linux
javascript
GLM-130B-一个开放的双语通用预训练模型-论文精读
本文为作为类ChatGPT的模型
ChatGLM
的前期基础论文2《ANOPENBILINGUALPRE-TRAINEDMODEL》的精读笔记,基础论文1的精读笔记请见《GLM论文精读-自回归填空的通用语言模型
旺仔的算法coding笔记
·
2023-10-02 16:02
类GPT的LLM论文与代码精读
人工智能
自然语言处理
chatgpt
大语言模型
[DeepSpeed]RuntimeError: output tensor must have the same type as input tensor
最近在跑
chatglm
2的sft的时候出现了下面的错误,我的运行方式是bf16,deepspeedzero3,因为担心fp16会有很多的nan.File"/home/suser/.conda/envs/
农民小飞侠
·
2023-10-02 10:39
deepspeed
亲测可用国产GPT人工智能
清华大学
ChatGLM
官网:智谱清言中国版对话语言模型,与GLM大模型进行对话。https://
chatglm
.cn/开源的、支持中英双语的1300亿参数的对话语言模型,清华大学团队。
燃烧的枫
·
2023-10-01 20:04
AI科普
gpt
人工智能
chatgpt
nlp
深度学习实战54-基于
ChatGLM
2大模型构建智能自助用药问答系统与药物智能管理实战的应用
大家好,我是微学AI,今天给大家介绍一下深度学习实战54-基于
ChatGLM
2大模型构建智能自助用药问答系统与药物智能管理实战的应用。随着人工智能技术的发展,我们的生活在许多方面都得到了改善。
微学AI
·
2023-09-28 15:38
人工智能结合医疗
深度学习实战(进阶)
深度学习
人工智能
ChatGLM2-6B
QLoRa
微调
药物管理
使用Triton部署
chatglm
2-6b模型 | 京东云技术团队
支持的模型类型包括TensorRT、TensorFlow、PyTorch(meta-llama/Llama-2-7b)、Python(
chatglm
)、ONNXRuntime和OpenVino。
·
2023-09-27 12:31
趋动云GPU云平台部署
ChatGLM
-6B
目录
ChatGLM
-6B是什么?模型部署Step1.创建项目并上传代码Step2.环境准备Step3.加载模型
ChatGLM
-6B是什么?
ChatGLM
-6B是一个基于GLM的生成式对话模型。
LYLYC_3
·
2023-09-27 01:41
python
【大模型系列 04】Chat-GLM-6B for PyTorch 昇腾迁移
源码链接https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/PyTorch/built-in/foundation/
ChatGLM
-6BChat-GLM
hiascend
·
2023-09-26 22:03
训练开发
pytorch
人工智能
python
ChatGLM
大模型外挂(向量)知识库
前言如果我们想往大模型里边注入知识,最先能想到的就是对大模型进行微调。笔者曾实验过,只用几十万量级的数据对大模型进行微调并不能很好的将额外知识注入大模型,笔者在算力这方面囊中羞涩,只有4块卡,这几十万量级的数据训练6B的模型都要训练好几天。。。如果不微调的话,其实还是可以利用外挂数据库的方式让大模型利用额外的知识的,比如向量数据库或者是图数据库,本文主要讲解大模型如何外挂向量数据库,外挂图数据库如
张志翔的博客
·
2023-09-26 20:36
ChatGLM实战教程
人工智能
深度学习
自然语言处理
LLaMA Efficient Tuning 主流大模型的高效工具【预训练+指令监督微调】
LLaMAEfficientTuning的简介2023年6月发布的LLaMAEfficientTuning,它是一款可高效微调【全参数/LoRA/QLoRA】主流大模型【
ChatGLM
2/LLaMA2/
张志翔的博客
·
2023-09-26 19:59
ChatGLM实战教程
人工智能
机器学习
语言模型
深度学习
Baichuan2大模型本地部署
作为今年九月份开源的一个中午大语言模型,Baichuan2已经在各个维度上取得了亮眼的结果,效果已经超过了当前火热的
ChatGLM
2-6B,可以通过自然语言交互的方式为你提供以下服务:提供知识:我可以回答各领域的问题
Dr.sky_
·
2023-09-26 18:03
自然语言处理
人工智能
深度学习
pytorch
chatgpt
ChatGLM
2-6B微调实践
可以用来微调
ChatGLM
2-6B的开源项目https://github.com/THUDM/
ChatGLM
2-6Bhttps://github.com/hiyouga/
ChatGLM
-Efficient-Tuninghttps
weixin_43870390
·
2023-09-26 12:49
chatgpt
国内大语言模型的相对比较:
ChatGLM
2-6B、BAICHUAN2-7B、通义千问-6B、ChatGPT3.5
一、前言国产大模型有很多,比如文心一言、通义千问、星火、MOSS和
ChatGLM
等等,但现在明确可以部署在本地并且开放api的只有MOOS和
ChatGLM
。
学术菜鸟小晨
·
2023-09-26 12:16
语言模型
人工智能
chatglm
使用CPU本地部署一个大模型
前言不少人都想要部署一个自己的本地大模型,但是受限于昂贵的硬件资源只能作罢,即便是量化后的模型也通常要至少5G+(
ChatGLM
2-6BINT4)的显存。
天使手儿
·
2023-09-25 04:52
大模型
chatGLM
Llama2
FastChat 大模型部署推理;Baichuan2-13B-Chat测试、
chatglm
2-6b测试
FastChathttps://blog.csdn.net/qq128252/article/details/132759107##安装pip3install"fschat[model_worker,webui]"1、
chatglm
2
loong_XL
·
2023-09-24 09:11
深度学习
大模型部署
ChatGLM
Embedding+LangChain构建行业知识库
在上两篇文章中,介绍了如何利用白嫖阿里云服务器,DIY部署AI大模型
ChatGLM
2-6b;以及大模型的进阶,如何基于P-TuningV2微调
ChatGLM
2-6b打造一个个性化的定制A
张志翔的博客
·
2023-09-23 16:34
ChatGLM实战教程
embedding
langchain
人工智能
ChatGLM
2-6B 部署与微调
文章目录一、
ChatGLM
-6B二、
ChatGLM
2-6B三、本地部署
ChatGLM
2-6B3.1命令行模式3.2网页版部署3.3本地加载模型权重3.4模型量化3.5CPU部署3.6多卡部署四、P-tuningv2
神洛华
·
2023-09-23 12:35
LLMs
nlp
chatglm
ChatGLM
LLM大模型训练和预测如何计算算力需求
架构+数据+算力8*A100微调大模型lora工具微调内容审核:输入的审核生成的审核;GPU并行处理能力算力计算一个LLaMA-6B的数据类型为Int8模型参数6B1bytes=6GB梯度6B1bytes=6GB优化器参数Adam2倍模型参数:6GB*2=12GB训练共24GB的显存推理算力模型参数6B*1bytes=6GB推理共6GB的显存Transformer多头注意力Transformer可
张志翔的博客
·
2023-09-23 03:15
ChatGLM实战教程
人工智能
深度学习
本地CPU部署运行
ChatGLM
2-6B模型
1、前期准备:需要下载模型文件2、部署过程及碰到的问题(1)编译安装python3.8.13(Asianuxrelease7.6.18gcc4.8.5)按运行的要求需要安装torch的>=2.0,因此安装了torch的2.0.1,该版本的torch依赖的glibc的版本至少是2.28,而当前操作系统的版本号是2.17。通过stringslibtorch_cpu.so|grepGLIBC_可以看到该
zcc_0015
·
2023-09-23 00:34
pytorch
深度学习
人工智能
ChatGLM
P-Tuningv2微调定制AI大模型
前言什么是模型微调想象一下,你正在学习如何弹奏一首钢琴曲目。你已经学会了一些基本的钢琴技巧,但你想要更进一步,尝试演奏一首特定的曲目。这时,你会选择一首你感兴趣的曲目,并开始深度练习。Fine-tuning(微调)在机器学习中也是类似的概念。当我们使用预先训练好的模型(预训练Pre-training)来解决一个特定的任务时,有时我们需要对这个模型进行微调。这意味着我们会在已经训练好的模型的基础上进
张志翔的博客
·
2023-09-22 13:47
ChatGLM实战教程
人工智能
机器学习
语言模型
深度学习
ChatGLM
LoRA微调定制AI大模型
一、前言对于
ChatGLM
2-6B模型基于PEFT的特定任务微调实验。1.1硬件需求注:r为LoRA维数大小,p为前缀词表大小,l为微调层数,ex/s为每秒训练的样本数。
张志翔的博客
·
2023-09-22 04:06
ChatGLM实战教程
人工智能
自然语言处理
语言模型
ChatGLM
微调基于P-Tuning/LoRA/Full parameter(中)
1.
ChatGLM
模型介绍
ChatGLM
-6B是一个开源的、支持中英双语的对话语言模型,基于GeneralLanguageModel(GLM)架构,具有62亿参数。
张志翔的博客
·
2023-09-21 22:46
ChatGLM实战教程
人工智能
第七篇-Tesla P40+
ChatGLM
2+P-Tuning
使用少量数据测试下微调流程环境系统:CentOS-7CPU:14C28T显卡:TeslaP4024G驱动:515CUDA:11.7cuDNN:8.9.2.26模型文件https://huggingface.co/THUDM/
chatglm
2
木卫二号Coding
·
2023-09-21 15:51
AI-LLM-实战
chatgpt
人工智能
centos
【
ChatGLM
-6b的微调与推理 - CSDN App
【
ChatGLM
-6b的微调与推理-CSDNApp】http://t.csdn.cn/vGLde
zero2100
·
2023-09-21 14:40
python
上一页
6
7
8
9
10
11
12
13
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他