Colossal-AI

使用Colossal-AI云平台精调私有GPT

介绍ChatGPT的出现展示了人工智能发展的潜力。通用数据集塑造的综合性大型语言模型在垂类领域中表现并不完美，存在幻想(AIHallucination)等问题。要真正提升此类大语言模型在垂类领域的性能，应当使用高质量垂类数据集对模型进行精调。目前，有大量企业客户想要将大模型能力融入日常业务，因而产生了对垂类大模型的迫切需求。大模型所能提供的快速有效地解决问题和生成回答的能力，可以帮助提高生产力并降
潞晨科技官方·2023-09-30 19:49

LLM之Colossal-LLaMA-2：Colossal-LLaMA-2的简介、安装、使用方法之详细攻略

LLM之Colossal-LLaMA-2：Colossal-LLaMA-2的简介、安装、使用方法之详细攻略导读：2023年9月25日，Colossal-AI团队推出了开源模型Colossal-LLaMA
一个处女座的程序猿·2023-09-30 19:49

ChatGPT实战与私有化大模型落地

文章目录大模型现状baseline底座选择数据构造迁移方法评价思考领域大模型训练技巧Tokenizer分布式深度学习数据并行管道并行向量并行分布式框架——Megatron-LM分布式深度学习框架——Colossal-AI
uncle_ll·2023-09-10 13:32

【精华】AIGC专栏-Text/Img/Video/audio

llm-action1ColossalAI（1）参考资料：700亿参数LLaMA2训练加速195%，基础大模型最佳实践再升级（2）开源地址：https://github.com/hpcaitech/ColossalAI（3）描述：Colossal-AI
LeeZhao@·2023-09-09 22:27

Colossal-AI 团队联合百图生科发布xTrimo Multimer

近日，Colossal-AI团队(https://github.com/hpcaitech/ColossalAI)联合百图生科成功加速蛋白质单体与复合物的结构预测，行业内最前沿的同时支持蛋白质单体(Monomer
潞晨科技官方·2023-08-31 18:26

Colossal-AI：自己训练一个chatgpt

原文：https://github.com/hpcaitech/ColossalAI/tree/mainColossal-AIColossal-AI:让AI大模型更低成本、方便易用、高效扩展论文|文档|例程|论坛|博客|English|中文|新闻[2023/07]65BModelPretrainingAcceleratedby38%,BestPracticesforBuildingLLaMA-Li
源代码杀手·2023-07-31 23:02

650亿参数大模型预训练方案开源可商用，LLaMA训练加速38%

这就是由Colossal-AI最新发布的类LLaMA基础大模型预训练方案。要知道，在“百模大战”背景下，谁拥有自家大模型，往往被视为核心竞争力。在这个节点下，愿意开源大模型的公司少之又少。
sam5198·2023-07-24 22:01

GPT系列训练与部署——Colossal-AI环境配置与测试验证

Colossal-AI框架主要特色在于对模型进行并行训练与推理（多GPU），从而提升模型训练效率，可快速实现分布式训练与推理。
Coding的叶子·2023-06-10 03:11

GPT系列训练与部署——GPT2环境配置与模型训练

Colossal-AI提供了多种并行方式来运行GPT，不同并行方式的相应配置位于gpt2_configs文件夹下。运行示例程序的教程地址为“https://git
Coding的叶子·2023-06-10 03:40

ColossalAI GPT2分布式训练调试配置—GPT系列训练与部署

本专栏之前文章详细介绍了Colossal-AI环境搭建及GPT2数据处理与训练。Colossal-AI框架的主要优势在于分布式训练，进而提高训练效率。但是这种启动
Coding的叶子·2023-06-10 03:40

colossal-ai怎么样

我作为一个人工智能模型，无法对特定公司的业务表现进行直接评价。但是，根据公开的信息，ColossalAI是由计算机科学家兼企业家AndrejKarpathy和OpenAI创始人GregBrockman共同创立的公司，旨在推动人工智能的发展和普及。ColossalAI的主要业务是开发和销售AI工具和技术，如训练数据集、模型架构和算法等。据报道，该公司聚集了一批顶尖的人工智能专家和研究人员，并与许多行
Paula-柒月拾·2023-04-12 13:27

使用Colossal-AI进行优化的测试笔记

Colossal-AI具有下面的优点：加快训练速度提高显存利用率使用colossalai无法提高显存利用率这是在测试的时候发现的，使用colossalai以BATCH_SIZE=16384训练models.shufflenet_v2
songyuc·2023-04-12 13:56

NVIDIA GPU加速AI落地，潞晨科技Colossal-AI助力大模型普适化

通过NVIDIAGPU加速平台，Colossal-AI实现了通过高效多维并行、异构内存管理、大规模优化库、自适应任务调度等方式，更高效快速部署AI大模型训练与推理。
潞晨科技官方·2023-04-12 13:53

低成本上手AIGC和千亿大模型，一行代码自动并行，Colossal-AI再升级

作为当下最火热的开源AI大模型解决方案，Colossal-AI已收获Git
潞晨科技官方·2023-04-12 13:53

Colossal-AI团队亮相全球超级计算机大会等多项国际盛会

近日，面向大模型时代的通用深度学习系统Colossal-AI连续入选和受邀全球超级计算机大会、国际数据科学会议、世界人工智能大会、亚马逊云科技中国峰会等多项国际专业盛会，并发表主题演讲，向众多参会者展示不断革新的高性能计算与人工智能前沿发展
潞晨科技官方·2023-04-12 13:53

使用Colossal-AI复现Pathways Language Model

GoogleBrain的JeffDean在2021年提出了Pathways的设想，这是一个为未来深度学习模型而设计的系统。在前不久，Google终于放出了关于Pathways的第一篇论文《Pathways:AsynchronousDistributedDataflowforML》以及使用TPUPod在Pathways上训练的第一个模型PaLM(PathwaysLanguageModel)。相比传统
潞晨科技官方·2023-04-12 13:23

使用Colossal-AI分布式训练BERT模型

为了直观感受和加深记忆，阅读相关论文的同时，动手用开源的大模型训练框架Colossal-AI逐步改写出了一个数据并行+模型并行的BERT来帮助理解。
潞晨科技官方·2023-04-12 13:23

霸榜GitHub热门第一多日后，Colossal-AI正式版发布

大规模并行AI训练系统Colossal-AI，旨在作为深度学习框架的内核，帮助用户便捷实现最大化提升AI部署效率，同时最小化部署成本。
Python数据之道·2023-04-12 13:52

Colossal-AI的安装

最近在学习stablediffusionmodel,但是这个模型成本比较高，作为低端学习者，借助colossal-ai加速训练，即能满足显卡要求又能节约时间。
努力的猜猜·2023-04-12 13:19

开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

来源：潞晨科技 本文约4000字，建议阅读8分钟Colossal-AI快速跟进，首个开源低成本复现ChatGPT完整流程。
数据派THU·2023-03-30 11:40

GitHub 又一黑科技项目诞生，成功复现 ChatGPT 完整流程！

来源：脑机转口社区本文约3800字，建议阅读7分钟GitHub知名开源项目Colossal-AI快速跟进，成功做出了首个开源低成本复现ChatGPT完整流程！
数据派THU·2023-03-26 17:31

Colossal-AI训练diffusion经验记录

Colossal-AI训练diffusion经验记录基本使用Colossal-AI+diffusion环境配置tritonSegmentationfault(coredumped)GPUProgramming
天线狗子·2023-03-10 16:21

Colossal-AI完整开源方案低成本加速AIGC产业落地

Colossal-AI基于在大模型民主化的专业技术积累，开源完整StableDiffusion预训练和个性化微调方案，预训练时间加速和经济成本降低6.5倍，个性化微调硬件成本降低7倍！
潞晨科技官方·2023-01-13 08:37

Colossal-AI完整开源方案低成本加速AIGC产业落地...

Colossal-AI基于在大模型民主化的专业技术积累，开源完整StableDiffusion预训练和个性化微调方案，预训练时间加速和经济成本降低6.5倍，个性化微调硬件成本降低7倍！
机器学习与AI生成创作·2023-01-13 08:06

AI画画模型成本被打下来了！预训练成本直降85%，微调只需单张RTX 2070，这个国产开源项目又上新了...

这就是国产项目Colossal-AI最新开源的加速方案。开源地址：https://github.com/hpcaitech/ColossalAI今年，StableDiff
QbitAl·2022-11-25 08:31

比AlphaFold2快10倍！国产开源项目加速蛋白质预测，超长序列22分钟就搞定

最近，由Colossal-AI团队(https://github.com/hpcaitech/ColossalAI)联合百图生科的蛋白质预测模型xTrimoMultimer，正式免费开源。
QbitAl·2022-08-25 07:46

用CPU方案打破内存墙？学PayPal堆傲腾扩容量，漏查欺诈交易量可降至1/30

梦晨萧箫发自凹非寺量子位|公众号QbitAI不得不说，Colossal-AI训练系统这个开源项目的涨星速度是真快。
QbitAl·2022-06-20 13:49

霸榜GitHub热门第一多日后，Colossal-AI正式版发布

大规模并行AI训练系统Colossal-AI，旨在作为深度学习框架的内核，帮助用户便捷实现最大化提升AI部署效率，同时最小化部署成本。
机器学习社区·2022-06-16 07:28

霸榜 GitHub 热门第一多日后，Colossal-AI 正式版发布

最近看到一个性能颇为强悍的国产AI开源项目：Colossal-AI，旨在作为深度学习框架的内核，帮助用户便捷实现最大化提升AI部署效率，同时最小化部署成本。
CSDN资讯·2022-04-20 11:07

针对这一行业痛点，创新工场投资的潞晨科技发布了大规模并行AI训练系统——“夸父”(Colossal-AI) ，通过多维并行、大规模优化器、自适应任务调度、消除冗余内存、降低能量损耗等方式，旨在打造一个

针对这一行业痛点，创新工场投资的潞晨科技发布了大规模并行AI训练系统——“夸父”(Colossal-AI)，通过多维并行、大规模优化器、自适应任务调度、消除冗余内存、降低能量损耗等方式，旨在打造一个高效的分布式人工智能训练系统
元宇宙iwemeta·2022-03-08 13:23

2天训练出15亿参数大模型，国产开源项目力克英伟达Megatron-LM，来自LAMB作者团队...

实现如此提升的，是一个名为Colossal-AI的GitHub开源项目。而且该
QbitAl·2022-03-08 13:22

大规模并行AI训练系统 Colossal-AI 十四问

近日，受CSDN副总裁SoftwareTeacher老师的邀请，我们针对大家对于Colossal-AI所关心的问题进行了解答。
潞晨科技官方·2022-03-08 13:51
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他