910B

Mindie在华为910B推理大模型

Mindie在华为910B推理大模型-掘金(juejin.cn)之前在华为昇腾服务器上推理了Qwen1.5-14b-chat模型，但是用MindieRC1.0版本无法兼容openai接口，传递的文本字符数有限
七月花nancy·2024-09-08 07:57

昇腾910B与英伟达A100性能参数对比

昇腾910B与英伟达A100的参数对比可以从以下几个方面进行：架构与制程工艺：昇腾910B：采用了华为自主研发的DaVinci架构，这是一种面向人工智能应用的高效能计算架构。
算力资源比较多·2024-09-01 10:04

基于华为昇腾910B和LLaMA Factory多卡微调的实战教程

  大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。授权多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。  
herosunly·2024-08-27 10:57

英伟达盯上了华为！特供版AI芯片价格首次曝光！起售价11万元低于华为

相比之下，被认为是中国最接近英伟达A100芯片的替代品的华为昇腾910B的售价约为12万人民币。经销商销售的H20服务器预配置8颗AI芯片，售价14
夕小瑶·2024-02-04 16:04

AGI时代的奠基石：Agent+算力+大模型是构建AI未来的三驾马车吗？

Cortex；Genius；MetaGPT；大模型；人工智能；通用人工智能；数据并行；模型并行；流水线并行；混合精度训练；梯度累积；Nvidia；A100;H100；A800;H800;L40s；混合专家；910B
高性能服务器·2024-01-26 15:02

【GPU性能】英伟达 vs海思：GPU性能一览

对于8卡A800和910B模块而言，910BHCCS的总带宽为392GB/s，与A800NVLink(400GB/s)相当。然而，两者之间也存在一些区别。NV
yuzhangfeng·2024-01-21 23:46

MindSpore Serving基于昇腾910B实现大模型部署

一、WhyMindSporeServing大模型时代，作为一个开发人员更多的是关注一个大模型如何训练好、如何调整模型参数、如何才能得到一个更高的模型精度。而作为一个整体项目，只有项目落地才能有其真正的价值。那么如何才能够使得大模型实现落地？如何才能使大模型项目中的文件以app的形式呈现给用户？解决这个问题的一个组件就是Serving（服务），它主要解决的问题有：模型如何提交给服务；服务如何部署；服
Zain Lau·2024-01-12 01:23

基于昇腾910B搭建多节点K8s集群

自从2013年Docker诞生以来，容器一跃成为IT界最热门的话题。而Kubernetes趁着容器的东风，击败众多竞争对手，成为了“容器编排”领域的King。可以说，现在Kubernetes已经没有了实际意义上的竞争对手，它的地位就如同Linux一样，成为了事实上的云原生操作系统，是构建现代应用的基石。一、创建多节点K8s集群Kubernetes是很多模块构成的，实现核心功能的组件像apiserv
Zain Lau·2024-01-12 01:17

910b上跑Chatglm3-6b进行流式输出【pytorch框架】

文章目录准备阶段避坑阶段添加代码结果展示准备阶段配套软件包Ascend-cann-toolkit和Ascend-cann-nnae适配昇腾的Pytorch适配昇腾的TorchvisionAdapter下载ChatGLM3代码下载chatglm3-6b模型，或在modelscope里下载避坑阶段每个人的服务器都不一样，在ChatGLM3/issues中别人只需要修改指定驱动，但是我的不行删除模型文件
内卷焦虑人士·2024-01-09 20:39

多GPU训练大型模型：资源分配与优化技巧 ｜ 英伟达将推出面向中国的改良芯片HGX H20、L20 PCIe、L2 PCIe

★大模型、人工智能；数据并行；模型并行；流水线并行；混合精度训练、梯度累积；模型卸载CPU；重算；模型压缩；内存优化版优化器；Nvidia；A100;H100；A800;H800;L40s；混合专家；910B
高性能服务器·2023-11-16 12:41
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他