QAT加速卡

双T4加速卡虚拟机中掉了一个卡(RmInitAdapter failed)问题的处理记录

文章目录前言一、现象1.1nvidia-smi的输出只有一个卡1.2dmesg的输出有RmInitAdapterfailed1.3lspci-v的输出二、分析过程及思路三、动手操作总结前言同事找我说用的双卡虚拟机只有一个卡显示了，看看怎么处理处理一、现象1.1nvidia-smi的输出只有一个卡(base)root@XXX:~#nvidia-smiWedFeb1914:13:332025+----
大新新大浩浩·2025-02-20 01:58

QAT与PTQ模型量化方法的区别

QAT（QuantizationAwareTraining）和PTQ（PostTrainingQuantization）是两种常见的模型量化方法，用于减少深度学习模型的计算和存储开销，同时尽量保持模型的性能
old_power·2025-01-23 17:28

TensorRT模型量化实践

文章目录量化基本概念量化的方法方式1：trtexec（PTQ的一种）方式2：PTQ2.1pythononnx转trt2.2polygraphy工具:应该是对2.1量化过程的封装方式3：QAT(追求精度时推荐
痛&快乐着·2024-09-12 01:00

神经网络量化（八）

神经网络量化（八）4.5实验5摘要与结论4.5实验  使用我们的QAT流程，我们对在第3.6节中使用的相同模型进行量化和评估。我们的结果在表10中展示了不同位宽和量化粒度的情况下。
weixin_38498942·2024-08-27 19:57

华为昇腾系列——入门学习

从事AI开发的小伙伴，应该明白这个替代，不仅仅是Ascend-910加速卡的算力达到了Nvidia-A100的算力，而是需要整个AI开发生态的替代。下面简单列一下，昇腾生态与英伟达生态的一些对标项。
chenxy02·2024-03-06 08:00

每天学习进步

https://mp.weixin.qq.com/s/m2zoFHq2SZjcJpC8ehS0KA2、【投稿】关键时刻，佛法让我戒掉贪念，守住本心https://mp.weixin.qq.com/s/vfL6Qat5FJXRJnQ9mpfgmA3
b34351769eef·2024-02-15 04:27

【dpdk】qat-getting-started-guide-with-dpdk-v2.0

文章目录参考文档1.QATdriverinstallation1.1.Installationusingkernel.orgdriver1.2.**Bind**ingtheavailableVFstothevfio-pcidriver1.2.1.ForanIntel(R)QuickAssistTechnologyDH895xCCdevice1.2.2.ForanIntel(R)QuickAssis
Henry Patch·2024-01-25 22:25

分布式深度学习中的数据并行和模型并行

前言对于深度学习模型的预训练阶段，海量的训练数据、超大规模的模型给深度学习带来了日益严峻的挑战，因此，经常需要使用多加速卡和多节点来并行化训练深度神经网络。
张小殊.·2024-01-23 10:29

2022-10-06 DPU赛道的机会和挑战

在DPU之前业界更多的叫法是SMARTNIC，智能网卡或者是智能加速卡，最早SMARTNIC是用在NFV里面一些对数据转发性能要求极高的核心VNF的数据面加速，比如用来做宽带接入的BR
功夫熊猫GFXM·2024-01-23 02:37

基于Xilinx的Kintex-7系列XC7K325T的硬件加速卡

产品型号:B-PCIE-K7F5XILINX的Kintex-7系列FPGA处理器B-PCIE-K7F5是一款基于PCIExpress总线架构的高性能FPGA算法加速卡，该板卡采用Xilinx的高性能28nm7
打怪升级ing·2024-01-18 21:07

[BUG] cannot import name ‘quantize_qat‘ from ‘onnxruntime.quantization‘

前言进行onnx模型量化出现了这个错误解决：卸载重装onnx和onnxruntime，会自动安装最新，由于版本更新取消了quantize_qat函数改为以下代码：fromonnxruntime.quantizationimportquantize_dynamic
犟小孩·2024-01-18 20:59

几个好习惯你值得养成

每天分享一点点，希望每天的分享可以带给你收获，带给你成长~这不慢慢步入冬天了，野慢慢的开始养膘养生了，遂分享点身边我们可以做到的小小好习惯~1.晨练5分钟起床后锻炼5分钟，不仅可以让自己清醒，为身体充电，而且会加速卡路里燃烧
匆匆成长·2024-01-18 16:34

MindSpore 设置昇腾Ascend 910显存的默认大小，单卡可执行多任务处理

最恶心的是，我花了大价钱从xxx地方购买到的国产化AI加速卡，难道只能同时执行一
大海里的猴儿·2024-01-17 15:43

Qat++，轻量级开源C++ Web框架

目录一.简介二.编译Oat++1.环境2.编译/安装三.试用1.创建一个CMake项目2.自定义客户端请求响应3.将请求Router到服务器4.用浏览器验证一.简介Oat++是一个面向C++的现代Web框架官网地址：https://oatpp.iogithub地址：https://github.com/oatpp/oatppOat++具有如下特性：●随处运行Oat++没有任何依赖性，可以很容易地移
草上爬·2024-01-14 17:43

torch.fx的极简通用量化教程模板

现在比较流行的方式，是使用torch.fx来做量化，比如地平线J3/J5的oe开发包中内嵌的ptq/qat量化方式，就是基于torch.fix进行开发的。
qq_41920323·2024-01-14 14:45

TensorRT模型优化模型部署（七）--Quantization量化（PTQ and QAT)（二）

系列文章目录第一章TensorRT优化部署（一）–TensorRT和ONNX基础第二章TensorRT优化部署（二）–剖析ONNX架构第三章TensorRT优化部署（三）–ONNX注册算子第四章TensorRT模型优化部署（四）–Rooflinemodel第五章TensorRT模型优化部署（五）–模型优化部署重点注意第六章TensorRT模型优化部署（六）–Quantization量化基础（一）第
小豆包的小朋友0217·2024-01-13 08:56

联手英特尔，释放星飞分布式全闪存储潜能

近日，英特尔官网发布了与XSKY星辰天合联手打造的解决方案，即XSKY的新一代全闪分布式存储系统XINFINI，该存储系统采用英特尔QAT加速数据压缩/解压缩，从而大幅度提升存储系统性能。
XSKY星辰天合·2024-01-12 09:15

深度学习模型部署TensorRT加速（十一）：TensorRT部署分析与优化方案（二）

目录一、TensorRT分析二、Nsys和NSight分析模型性能三、加载QAT模型并分析TRT底层优化四、使用polygraphy分析模型五、实战操作：使用TensorRT对模型进行优化对VGG设置不同的量化策略总结
咕哥·2024-01-11 19:58

使用CST电磁仿真之前，如何安装硬件加速卡？【操作流程】

如下为加速卡的安装和调试步骤：1.硬件安装将GPU卡安装在计算机主板的PCI插槽上，并连接好电源线（一般都有两根电源线），安装时注意PCI插槽旁标示的功率是否大于GPU工作的最大功率值；2.驱动安装首先至
思茂信息·2024-01-10 15:01

ubuntu 20.04下 Tesla P100加速卡使用

1.系统环境：系统ubuntu20.04,python3.82.查看cuDNN/CUDA与tensorflow的版本关系如下：Buildfromsource|TensorFlow从上图可以看出，python3.8对应的tensorflow/cuDNN/CUDA版本。3.安装tensorflow#pip3installtensorflow新版本tensorflow不用额外指定tensorflowgp
zimu-zimu·2024-01-10 10:58

获取PG库 database与 user 创建时间以及cluster初始化时间

代码实现echo"===========获取数据库创建时间==========="data_dir=$(psql-Upostgres-dpostgres-X-qAt-c"showdata_directory
岳麓丹枫001·2024-01-03 19:41

【5G PHY】5G 物理层加速卡介绍

博客内容主要围绕：5G/6G协议讲解算力网络讲解（云计算，边缘计算，端计算）高级C语言讲解Rust语言讲解文章目录5G物理层加速卡介绍一、物理层加速的分类1.1内置加速器1.2外挂加速
从善若水·2024-01-02 09:45

Intel金融加速卡计算库及FPGA期权定价应用

作者：喻伟东方证券FPGA加速应用负责人/黄琦IntelFPGA金融加速产品经理联系邮箱：yuwei1119@sina.com.cn/个人微信号：yuwei_1119近年来，在互联网、大数据、人工智能和云计算为代表的现代科技迅猛发展下，金融科技成为新时代金融创新的核心驱动因素。然而，金融科技在带来发展机遇的同时，也伴随着很大的挑战。FPGA以其高效灵活、低延时、可重复编程、低功耗，以及在高速计算领
yuwei1119·2024-01-01 17:52

单显卡插槽安装英伟达Tesla P4 AI加速卡

TeslaP4是专业AI显卡，只有70瓦功耗，可以作为AI入门使用。安装时碰到的几个问题：首先因为单显卡插槽，就需要先安装好机器，然后ssh登录进行相关配置。安装的时候来回插拔了好多次！其次就是安装驱动时，报错Nouveau冲突，需要删除后再安装，具体操作见后面。但是我的这个方法，每次机器启动，都需要再手工删除一下：sudormmodnouveau其它小坑若干。下面是详细过程，记录留档。下载P4驱
skywalk8163·2023-12-28 10:52

显卡之争！英伟达和AMD下场互掐！GPU霸主地位是否能保？

事情的起因是，两周前AMD董事会主席兼CEO苏姿丰在一场活动中发布了用于生成式AI和数据中心的新一代IntinctMI300XGPU芯片加速卡。
夕小瑶·2023-12-27 03:56

分布式训练通信NCCL之Ring-Allreduce详解

前言随着ChatGPT、文生图、多模态等模型的发展，海量的训练数据、超大规模的模型给深度学习带来了日益严峻的挑战，因此，经常需要使用多加速卡和多节点来并行化训练深度神经网络。
张小殊.·2023-12-26 14:42

yolov5的qat量化

前两篇文章讲解了yolov5的敏感层分析及ptq量化流程，本篇文章在前两篇文章的基础上，继续讲解yolov5的qat量化流程。
qq_41920323·2023-12-21 09:44

yolov5--ptq--qat量化之敏感层分析

敏感层分析，应该是发生在ptq量化之前进行分析的操作，经过该操作，可得出哪些层不适合进行量化，则在接下来ptq时可以手动关闭这些层的量化。进入敏感层分析函数sensitive_analysis中，具体流程为：首先验证一下ptq后整体的一个精度，将map结果通过summary写到一个json文件中；然后逐层遍历模型，遍历时先判断该层是否为量化算子，若否则退出换层，若是则继续；假如是量化算子，则先关掉
qq_41920323·2023-12-21 09:43

曻腾AI服务器环境搭建

随着各大公司的国产化要求，慢慢的涌入华为的曻腾加速卡，相比英伟达来说，大家可能很难再去购买。
成都_小吴·2023-12-20 21:13

TensorRT量化实战课YOLOv7量化：YOLOv7-QAT量化

目录前言1.YOLOv7-QAT流程2.QAT训练流程前言手写AI推出的全新TensorRT模型量化实战课程，链接。记录下个人学习笔记，仅供自己参考。
爱听歌的周童鞋·2023-12-04 03:02

pytorch 模型量化quantization

pytorch模型量化quantization1.workflow1.1PTQ1.2QAT2.demo2.1构建resnet101_quantization模型2.2PTQ2.3QAT参考文献pytorch
L1_Zhang·2023-12-03 20:27

Nginx+Openssl+Intel QAT异步密码调用研究

在我们还在关注网络IO的时候，Intel已经在搞密码IO了。不得不说老外在技术上确实比较NB。国内的密码应用比老外还是差了一截。前段时间基于openssl（版本比较老，好像是1.0.x吧，等我做完已经1.1.1了）开发了个SSL产品，稍微考虑和实现了一下密码计算的IO问题。技术的创新（如果这也算的话）都是逼出来的，大致上都与性能有关。在开发时，采用的是流水线工作方式，一个线程绑定一个核(Tiler
forxyz·2023-12-01 23:11

Achronix将演示最新的加速自动语音识别（ASR）技术

随着GPT-4和文心一言等多模态大模型技术闯入我们的生活和工作，无缝连接这些后台技术和用户的加速自动语音识别（ASR）将具有越来越广泛的应用，Achronix将在近期展出基于其VectorPath加速卡的
电子科技圈·2023-12-01 13:05

美团YOLOv6量化部署实战方案

文章目录1.背景和难点2.量化方案实战2.1重参数化优化器2.1.1RepOpt2.1.2RepOpt版本的PTQ2.1.3RepOpt版本的QAT2.2基于量化敏感度分析的部分量化2.3基于通道蒸馏的量化感知训练
@BangBang·2023-11-30 07:26

和鲸ModelWhale平台与海光人工智能加速卡系列完成适配认证，夯实 AI 应用核心底座

AIGC浪潮席卷，以大模型为代表的人工智能发展呈现出技术创新快、应用渗透强、国际竞争激烈等特点。创新为本，落地为王，技术的快速发展与大规模训练需求的背后，是对平台化基础设施与AI算力的更高要求。在此全球AI产业竞争的风口，我国信创产业链各厂商应形成良好的产业协作与互动机制，搭建起完善的软硬件底座，提高大模型的生产与应用效率、降低产业应用门槛。和鲸科技作为国内领先的数据智能科技公司，始终坚持自主研发
ModelWhale·2023-11-28 05:50

nvidia 风扇

查看Tesla产品资料，TeslaK40工作站加速卡规格，可知所以需要调整风扇速度来降温。
Makalo.W·2023-11-21 17:49

ubuntu18.04 Nvidia 显卡的风扇调速及startx的后果 --转载

查看Tesla产品资料，TeslaK40工作站加速卡规格，可知所以需要调整风扇速度来降温。
weixin_30261095·2023-11-21 17:14

ubuntu16.04 Nvidia 显卡的风扇调速及startx的后果

查看Tesla产品资料，TeslaK40工作站加速卡规格，可知所以需要调整风扇速度来降温。
丨Modred丨·2023-11-21 17:43

寒武纪首颗AI训练芯片亮相：7纳米制程，算力提升四倍，已规模化出货

1月21日,寒武纪思元290智能芯片及加速卡、玄思1000智能加速器在官网低调亮相,寒武纪表示该系列产品已实现规模化出货。
资讯汇·2023-11-17 06:31

模型部署：量化中的Post-Training-Quantization（PTQ）和Quantization-Aware-Training（QAT）

模型部署：量化中的Post-Training-Quantization（PTQ）和Quantization-Aware-Training（QAT）前言量化Post-Training-Quantization
AGI_Player·2023-11-13 11:12

【gridsample】地平线如何支持gridsample算子

grid_sample算子功能解析1.1理论介绍1.2代码分析1.2.1x,y取值范围[-1,1]1.2.2x,y取值范围超出[-1,1]2.使用grid_sample算子构建一个网络3.走PTQ进行模型转换与编译4.走QAT
寻找永不遗憾·2023-11-08 22:58

AMD低时延电子交易加速卡调研

0概述最近看到AMD（xilinx）AlveoUL3524加速卡的介绍，它是2023年9月底刚推出的面向超低时延电子交易应用设计的新款金融科技（fintech）加速卡，看介绍是为自营交易所、做市商、对冲基金
danxutj·2023-11-06 16:04

CUDA、HIP、OpenCL和oneAPI编程模型总结及比较

本文着重对近年来众核处理器以及并行编程模型的发展历程、研究现状和发展趋势进行概述，其中众核处理器主要包括以下四个以及AI加速卡和国产加速卡，并行编程模型重点对CUDA、HIP、OpenCL和DPC++进行介绍
张小殊.·2023-11-05 21:27

光纤加速卡设计方案：410-基于XCVU9P+ C6678的100G光纤的加速卡

基于XCVU9P+C6678的100G光纤的加速卡一、板卡概述二、技术指标•板卡为自定义结构，板卡大小332mmx260mm;•FPGA采用XilinxVirtexUltralSCALE+系列芯片XCVU9P
hexiaoyan827·2023-11-04 20:23

时间大盗

在三年多了，每天都有加速卡，甚至于有时将就看广告得到摇奖，加速卡拥有权重，得到钻，钻变现为钱。现在有57个钻，变现为钱变不成，不够资格，或者说跨不过门槛。这57个钻花费了多少时间呢？
创造好运·2023-11-04 05:03

Qt 安装包下载

pwd=4qat提取码：4qat这两个版本官网已经没有了，仅作收藏，需要自取！
我要用代码改变世界·2023-11-03 19:53

yolov5的ptq量化流程

本次试验是基于yolov5n的模型进行ptq、qat的量化以及敏感层分析的试验。Post-Training-Quantization（PTQ）是目前常用的模型量化方法之一。
qq_41920323·2023-11-02 05:16

yolov5的pqt、qat量化---1（知识准备工作）

1、Pytorch-Quantization简介PyTorchQuantization是一个工具包，用于训练和评估具有模拟量化的PyTorch模型。PyTorchQuantizationAPI支持将PyTorch模块自动转换为其量化版本。转换也可以使用API手动完成，这允许在不想量化所有模块的情况下进行部分量化。例如，一些层可能对量化比较敏感，对其不进行量化可提高任务精度。PyTorchQuant
qq_41920323·2023-10-30 05:05

YOLOv7-QAT量化部署

目录前言一、QAT量化浅析二、YOLOv7模型训练1.项目的克隆和必要的环境依赖1.1项目的克隆1.2项目代码结构整体介绍1.3环境安装2.数据集和预训练权重的准备2.1数据集2.2预训练权重准备3.训练模型
爱听歌的周童鞋·2023-10-30 04:18

推理引擎之模型压缩浅析

目录前言1.模型压缩架构和流程介绍2.低比特量化原理2.1量化基础介绍2.2量化方法2.3量化算法原理2.4讨论3.感知量化训练QAT原理3.1QAT原理3.2量化算子插入3.3QAT训练流程3.4QAT
爱听歌的周童鞋·2023-10-22 22:23
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他