float16

欺诈文本分类检测（十四）：GPTQ量化模型

在推理过程中，它将动态地将权重解量化为float16，以提高性能，
沉下心来学鲁班·2024-09-15 06:54

20240203在WIN10下使用GTX1080配置stable-diffusion-webui.git不支持float16精度出错的处理

20240203在WIN10下使用GTX1080配置stable-diffusion-webui.git不支持float16精度出错的处理2024/2/321:23缘起：最近学习stable-diffusion-webui.git
南棱笑笑生·2024-02-03 22:03

python数据分析——numpy基本用法

float-浮点数类型，如float16、float32、float64等。complex-复数类型，如complex64、complex12
aaa小葵·2024-01-23 16:12

4bit/8bit 启动 Mixtral 8*7B 大语言模型

4bit/8bit启动Mixtral8*7B大语言模型0.背景1.修改代码0.背景个人电脑配置实在难以以float16运行Mixtral8*7B大语言模型，所以参数4bit或者8bit来启动。
engchina·2024-01-18 01:05

书生·浦语大模型实战营笔记（四）

指令跟随：system-user-assistantXTunerXTuner的原理是LoRA和QLoRA，降低显存开销，只对大模型的部分进行训练实战记录与合并后的模型对话#加载Adapter模型对话（Float16
三省斋主·2024-01-15 07:09

HarmonyOS：使用MindSpore Lite引擎进行模型推理

Float16推理模式：Float16又称
码中之牛·2024-01-12 22:56

对Stable Diffusion做fine-tune时遇见的bug

由于我的显卡比较垃圾(3050),加载模型时都用的torch.dtype=float16后来用下列方式保存模型：pipeline=StableDiffusionPipeline(text_encoder
幼稚的云锣·2024-01-05 21:03

【模型】模型量化技术：动态范围、全整数和Float16量化

目录一动态范围量化二全整数量化三float16量化通常，表示神经网络的数据类型是32位浮点数（float32），这种数据类型可以提供高精度的计算，但是在计算资源和存储空间有限的设备上运行神经网络时，会带来一定的挑战
Jackilina_Stone·2023-12-26 18:08

【2023CANN训练营第二季】——Ascend C算子开发（进阶）微认证

2、实现sinh功能，支持float16类型输入，使用内核调试符方式调用算子测试通过。3、使用单算子API调用方式调用SinhCustom算
STRUGGLE_xlf·2023-12-26 05:53

混合精度解析

一、概念混合精度：fp16和fp32fp16:16位浮点数（float16）fp32:32位浮点数（float32）二、为什么使用混合精度fp16：提高性能（速度快、内存占用小）fp32:数值稳定性三、
SmartDemo·2023-12-20 08:47

HyperGCN代码复现

问题1:TypeError:can'tconvertnp.ndarrayoftypenumpy.intc.Theonlysupportedtypesare:double,float,float16,int64
umbrellazg·2023-12-17 13:04

HarmonyOS：使用MindSpore Lite引擎进行模型推理

Float16推理模式：Float16又称
码中之牛·2023-12-16 15:18

HarmonyOS：使用MindSpore Lite引擎进行模型推理

Float16推理模式：Float16又称
码中之牛·2023-12-16 08:58

MempryError: Unable to allocate array with shape (214299562,) and data type int64

float64占用的内存是float32的两倍，是float16的4倍；比如对于CIFAR10数据集，如果采用float64来表示，需要60000*32*32*3*8/1024**3=1.4G，光把数据集
Funny_AI_LAB·2023-12-15 20:02

python中power的用法_Python numpy.float_power()用法及代码示例

float_power与幂函数的不同之处在于，将整数float16和float32提升为float64的最小精
weixin_39781930·2023-11-27 03:34

python中power的用法_python numpy float_power用法及代码示例

这与幂函数的不同之处在于，整数，float16和float32被提升为具有float64最低精度的float，因此结果始终是不精确的。目的是该函数将为负幂返回可用结果，而对于正幂很少返回溢出。
weixin_39932344·2023-11-27 03:34

《多GPU大模型训练与微调手册》

全参数微调Lora微调PTuning微调多GPU微调预备知识1.参数数据类型torch.dtype1.1半精度half-precisiontorch.float16：fp16就是float16，1个sign
Yuezero_·2023-11-22 06:22

如何使用 PyTorch 进行半精度、混(合)精度训练

Apex提供了许多用于混合精度训练的工具，包括半精度浮点数（float16）支持、动态精度缩放、分布式训练等功能
python算法工程师·2023-11-21 03:09

qwen大模型，推理速度慢，单卡/双卡速度慢，flash-attention安装，解决方案

详细：1、今日在使用qwen-14b的float16版本进行推理（BF16/FP16)1.1在qwen-14b-int4也会有同样的现象2、使用309024G显卡两张3、模型加载的device是auto
Bean_zx·2023-11-20 06:19

Numpy知识详解之ndarray数据类型详解

内部基本数据类型类型名类型表示符布尔型bool_有符号整数型int8(-128~127)/int16/int32/int64无符号整数型uint8(0~255)/uint16/uint32/uint64浮点型float16
if shining·2023-11-08 17:22

python 深度学习 解决遇到的报错问题9

(not"int")tostr二、can'tconvertnp.ndarrayoftypenumpy.object_.Theonlysupportedtypesare:float64,float32,float16
水w·2023-11-05 07:31

混合精度训练原理之float16和float32数据之间的互相转换

混合精度训练原理之float16和float32数据之间的互相转换本篇文章参考：全网最全-混合精度训练原理上述文章已经讲解的比较详细，本文只是从数值角度分析：1.float32转入float16的精度误差
Cheny1m·2023-10-26 07:02

Jupyter 报错：can‘t convert np.ndarray of type numpy.object_.

can’tconvertnp.ndarrayoftypenumpy.object_.Theonlysupportedtypesare:float64,float32,float16,complex64,
你不困我困·2023-10-14 17:36

CNN：模型量化训练和部署

训练后量化Post-trainingquantization：混合量化--仅量化权重全整型量化--权重和激活值都进行量化半精度float16量化--仅量化权重量化感知训练（Qu
yuyuelongfly·2023-09-10 11:50

C++ float 转 float16

std::uint16_tfloatToFloat16(floatvalue){std::uint32_tfloatBits;std::memcpy(&floatBits,&value,sizeof(float));//使用memcpy进行拷贝std::uint32_tsign=(floatBits>>31)&0x1;//提取符号位std::uint32_texponent=(floatBits>
三采·2023-09-08 23:34

Pytorch amp(混合精度)的bfloat16和float16

float16格式使用16位表示浮点数，其中1位用于符号，5位用于指数，10位用于尾数。
hxxjxw·2023-08-06 16:43

TypeError: can‘t convert np.ndarray of type numpy.object_.

在处理数据集的时候出现报错：TypeError:can’tconvertnp.ndarrayoftypenumpy.object_.Theonlysupportedtypesare:float64,float32,float16
緈福的街口·2023-07-26 03:02

Diffusers学习总结

github.com/huggingface/diffusersDiffusers使用指南：https://huggingface.co/docs/diffusers/indexDiffusers前向加速技巧：float16
Kuekua-seu·2023-07-23 14:45

大模型入门（四）—— 基于peft 微调 LLaMa模型

1、模型和数据准备使用的大模型：https://huggingface.co/decapoda-research/llama-7b-hf，已经是float16的模型。
柴神·2023-06-16 16:11

MegEngine 使用小技巧：量化

常见神经网络模型所用的Tensor数据类型一般是float32类型，而工业界出于对特定场景的需求（极少的计算资源，极致的推理速度），需要把模型的权重和或激活值转换为位数更少的数值类型（比int8,float16
·2023-06-14 18:47

数据内存压缩

reducememorydefreduce_mem(df,verbose=True):start_mem=df.memory_usage().sum()/1024**2numerics=['int16','int32','int64','float16
ASKED_2019·2023-04-19 03:12

float32转float16

背景当下做AI基本都用float16进行推理，目前用的比较多的还有bfloat16,这里我们只讨论float16的这个数据类型。
s.feng·2023-04-15 13:50

c++ float32 与 float16 互转

背景：最近用到一块推理加速卡时，推理输入的数据是float16类型，而我们平常用到的数据是float类型，也就是float32类型，这需要输入数据时float32转float16，解析输出数据时float16
爱学习的小道长·2023-04-15 13:20

风格迁移模型压缩 第二期

查阅资料，找到了用float16和float32进行分类模型准确率对比的实验，其结果显示，使用float16和float32的准确率差距极小（后来发现这里仅仅是测试是使用float16，而训练时用的还是
nonoka·2023-02-18 15:26

Numpy的dtype设置方法

importnumpyasnp'''布尔值bool_有符号整数型int8(-128~127)/int16/int32/int64无符号整数型uint8(0~255)/uint16/uint3.2/uint64浮点型float16
WHY追求者·2023-01-21 22:40

pytorch 半精度，提升pytorch推理性能

原生的torch是float32的，我们可以借鉴模型量化的思想将其变成float16，而且pytorch自身就定义了半精度的tensor假设我训练的一个模型为model，我们在运算的时候直接将模型转成半精度的模型
AI视觉网奇·2023-01-20 02:14

linux安装apex时的一些问题

apex是一个很好用的库，可以将模型从float32变成float16进行训练和测试，非常有利于在我们自己的PC上训练大模型，节约显存。
iteapoy·2023-01-18 19:55

fp32/bfp16数据类型

在了解混合精度训练之前，我们需要先对其中的主角半精度『float16』进行一定的理论知识学习。
dong_learning·2023-01-03 22:51

掌握Pytorch模型 压缩 裁剪与量化

可以将类型转换为float16进行保存，这样可以降低45%左右的权重大小。步骤1：训练并保存模型importtimmmodel=timm.create_
Coggle阿水·2022-12-28 10:44

ReLU6

ReLU6就是普通的ReLU但是限制最大输出值为6（对输出值做clip）在Mobilev1里面使用的这是为了在移动端设备float16的低精度的时候，也能有很好的数值分辨率，如果对ReLU的激活范围不加限制
hxxjxw·2022-12-20 12:15

pytorch显存不足时的解决办法

将float32转化为float16，是最有效的降低显存占用的方式，可以降低一半左右的显存占用。
左&&右·2022-12-13 07:28

Python--numpy 数据类型

数据类型简写)5.案例1.numpy的基本数据类型类型名类型表示符布尔型bool有符号整数型int8/int16/int32/int64无符号整数型uint8/uint16/uint32/uint64浮点型float16
计科小菜鸡·2022-12-12 23:02

模型训练时gpu内存不足的解决办法

最近在训练微调bert预训练模型的时候，gpu内存老是不足，跑不了一个epoch就爆掉了，在网上来来回回找了很多资料，这里把一些方法总结一下：半精度训练半精度float16比单精度float32占用内存小
lppfwl·2022-12-10 23:31

【Pytorch学习笔记】6.关于Tensor、Module内参数的dtype类型转换

文章目录问题引入Module的float()方法是对模型所有参数进行的float转换疑问解答1buffer是另一种模型参数2浮点型参数指代float64，float32，float16小总结：Tensor
takedachia·2022-12-07 19:10

【深度学习】参数量、模型大小、显存

类似地，float16，占2个字节。1024个字节为1KB，1024x1024个字节为1MB。那么存储10000个参数需要的内存大小为10000x4Bytes，约为39KB。存储100万个参
Coding的叶子·2022-12-04 08:46

【联邦学习】联邦学习的量化传输仿真（一）

采用量化传输，就是在原有torch的float16基础上，进行8bit甚至4bit量化，能否在不损失太多模型精度的条件下，减少通信所需的比特数。量化方式在模型
QinZheng7575·2022-11-25 08:27

数据类型概述

int、int16、int32、int64、float、float16、float32、float64在做芯片项目的时候，为了最大限度减少计算量，经常遇到这几个类精度转换，做下记录：bits：位数bytes
来先森·2022-11-24 15:57

彻底搞懂float16与float32的计算方式

1float16与float321.1float161.1.1计算方式float16又称半精度，用16个比特也就是2个字节表示一个数。如下图所示，其中1位符号位，5位指数位，10位小数位。
leo0308·2022-11-24 01:08

自动混合精度(AMP)方法autocast和GradScaler

AMP介绍之前大多数的学习框架都是用float32的精度进行训练，AMP做的改进就是使用float32和float16相结合进行训练，并且相同的超参数实现了与使用float32几乎相同的精度为什么使用混合精度混合精度预示着有不止一种精度的
dzm1204·2022-11-19 07:23

PyTorch 全连接层权值共享的手势识别网络

，利用机械臂做一下拓展应用，所以花了很多时间来设计了这个神经网络因为这个神经网络的思路比较新颖，而且尝试了一些防止过拟合、性能优化的手段，所以决定记录一下模型性能timeFPSFLOTsParams(float16
荷碧·TZJ·2022-05-30 07:02
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他