模型部署量化

LLM基础｜模型后量化原理、量化类型及方式、量化实现效果

一、引言：为什么要对模型进行量化？xdm在尝试运行Llama-Chat-7B推理时的时候，是不是也容易遇到OOM的问题？
Sunny_AI_addict·2024-08-22 16:04

pyinstaller打包onnxruntime-gpu报错找不到CUDA的解决方案

问题说明：使用onnxruntime-gpu完成了深度学习模型部署，但在打包时发生了报错：找不到CUDA具体问题描述：RuntimeError:D:\a\_work\1\s\onnxruntime\python
布呐呐na·2024-08-22 15:56

量化交易策略：期权实盘交易策略Python代码解析

上一篇文章介绍了如何获取期权实时行情数据，在这篇文章中，将深入探讨期权实盘交易策略的Python代码实现，文章分为以下几个部分：代码概述数据获取与处理交易策略实现下单操作定时任务与执行代码概述来看一下整个代码的结构。代码主要分为以下几个模块：option_data:用于获取期权数据的模块option_backtest:用于回测交易策略的模块option_order:用于执行买卖操作的模块util:
木头左·2024-08-22 15:25

青年干部：以调查研究为抓手 在求真务实中创造佳绩

在大学校园里的课堂中听老师讲社会研究学者进行“田野调查”，是一个漫长复杂的过程，因为只有设身处地在需研究的环境中，量化和质化记录所见所闻，你才能够了解到在某一个特定的区域某一个社会现象产生的原因，也是在这堂课上我茅塞顿开领悟了基层调研的意义
JeepMars·2024-08-22 08:03

【金融数据接口】wind数据python使用教程

获取实时行情数据(wsq)C.获证券代码(wset)代码获取方法获取期货品种代码获取股票、债券和期权代码（4）判断wind是否在运行以及获取数据是否正常（1）接口手册wind客户端接口手册获取旧版：登录wind→量化
hutaotaotao·2024-08-22 08:44

【金融数据接口】choice数据python使用教程

（1）sdk包下载、激活与使用说明1.下载安装包下载地址：Choice数据量化接口-下载中心这里我们下载python版本的压缩包EmQuantAPI_Python.zip，下载完成后解压。
hutaotaotao·2024-08-22 08:44

DeepSpeed与Megatron的区别和联系

DeepSeedDeepSeed代表性功能MegatronMegatron代表性功能备注GPU底层优化有开创性的全栈GPU内核设计FP6量化更牛逼FusedCUDAKernels毕竟Megatron是Nvidia
爱串门的小马驹·2024-08-22 04:16

使用Python实现文本向量化（一）——腾讯词向量

Docs向量化（Embedding）Embedding也是文本语义含义的信息密集表示，每个嵌入都是一个浮点数向量，使得向量空间中两个嵌入之间的距离与原始格式中两个输入之间的语义相似性相关联。
Shy960418·2024-08-21 23:14

流光短剧广告怎么赚钱？流光短剧日赚100元养机攻略曝光

流光短剧(尚玩助手)这边有网友甚至反馈做到日赚50+利润，因为这个项目有量化聚合的玩法，而且还给大家带来了单价广告5毛
清风导师·2024-06-02 21:59

Numpy、Pandas库的使用

目录Numpy1、概述2、基础操作2.1生成一个numpy的array数组：2.2自定义一个新的数据类型：np.dtype()3、并行化思想4、量化分析应用4.1索引选取和切片选择4.2数据转换与规整4.3
貮叁·2024-03-29 00:29

量化交易入门（十）Python开发－异常处理

在Python中,异常处理是一种处理程序在运行时可能发生的错误或异常情况的机制。通过使用try-except语句,我们可以捕获和处理异常,避免程序意外终止。下面是Python异常处理的基本语法:try:#可能引发异常的代码块exceptExceptionType:#处理异常的代码块如果try块中的代码引发了指定类型的异常,程序将跳转到对应的except块中执行异常处理代码。除了基本的try-exc
量化交易学徒·2024-03-23 23:44

揭开访问者模式的神秘面纱-轻松增强对象行为

个人主页：danci_系列专栏：《设计模式》制定明确可量化的目标，坚持默默的做事。
danci_ww·2024-03-19 19:32

神经网络量化

神经网络量化（NeuralNetworkQuantization）是一种技术，旨在减少神经网络模型的计算和存储资源需求，同时保持其性能。
小厂程序猿·2024-03-19 06:45

怎么样提高c/c++编程能力？

我们对一项技能的掌握程度往往很难量化，对于编程能力的考量可能比较抽象，我们来类比比较直观的其他技能。比如说什么叫会弹吉他？我们说一个人吉他玩的好，这个人会弹吉他，是指他会弹《小星星》？
魔公子世无双·2024-03-18 11:47

加速 PyTorch 模型预测常见方法梳理

目录1.使用GPU加速2.批量推理3.使用半精度浮点数(FP16)4.禁用梯度计算5.模型简化与量化6.使用TorchScript7.模型并行和数据并行结论在使用PyTorch进行模型预测时，可以通过多种方法来加快推理速度
samoyan·2024-03-17 16:54

3个维度，9个细节（1242字）

明确的量化标准可以为新教师们提供一定的教学参考，也能够为有经验的教师带来反思，祝您阅读愉快。1听：学生在课堂上希望听到3种声音掌声。发自内心的掌声让课堂有意义。
fcb12615e0bc·2024-03-17 16:05

挑战杯 机器学习股票大数据量化分析与预测系统 - python 挑战杯

文章目录0前言1课题背景2实现效果UI界面设计web预测界面RSRS选股界面3软件架构4工具介绍Flask框架MySQL数据库LSTM5最后0前言优质竞赛项目系列，今天要分享的是机器学习股票大数据量化分析与预测系统该项目较为新颖
laafeer·2024-03-14 18:16

图像算法实习生--面经1

七、讲一下剪枝八、讲一下PTQandQAT量化的区别九、
小豆包的小朋友0217·2024-03-14 17:44

你只是忽略了这些用光基础

这一点是大多数摄影师所忽略的，在批量化生产照片的时代减少了观察以及灯光变化这一环节，不同的人不同的脸型不同的性格也用同样的灯光，从不考虑拍摄对象是否适合。
洞脑摄影客·2024-03-12 07:24

2019-8-10晨间日记

今天是周六August.10起床：6：00就寝：23：40天气：第一场秋雨心情：清爽任务清单昨日完成的任务，最重要的三件事：学习人生算法：模糊，量化范围比精确数字更重要；查阅有关“合作”话题的材料；听武侠
VisualField·2024-03-04 17:47

读书‖用词汇、数字、联结来加强文章的意境

你值得被看见》day6阅读内容：16篇《词汇力》、17篇《字辩力》、18篇《量化力》、19篇《联结力》。（75——93页）阅读主题：如何运用词汇、数字、联接来丰富我们的文字。
常清净·2024-03-03 20:27

【自动驾驶】自动驾驶地图构建方法与工具小结

自动驾驶地图构建小结概述制作流程主要利用定位与建图算法（组合导航，视觉、激光SLAM等），融合多种传感器数据，构建高精度、高分辨率的三维语义地图，将要素矢量化，构建要素间的关联关系，通过质检确保质量可靠
CS_Zero·2024-03-02 19:39

论文阅读：2020GhostNet华为轻量化网络

创新：（1）对卷积进行改进（2）加残差连接1、GhostModule1、利用1x1卷积获得输入特征的必要特征浓缩。利用1x1卷积对我们输入进来的特征图进行跨通道的特征提取，进行通道的压缩，获得一个特征浓缩。2、利用深度可分离卷积获得特征浓缩的相似特征图（Ghost）。在获得特征浓缩之后，利用深度可分离卷积进行逐层卷积，进行跨特征点的特征提取，获得额外的特征图，也就是Ghost。将这两个进行堆叠就是
A_my_*·2024-03-01 10:21

我从来不觉得追星有什么不好，有一个优秀的榜样带动自己，我觉得是很幸福的事情。偶像通过自己的努力，真的会给我们带来很多的力量。

其中正是因为大多数人没有认识到时间就是金钱的道理，没有量化思维的概念，也是当你情绪纠结内耗时，值得多读几遍的文字。二、掌控生活中的10％是由发生在你身上的事情
嘉忆2018·2024-03-01 00:41

什么是服务级别协议（SLA）？

服务级别协议（SLA）是服务提供商和其客户之间的正式契约，旨在明确和量化提供的服务质量。这个协议详细规定了服务的各个方面，包括性能、可用性、支持和处罚条款等
grugoo·2024-02-28 20:34

octave 与 matlab

Octave和Matlab都支持向量化的操作，使得对矩阵和向量的运算更加高效。Octave和Matlab都提供了丰富的数学函数库，包括线性代数、信号处理、图像处理等领域
UPUPUPEveryday·2024-02-28 07:47

神经网络量化

最近在做神经网络的端侧部署，在做端侧部署的时候，为了减少内存压力和加快推理速度，会将单精度(fp32)模型量化成int8或者fp16。
掉毛学渣·2024-02-26 11:53

R语言编程-Tidyverse 书籍-第二章（1）

本章节主要讲数据操作三个关键点向量化编程思维和函数式编程思维，应用在数据框或更高级的数据结构中将复杂数据操作分解为若干基本数据操作的能力：数据连接、数据重塑（长宽变换/拆分合并列）、筛选行、排序行、选择列
Hello育种·2024-02-26 00:04

互联网加竞赛 机器学习股票大数据量化分析与预测系统 - python 互联网加竞赛

文章目录0前言1课题背景2实现效果UI界面设计web预测界面RSRS选股界面3软件架构4工具介绍Flask框架MySQL数据库LSTM5最后0前言优质竞赛项目系列，今天要分享的是机器学习股票大数据量化分析与预测系统该项目较为新颖
Mr.D学长·2024-02-25 10:49

【深入了解PyTorch】模型优化和加速：PyTorch优化技术与库的应用

【深入了解PyTorch】模型优化和加速：PyTorch优化技术与库的应用模型优化和加速：PyTorch优化技术与库的应用模型剪枝（ModelPruning）模型量化（ModelQuantization
prince_zxill·2024-02-24 07:23

七五班第十一周工作总结

虽然本周二要进行期中考试，但是常规管理不能松懈，因此，周一早上公布上周量化考核，针对上周卫生问题，对本周卫生进行规范。晚上放学前并进行诚信考试动员会！周二周三考试，合理利用考试后的时间进行复习！
静侯花开ing·2024-02-23 13:58

通信原理教程chapter4

通信原理教程chapter4感冒+繁忙著教材用的是《通信原理教程》(第三版)--樊昌信著第四章模拟信号的数字化@[toc]模拟信号的数字化(AD转换)模电里面也说过,AD转换包括三个基本步骤:抽样,量化
今日你学左米啊·2024-02-20 23:36

吴恩达机器学习全课程笔记第一篇

目录前言P1-P8监督学习无监督学习P9-P14线性回归模型成本（代价）函数P15-P20梯度下降P21-P24多类特征向量化多元线性回归的梯度下降P25-P30特征缩放检查梯度下降是否收敛学习率的选择特征工程多项式回归前言从今天开始
亿维数组·2024-02-20 21:37

运营：公众号文章、朋友圈文案、社群文案怎么写更好？

●数字化，量化更有吸引力。例子：《给年轻人的三条建议》《2万3千个年轻人的选择》《十大生活妙招大揭秘》●情
运营指南平台·2024-02-20 21:51

大模型量化技术原理-LLM.int8()、GPTQ

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。
吃果冻不吐果冻皮·2024-02-20 21:39

同道决策｜莫祖泉：数据量化管理责任到位，才知道尽责任的乐趣

回到我们的企业经营实践中，若数据量化工作做得好，每个人都清楚地知道靶心在哪，知道该如何瞄准射击，经营业绩一定能够持续改善！相反，经营业绩极容易潮起潮落，很难保持较高水平，更难实现不断向上突破！
同道决策莫祖泉·2024-02-20 21:05

想要自己的专属 AI 猫娘助理？教你使用 CPU 本地安装部署运行 ChatGLM-6B实现

关键的是结合模型量化技术，ChatGLM-6B可以本地安装部署运行在消费级的显卡上做模型的推理和训练（全量仅需14GB显存，INT4量化级别下最低只需6GB显存）虽然智商比不过openAI的ChatGPT
恒TBOSH·2024-02-20 21:05

Datawhale用免费GPU线上跑AI项目实践课程任务一学习笔记。部署ChatGLM3-6B模型

结合模型量化技术，用户可以在消费级的显卡上进行
Hoogte-oile·2024-02-20 21:04

计算行业集中度

是指某行业的相关市场内前N家最大的企业所占市场份额（产值、产量、销售额、销售量、职工人数、资产总额等）的总和，是对整个行业的市场结构集中程度的测量指标，用来衡量企业的数目和相对规模的差异，是市场势力的重要量化指标
IT_小白·2024-02-20 20:40

批量上货必备：无需授权，支持跨平台复制爆款同款上架

对很多淘宝卖家来说，尤其是做一件代发的卖家，每次上新都会选择批量化操作工具来快速铺货。然而现在淘宝已经封闭了服务商的API接口，市面上的商品采集工具基本上都用不了，而且非常容易被淘宝判定违规。
代码之路无极限·2024-02-20 19:59

Google Earth Engine（GEE）——基于Landsat的1985-2020年美国西部地区土地分类数据集

牧场状况、监测、评估和预测（RCMAP）产品旨在通过使用1985-2020年的Landsat图像量化美国西部牧场组成部分的覆盖百分比、相关误差和趋势来捕捉这种反应。
此星光明·2024-02-20 18:12

我把ChatGPT部署到我的手机上

正常的大模型部署都是在服务器上的但是最近我看到一个手机上可以运行的大模型分享给大家MiniCPMMiniCPM是基于MLC-LLM开发，将MiniCPM和MiniCPM-V在Android手机端上运行。
·2024-02-20 17:55

Linux系统安全：安全技术和防火墙

.隐藏扩展模块7.显示扩展模块8.iptables规则保存9.自定义链使用一、安全技术和防火墙1.安全技术入侵检测系统（IntrusionDetectionSystems）：特点是不阻断任何网络访问，量化
Miraitowa_xu·2024-02-20 17:36

聊聊transformers库； 微软推出ZeRO++技术：优化大型AI模型训练时间和成本

通过对权重进行量化，ZeRO++可以减少参数通信量，同时保持训练精度。为了最小化通信
go2coding·2024-02-20 17:05

详解低门槛搭建个人量化平台 - backtrader+pyfolio 做策略回测（6）

记录最近用backtrader+pyfolio做策略回测。安装backtrader和pyfolio：pipinstallbacktraderpipinstallpyfolio导入backtrader和pyfolio：importbacktraderasbtimportpyfolioaspf在代码中，先定义策略class（以EMAcross策略为例）。EMACross：EMA（Exponential
阿岛格·2024-02-20 17:24

详解低门槛搭建个人量化平台 - vnpy+backtesting策略回测（7）

这篇使用vn.pybacktesting引擎，做策略回测，并将结果展示在自己的量化平台的web页面上。
阿岛格·2024-02-20 17:24

详解低门槛搭建个人量化平台- 自定义技术指标

本章作为专栏–低门槛搭建个人量化平台的补充材料。
阿岛格·2024-02-20 17:54

详解低门槛搭建个人量化平台 - (1) 消息追踪及日志管理

本篇结合平台操作，介绍怎样开始新闻事件追踪和日志管理，对新闻事件追踪和日志管理，来把握和分析中长期基本面；以及进行日常走势形态追踪分析；怎样基于talib及tradingview，进行量化策略分析及回测
阿岛格·2024-02-20 17:54

那自己捣鼓一个属于自己的量化分析平台

现在很多国内用户用不了tradingview，原因很多，不赘述。其中一个原因是数据源使用了国外数据源。实际上，只要建立自己的实时行情数据库进行实时更新，加上自己做一个简单web服务，同时将所有日志、品种信息、警报等等，全部换成本地web服务、或国内web云服务，就不存在问题了。我做了一个本地实现版的，现在一直在实际使用操作（期货/期权/股票等等都可以一样使用）。该版本是以python搭建web构架
阿岛格·2024-02-20 17:53

基于人工智能的期权量化交易

基于人工智能的期权量化交易基于人工智能的期权量化交易基于人工智能的期权量化交易该文基于人工智能AI的深度强化学习,进行股票期权的量化投资策略研究及回测评估。作者建立了人工智能学习及交易系统。
阿岛格·2024-02-20 17:23
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他