ncnn模型部署

LLM 系列 | 08: 如何用ChatGPT构建点餐机器人？

后续会持续整理模型加速、模型部署、模型压缩、LLM、AI艺术等系列专题，敬请关注。
JasonLiu1919·2023-06-18 18:40

LLM 系列 | 07：吴恩达ChatGPT Prompt课程实践：以智能客服邮件为例

后续会持续整理模型加速、模型部署、模型压缩、LLM、AI艺术等系列专题，敬请关注。
JasonLiu1919·2023-06-18 18:10

清北「学渣」创业心路：AI 新时代已来，不参与对不起自己

关键词：AIGCOAISIS团队大模型部署本文首发自HyperAI超神经微信公众平台~黑客马拉松是一种源于美国硅谷等地的技术活动，其具体方式是汇
HyperAI超神经·2023-06-18 16:25

AI服务的并发处理【Python】

今天，我们将讨论一种简单而强大的机器学习模型部署方法。它允许我们同时处理多个请求并在需要时扩展应用程序。我们还将讨论数据科学家在将机器学习模型投入生产时的职责，以及如何使用一些方便的Pytho
新缸中之脑·2023-06-18 12:09

pt 模型转onnx 到ncnn部署

文章目录转onnx转ncnn部署模型转onnx这个比较简单，以yolov5为例子直接运行pythonexport.py附：模型查看工具https://netron.app/转ncnn建议直接用在线转换模型
东哥爱编程·2023-06-18 09:03

67、C#调用Visual Studio 2019生成的Paddle+OCR(使用ncnn库),去完成业务任务

基本思想：这里使用飞哥写的android代码，将其取出纯c++代码逻辑，自己尝试转了paddle+ocr模型，可以成功转换，不在详细阐述生成ncnn模型的过程和写后处理ocr识别过程，这里要实现的目的是使用
sxj731533730·2023-06-18 09:02

关于如何将pt 模型转成其他部署格式

文章目录格式类型onnxncnncaffemodelwk格式tensorrt格式类型模型训练完需要部署，通常需要转换成其他格式，常用的格式有onnxwkncnncaffemodeltensorrt分别讲解下如何转换格式
东哥爱编程·2023-06-18 09:32

Skimage.measure 的compare_psnr和compare_ssim的改动

Skimage.measure的compare_psnr和compare_ssim的改动及错误解决最近在尝试复现使用DnCNN进行图像去噪的过程中发现，代码中计算峰值信噪比psnr和结构相似性指数ssim
肖家程序猿·2023-06-18 08:46

基于YOLOv5的儿童睡眠检测

微服务器的CPU是基于ARM架构，部分步骤将在基于x86架构CPU的开发环境中完成一、初始化开发环境(基于x86架构CPU的开发环境中完成)二、模型转换(基于x86架构CPU的开发环境中完成)三、YOLOv5模型部署测试
算能开发者社区·2023-06-18 01:26

基于TPU-MLIR实现UNet模型部署-决赛答辩02

队伍：AP0200023目录初赛一、模型导出优化1.1直接倒出原始模型并转换1.2导出模型前处理1.2.1导出Resize1.2.2导出归一化1.3导出模型后处理1.3.1导出Resize与1.3.2导出ArgMaxout1.3.3导出特征转RGB复赛一、确定baseline二、优化模型复赛结果总结三、遇到的问题总结1.ONNX转MLIR2.MLIR转bmodel3.MLIR推理代码BUG【已经解
算能开发者社区·2023-06-18 01:56

基于TPU-MLIR实现UNet模型部署-决赛答辩01

队伍：AP0200008目录一、描述UNet适配过程1.1详细步骤2．可复现的结果二、解决问题的过程2.1列举在适配过程中遇到的困难，以及解决方法a．低分辨率下，分割误差大工2.2低分辨率下，输出仍然不够准确2.3最优分辨率选择2.4其他还没来得及做的优化三、提出TPU-MLIR可以改进的部分3.1在使用上可以精简的地方3.2在功能上可以增强的地方（需具备可行性）四、简介对TPU-MLIR工程的看
算能开发者社区·2023-06-18 01:55

机器学习之在线模型简单部署，基于ONNX技术

文章目录一，onnx二，onnx的作用1.提高模型的互操作性：2.加速推理引擎的开发：3.改进模型优化和调试：三，onnx的应用场景四，onnx模型部署涉及的主要函数1.onnxruntime.InferenceSession
QuietNightThought·2023-06-18 00:08

[DeepSpeed]初代chatGPT模型部署实践

DeepSpeedChat部署方式中间遇到很多坑，解决方法都写这里了DeepSpeed部署中bug以及解决方法环境基于阿里云GPU云服务器部署实践操作系统版本：Ubuntu18.04GPU驱动版本：470.161.03GPU型号：A100-80GCPU：16vCPU125GIntelXeon(IceLake)Platinum8369BCUDA版本：11.4Python版本：3.11.3Pip版本：
编程牧马人·2023-06-17 11:19

清北「学渣」创业心路：AI 新时代已来，不参与对不起自己

关键词：AIGCOAISIS团队大模型部署本文首发自HyperAI超神经微信公众平台~黑客马拉松是一种源于美国硅谷等地的技术活动，其具体方式是汇
·2023-06-16 15:35

基于 NCNN, 实现 yolov8

记录下基于ncnn实现yolov8的全部过程修改ultralytics/nn/modules.pyclassDetectforward和classC2fforwardclassDetect(nn.Module
J ..·2023-06-16 13:58

[模型部署] 算子等价替换

[模型部署]算子等价替换ReduceMeanReduceSumReduceMean在PyTorch中可用torch.mean表示，该算子可被卷积等价替换；存在输入张量的形状为[1，48，56，56]，对其
上单之光·2023-06-16 12:41

【MMDeploy&MMPose】手把手教你在Windows上使用MMDeploy1.x进行ONNX和TensorRT的部署（Python篇）

1.流程简介MMDeploy定义的模型部署流程，这里直接使用了官方文档的内容，如下图所示：1）模型转换（ModelConverter）模型转换的主要功能是把输入的模型格式，转换为目标设备的推理引擎所要求的模型格式
K.K.U·2023-06-16 11:05

MMDeploy安装和pth转ONNX

参考：https://github.com/open-mmlab/mmdeploy/blob/main/README_zh-CN.mdMMDeploy安装指导MMDeploy是OpenMMLab模型部署工具箱
HHzdh·2023-06-16 11:04

AI实战营：通用视觉框架OpenMMLab底层视觉与MMEditing

目录图像超分辨率SuperResolution深度学习时代的超分辨率算法卷积网络模型SRCNNFSRCNNSRResNetSuper-ResolutionCNN,SRCNN,2014FastSRCNN2016SRResNet2016
guwuyue·2023-06-16 03:33

AI 模型编译器 MegCC 开源，解决推理引擎体积问题

目前社区已经有多个移动端深度学习推理框架，如：NCNN、MNN...这些推理引擎都给社区的用户带来了在移动端上部署深度学习非常多的便利，但是他们也都有一个共性问题：随着不断地迭代以及性能优化，运行时库会逐渐的增大
·2023-06-14 18:42

大模型部署实战（三）——ChatGLM-6B

有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博相关......）博主原文链接：https://www.yourmetaverse.cn/llm/213/（封面图由文心一格生成）大模型部署实战
Chaos_Wang_·2023-06-14 05:43

人工智能让边缘计算更有价值!

LinkEdge的优势还体现在提升AI的实践效率，开发者可将深度学习的分析、训练过程放在云端，将生成的模型部署在边缘网关直接执行，优化良率、提升产能。另外
·2023-06-13 12:02

opencv+pytorch+ncnn使用CNN学习颜色空间RGB踩坑记（附带NCNN源码学习）

最近学习和使用opencv读取和处理图像，然后用pytorch训练深度学习模型，部署和推理的时候用opencv+ncnn进行，过程中参考了很多网上教程和案例，结合源码发现了一个关于颜色空间的问题，很多网上资料的源码示例中并没有注意
AI大龙虾·2023-06-13 10:59

大模型部署实战（二）——Ziya-BLIP2-14B-Visual

❤️觉得内容不错的话，欢迎点赞收藏加关注，后续会继续输入更多优质内容❤️有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博相关......）大模型部署系列：博主原文链接
Chaos_Wang_·2023-06-13 02:40

【Tool】Tensorflow移动端模型转换

Google有TensorflowLite,Apple有CoreML，Facebook有Caffe2,Tencent的NCNN最近也是风头正盛，百度有PaddleMobile，小米有MA
ItchyHiker·2023-06-12 07:43

【mmdeploy】让openmmlab带我走深度学习最后一公里，实现模型部署及终端推理。从模型转换，量化模型开始，小小的参数，大大的变化

如何将模型从pytorch形式转换成其他后端形式，准备工作安装目标后端。安装目标代码库。使用方法python./tools/deploy.py\${DEPLOY_CFG_PATH}\${MODEL_CFG_PATH}\${MODEL_CHECKPOINT_PATH}\${INPUT_IMG}\--test-img${TEST_IMG}\--work-dir${WORK_DIR}\--calib-d
羞儿·2023-06-11 20:25

yolov8seg模型转onnx转ncnn

模型如下选yolov8n-seg模型，转成onnx，再转ncnn测试。yolov8s-seg的ncnn版可以直接用这个如果用python版的onnx，可以直接用notebook转，然后下载。
蓝羽飞鸟·2023-06-11 13:10

Moss量化模型部署记录

一、Moss仓库代码下载及环境准备下载本仓库内容至本地/远程服务器gitclonehttps://github.com/OpenLMLab/MOSS.git安装依赖cdMOSSpipinstall-rrequirements.txt使用量化模型，需要安装tritonpipinstalltriton注意：使用triton可能会出现tritonnotinstalled报错，如果确认已经安装过trito
genghaojie123·2023-06-11 11:04

深度学习模型压缩与优化加速

1.简介深度学习（DeepLearning）因其计算复杂度或参数冗余，在一些场景和设备上限制了相应的模型部署，需要借助模型压缩、系统优化加速、异构计算等方法突破瓶颈，即分别在算法模型、计算图或算子优化以及硬件加速等层面采取必要的手段
老了敲不动了·2023-06-11 10:59

解决pytorch转onnx模型出现identify

torch1.13在使用自带的torch.onnx.export函数转onnx模型时出现identify的op，并且卷积的名称也变为了onnx::Conv_***，虽然不影响onnx模型直接推理使用，但是如果是在ncnn
Ceri·2023-06-11 09:25

AI大模型私有化部署流程

私有化部署AI大模型需要一定的GPU支持，适合有一定经济实力的公司，今天和大家分享一下如何进行私有化部署，这涉及很专业的知识，包括硬件和软件环境、模型部署、API集成、测试验证等，这里只是初步讨论一下，
sofar_dev·2023-06-10 12:02

大模型部署实战（一）——Ziya-LLaMA-13B

（封面图由文心一格生成）大模型部署实战（一）——Ziya-LLaMA-13BZiya-LLaMA-13B是IDEA-CCNL基于LLaMa的130亿参数的大规模预训练模型，具备翻译，编程，文本分类，信息抽取
Chaos_Wang_·2023-06-10 06:35

Convolutional Neural network(卷积神经网络)

ThewholeCNNstructureConvolution（卷积）MaxPoolingFlattenCNNinKerasWhatdoesCNNlearn？
keep--learning·2023-06-09 20:33

【BEV】学习笔记之FastBEV(原理+代码注释)

1、前言BEV模型部署一直是难以解决的问题，在车载芯片上运行要占用大量计算资源，为此FastBEV的作者提出了更加轻量级的方法，不需要transformer来提取BEV特征，仅使用卷积网络来完成，简单而有效
Rex久居·2023-06-09 12:12

YOLOv8-pose在ncnn框架下部署过程记录（包含ncnn、pnnx安装以及模型结构更改及转换）

目录1.YOLOv8-pose转onnx模型2.ncnn编译3.方案一：onnx转ncnn4.方案二：使用pnnx对模型进行转换4.1在pnnx官网下载可执行文件，进行测试4.2参照pnnx官网教程进行编译
Rachel2015·2023-06-09 00:27

【深度学习】yolov7 pytorch模型转onnx，转ncnn模型和mnn模型使用细节

文章目录前言1.前置1.1安装必要的库1.2.pt权重转ncnn和mnn所需要的权重2、编码C++项目1.ncnn2.mnn总结前言yolov7pytorch模型转onnx，转ncnn模型和mnn模型使用细节
weixin_40293999·2023-06-08 22:52

一站式完成车牌识别任务：从模型优化到端侧部署

本次飞桨产业实践范例库开源车牌识别场景应用，提供了从技术方案、模型训练优化，到模型部署的全流程可复用方案，降低产业落地门槛。项目链接https://github.com
飞桨PaddlePaddle·2023-06-08 19:09

k210部署自行训练的口罩识别模型

因为培训需要，开坑K210，前后忙活了3天终于把自行训练的口罩模型部署成功了，实测还行，分享一下经（ni）验（keng）：本人学过一段时间python，见过别人玩开源硬件（没动过手），接触过一点人工智能项目的理论知识
razelan·2023-06-08 12:34

LoRA:大模型的低秩自适应微调模型

比如GPT-3175B，模型包含175B个参数吗，无论是微调训练和模型部署，都是不可能的事。
AI研究院·2023-06-08 06:07

TensorFlow 基本应用的学习报告及课后习题

此外，TensorTlow可在多种平台上工作，允许将模型部署到工业生产中，并易于使用。
m0_61463713·2023-06-08 05:26

深度学习知识点总结（持续更新中）

卷积神经网络(CNNs)3.循环神经网络(RNNs)4.深度强化学习(DRL)5.生成对抗网络(GANs)6.自编码器(Autoencoders)7.深度学习框架8.超参数调优9.迁移学习10.模型评估11.模型部署
旧言.·2023-06-08 01:01

树莓派4B无屏幕，连接WiFi、SSH、VNC，系统换源、pip换源，安装中文输入法

为下一步安装Qt5、Eigen、OpenCV以及ncnn等做准备注意事项64位的RaspberryPiOS会导致树莓派系统变成aarch64（arm64）缺点已经尝试在该系统上安装Python环境管理工具
DEDSEC_Roger·2023-04-21 19:06

机器学习 && 深度学习

简单分类算法：BayesLRSVM决策树(C4.5CART)复合分类算法：AdaboostxgboostGBDT隐主题算法：pLSALDAEM求解参数方法深度学习：DNNRNNCNNLSTM向量表示法：
Phoebe_Liu·2023-04-21 14:06

ML：场景实战之模型部署/测试中的疑难杂症(如Training-Serving Skew等，比如AUC指标线下上涨但线上却下降等问题)的经验总结

ML：场景实战之模型部署/测试中的疑难杂症(如Training-ServingSkew等，比如AUC指标线下上涨但线上却下降等问题)的经验总结目录一、Training-ServingSkew(训练-服务偏差
一个处女座的程序猿·2023-04-20 23:25

AI算法优化实践---以ncnn实现为例

前言我老爹曾经传授给我一个古老的智慧：如果你是手艺人，那么你就要对靠着吃饭的家伙式十分熟悉。自从我毕业开始从事图像方面的工作，我愈加发现这句话的重要性。我工作中接触不少算法工程师，算法设计和模型推理过程已经逐步变成黑盒模式。似乎能跑起来就是“理所因当”的，忽视效率在实际业务交付中的重要性。本系列的文章就是为了改变这种思考误区存在.2012年AlexNet的横空出世，其中训练用的G5803G的贡献被
·2023-04-20 16:44

Adlik 支持基于云燧i20的 AI推理服务部署，共建AI生态链

近日，中兴通讯开源的Adlik深度学习推理工具链新增对人工智能推理加速卡云燧i20的支持，可实现基于云燧i20的高效AI模型部署，提供高性能的云端推理服务。
Linux基金会AI&Data基金会·2023-04-20 13:12

yolov5模型生成onnx转ncnn---Windows方式（深度学习yolov5-篇三）

上篇文章中我们在pycharm中已经成功运行了yolov5-v5.0的版本，这里来记录一下如何将模型生成onnx，再将onnx文件转成ncnn（这里转成ncnn是为了之后部署到Android端去）。
x97666·2023-04-20 08:44

YOLOV5环境搭建以及.pt转onnx

YOLOV5环境搭建以及pytorch.pt转ncnn模型架构师用yolov5训练的模型，给我.pt文件，我要改成腾讯ncnn或者谷歌支持的tflite格式的模型，将模型跑在安卓上，因此需要转化搭建YOLOV5
不倒翁的今生今世·2023-04-20 08:44

Onnx 转Ncnn

Onnx转Ncnn算法工程师给了onnx,需要转成ncnn才能用到安卓上去，步骤如下简化onnx算法给了.onnx后缀的文件，100多兆，太大，第一步，先简化：condaenvlist查看conda环境
不倒翁的今生今世·2023-04-20 08:13

深度理解机器学习13-CNN的应用领域

有几种基于CNN的架构用于检测物体，其中最受欢迎的是R-CNN（RegionCNN）。一个R-C
五百五。·2023-04-20 06:05
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他