模型部署-ncnn 第7页

瑞芯微rk3588部署yolov5模型实战

瑞芯微rk3588部署yolov5模型实战模型转换通过pt模型转换为onnx模型通过onnx模型转换为rknn模型模型部署编译推送执行文件到板子运行(单图测试)多图测试模型转换使用此yolov5仓库获取

Silver__Wolf·2023-11-01 19:50

android-ncnn-yolov5项目升级

原项目地址GitHub-nihui/ncnn-android-yolov5:TheYOLOv5objectdetectionandroidexample倪辉大佬的这个yolov5安卓手机部署项目，提供了相册选图

zsprb1·2023-11-01 19:29

树莓派NCNN开发·yolov5

官方预训练模型转换下载yolov5-v6.0分支源码解压到本地，并配置基础运行环境。下载官方预训练模型yolov5n.ptyolov5s.ptyolov5m.pt…进入yolov5-6.0目录下，新建文件夹weights，并将步骤2中下载的权重文件放进去。修改models/yolo.py文件defforward(self,x):z=[]#inferenceoutputforiinrange(sel

烂笔头·张·2023-11-01 19:54

用C++部署yolov5模型

要在C语言中部署YoloV5模型，可以使用以下步骤：安装C语言的深度学习库，例如Darknet或者ncnn。下载训练好的YoloV5模型权重文件(.pt文件)和模型配置文件(.yaml文件)。

13572025090·2023-11-01 19:24

yolov8 ncnn

目录1.yolov8目标检测2.分类3.参考1.yolov8目标检测1.目标检测按照官方代码8.0.81直接训练，训练后会得到.pt文件。fromultralyticsimportYOLOimportosos.environ['CUDA_VISIBLE_DEVICES']='3'#Loadamodelmodel=YOLO('pcb_objectdetect_yolov8s.yaml')#build

写代码_不错哦·2023-11-01 19:52

yolov5 v7.0转ncnn时问题解决

yolov5v7.0转ncnn时遇到很多问题，ncnn版本20231027以下仅做记录：1.通过官方代码，export.py转onnx，指定–dynamic--simplify参数2.编译并安装ncnn

minjialong·2023-11-01 19:43

从零开始的目标检测和关键点检测（二）：训练一个Glue的RTMDet模型

从零开始的目标检测和关键点检测（二）：训练一个Glue的RTMDet模型一、config文件解读二、开始训练三、数据集分析四、ncnn部署从零开始的目标检测和关键点检测（一）：用labelme标注数据集从零开始的目标检测和关键点检测

HHzdh·2023-11-01 16:28

AI部署之路 | 模型选型、本地部署、服务器部署、模型转换全栈打通！

作者|Oldpan编辑|汽车人点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群后台回复【模型部署工程】获取基于TensorRT的分类、检测任务的部署源码

自动驾驶之心·2023-11-01 14:09

深度学习AI编译器-TVM简介

1.为什么需要深度学习编译器深度学习编译器主要为解决不同框架下训练的模型部署到指定的某些设备上时所遇到的一系列复杂的问题，即将各种深度学习训练框架的模型部署到各种硬件所面临的问题；首先深度学习领域，从训练框架看

WRichards·2023-11-01 13:52

运你的第一个“Hello World” 安卓App（附送：安卓开发入门手册）

往期精彩：AndroidApp开发的三种姿势~模型部署，移动端安卓App开发环境搭建和配置教程~新建一个“HelloW

码农的后花园·2023-11-01 11:01

OpenMP并行编程

目前很多移动端的深度学习前向运算框架都用到openmp，如ncnn、paddlelite、mace等。所以这篇来介绍一些OpenMP并行编程。

半笔闪·2023-10-31 16:14

ML&DEV[9] | gRPC初体验

ML表示机器学习，DEV表示开发，本专栏旨在为大家分享作为算法工程师的工作，机器学习生态下的有关模型方法和技术，从数据生产到模型部署维护监控全流程，预备知识、理论、技术、经验等都会涉及，近期内容以入门线路为主

机智的叉烧·2023-10-30 18:37

chatglm-6b，搭建自己的AI模型

目录环境必备软件及安装拉取模型架构使用pip安装依赖部署（GPU）从云端加载模型从本地加载模型部署（CPU）环境centos7.6CPU32GSSD>=40Gpython3.9pip23.1必备软件及安装

小生浩浩·2023-10-28 06:49

大模型知识蒸馏概述

吃果冻不吐果冻皮进NLP群—>加入NLP交流群近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本

zenRRan·2023-10-28 00:38

【模型部署】c++部署yolov5使用openvino

1.推理方式CPU推理GPU推理（要求电脑具备核显，即CPU中有嵌入显卡）2.openvino依赖项下载https://github.com/openvinotoolkit/openvino/releases直接解压（随便放到哪个路径）环境配置********（openvino所在路径）\runtime\bin\intel64\Release********\runtime\3rdparty\tb

只搬烫手的砖·2023-10-27 23:50

Generative AI 新世界 | Falcon 40B 开源大模型的部署方式分析

本期文章，我们将重新回到文本生成的大模型部署场景，探讨如何在AmazonSageMaker上部署具有400亿参数的Falcon40B开源大模型。亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。

亚马逊云开发者·2023-10-27 19:21

机器学习模型部署PMML

PMML简介预测模型标记语言PMML（PredictiveModelMarkupLanguage）是一套与平台和环境无关的模型表示语言，是目前表示机器学习模型的实际标准。从2001年发布的PMML1.1，到2019年最新4.4，PMML标准已经由最初的6个模型扩展到了17个模型，并且提供了挖掘模型（MiningModel）来组合多模型。PMML标准介绍PMML是一套基于XML的标准，通过XMLSc

闪闪发亮的小星星·2023-10-26 20:06

深度学习中Embedding层有什么用？

想查看其他文章请点击下面的链接，人工翻译也是劳动，如果你觉得有用请打赏，转载请打赏:SettingupAWS&ImageRecognitionConvolutionalNeuralNetworksMoreonCNNs

ChasingdreamLY·2023-10-26 19:28

nndeploy：一款最新上线的支持多平台、简单易用、高性能的机器学习部署框架

作为一个多平台模型部署工具，我们的框架最大的宗旨就是高性能以及使用简单贴心，目前nndeploy已完成TensorRT、OpenVINO、ONNXRuntime、MNN、

nudt_qxx·2023-10-26 16:55

win10下u2net tensorrt模型部署

TensorRT系列之Win10下yolov8tensorrt模型加速部署TensorRT系列之Linux下yolov8tensorrt模型加速部署TensorRT系列之Linux下yolov7tensorrt模型加速部署TensorRT系列之Linux下yolov6tensorrt模型加速部署TensorRT系列之Linux下yolov5tensorrt模型加速部署TensorRT系列之Linu

韩师兄_·2023-10-26 13:08

TensorRT系列教程

TensorRT系列WindowsTensorRT系列之Win10下yolov8tensorrt模型部署TensorRT系列之Win10下yolov7tensorrt模型部署TensorRT

韩师兄_·2023-10-26 13:08

从零本地部署大模型（零基础友好版）

最近在做大模型，自己折腾了小半年，摸索出来了一些经验，写这篇blog的目的是为了让师弟师妹在模型部署的环节少走弯路，也能快速体验到LLM的智能，减少部署环节的痛苦如果是进行只需要跑通模型当前流行的6b7b

跃跃欲试88·2023-10-26 10:45

【ResNet网络模型】

代码实现文章DeepResidualLearningforImageRecognitionCNN经典网络模型残差神经网络（ResNet）主要贡献是发现了“退化现象(degradation)”，并针对退化现象发明了

smilelingling·2023-10-25 20:01

身份证识别，关键信息抽取，详细过程一步到位

安装标注工具，标注位置信息2.通过转换脚本，转换训练所需格式3.模型训练与预测三、关键信息提取1.标注身份证数据集的关键信息2.通过转换脚本，转换训练所需格式3.文件参数修改4.模型训练四、后处理改进代码五、模型部署前言本项目基于

一大口蛋黄酥·2023-10-25 03:26

轻量ViT王者 | EfficientFormerV2：全新轻量级视觉Transformer

点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群后台回复【模型部署工程】获取基于TensorRT的分类、检测任务的部署源码！

自动驾驶之心·2023-10-25 01:59

【教程】-在rknn-toolkit2模拟器中验证测试语义分割模型Yolov5-seg

引言为了以后能够顺利的将模型部署在rk3568开发板中，我们首先要在rknn-toolkit2提供的模拟器环境中进行运行测试，从而保证所选模型能够在开发板上进行部署，测试环境是Ubuntu20.04。

计算机幻觉·2023-10-24 23:39

YOLO V8语义分割模型部署

目录1配置pytorch环境2配置yolo环境3测试yoloV8的语义分割模型1配置pytorch环境我的电脑为Y9000P4090，英伟达显卡驱动版本为525.105.17，驱动显示最高的cuda版本号为12.0，cuda版本为11.6，cudnn版本号为8.5.0。Anaconda3版本为22.9.0。如下：对于跑yolo来说，我们创建python3.8环境。condacreate-nyopy

APS2023·2023-10-24 02:04

YOLO V8训练自己的数据集并测试

1YOLOV8部署2标注软件labelme安装3将labelme转化为YOLOV8支持的数据格式4开始训练5利用训练结果进行测试1YOLOV8部署我的一篇博客已经提到，这里不再赘述：YOLOV8语义分割模型部署

APS2023·2023-10-24 02:00

【OpenVINO】基于 OpenVINO Python API 部署 RT-DETR 模型

基于OpenVINOPythonAPI部署RT-DETR模型1.RT-DETR2.OpenVINO3.环境配置3.1模型下载环境3.2模型部署环境4.模型下载与转换4.1PaddlePaddle模型下载

椒颜皮皮虾྅·2023-10-23 17:00

探游·R329·AI部署实战（二）移植搭建AI环境

由于周末抽时间做的，时间不稳定，抱歉呐~上次做了R329的第一期，也就是解决了配置R329开发板并跑起来的问题；这一期能解决的问题是：你能用R329上的AIPU跑个resnet50啥的，你能用R329的CPU跑起来NCNN

极术社区·2023-10-22 14:53

模型部署笔记--Pytorch-FX量化

目录1--Pytorch-FX量化2--校准模型3--代码实例3-1--主函数3-2--prepare_dataloader函数3-3--训练和测试函数1--Pytorch-FX量化Pytorch在torch.quantization.quantize_fx中提供了两个API，即prepare_fx和convert_fx。prepare_fx的作用是准备量化，其在输入模型里按照设定的规则qconf

晓晓纳兰容若·2023-10-22 01:36

【ChatGLM2-6B】nginx转发配置

背景好不容易把ChatGLM2-6B大语言模型部署好了，使用streamlit方式启动起来了，终于可以愉快的玩耍了，然后想着申请一个域名，使用HTTPS协议访问，但实践过程中，发现这个大语言模型的nginx

太空眼睛·2023-10-21 18:05

模型部署踩坑(持续更新ing)

文章目录模型部署踩坑踩坑1踩坑2踩坑3踩坑4踩坑5模型部署踩坑踩坑1FLOPs不能衡量模型性能，因为FLOPs只是模型计算大小的单位还需要考虑访存量跟计算无关的DNN部分(reshape,shortcut

莫余·2023-10-21 06:09

将Keras模型迁移到android端（android studio）

环境：win8python3.5.4TensorFlow1.7.0AndroidStudio3.1.1把模型部署到安卓设备上总体的步骤如下:将训练好的模型转换成TensorFlow格式向安卓应用添加TensorFlowMobile

用一个不重复的昵称·2023-10-21 05:52

深度学习模型部署与优化：策略与实践；L40S与A100、H100的对比分析

★深度学习、机器学习、生成式AI、深度神经网络、抽象学习、Seq2Seq、VAE、GAN、GPT、BERT、预训练语言模型、Transformer、ChatGPT、GenAI、多模态大模型、视觉大模型、TensorFlow、PyTorch、Batchnorm、Scale、Crop算子、L40S、A100、H100、A800、H800随着生成式AI应用的迅猛发展，我们正处在前所未有的大爆发时代。在这

高性能服务器·2023-10-21 04:05

绝不能错过的24个Python库

文中提及了用于数据清理、数据操作、可视化、构建模型甚至模型部署(以及其他用途)的库。这是一个相当全面的列表，有助于你使用Python开

lddnzx·2023-10-21 01:17

RK3568笔记四：基于TensorFlow花卉图像分类部署

花卉图像分类任务，使用使用tf.keras.Sequential模型，简单构建模型，然后转换成RKNN模型部署到ATK-DLRK3568板子上。

殷忆枫·2023-10-21 01:39

通过 DLPack 构建跨框架深度学习编译器

BuildingaCross-FrameworkDeepLearningCompilerviaDLPack诸如Tensorflow、PyTorch和ApacheMxNet等深度学习框架为深度学习的快速原型设计和模型部署提供了强大的工具箱

图波列夫·2023-10-20 22:09

【Gradio-Windows-Linux】解决share=True无法创建共享链接，缺少frpc_windows_amd64_v0.2

前言随着机器学习技术的快速发展，将训练好的模型部署为实际应用变得愈发重要。Gradio作为一个强大的开源库，为我们提供了一个简单而高效的解决方案。

friklogff·2023-10-20 11:19

基于ncnn 的yolov5,nanodet实现

/yolo5-sim.onnx（简化转换得到的onnx）4.ncnn代码库4.1ncnn代码库的编译ncnn编

薇薇小博士·2023-10-19 20:00

2023-10-8讯飞大模型部署2024秋招后端一面（附详解）

1mybatis的mapper是什么东西在MyBatis中，mapper是一个核心概念，它起到了桥梁的作用，连接Java对象和数据库之间的数据。具体来说，mapper可以分为以下两个部分：MapperXML文件：这是一个XML文件，其中定义了SQL语句和映射规则。每个SQL语句都有一个唯一的ID，这样Java代码可以引用它。在这个文件中，你可以定义CRUD操作（如,,,）。你还可以定义结果映射（如

xxx_520s·2023-10-19 10:09

Deep Learning（15-草履虫）

卷积神经网络CNNCNN的应用什么是卷积（特征提取）CNN通过“局部连接”和“参数共享”可以更高效地完成图像识别任务局部连接：每个神经元不再和上一层的所有神经元连接，而只和上一层相邻的局部区域内的神经元连接

怎么全是重名·2023-10-18 07:42

OpenMMLab OpenMMLab mmdeploy v1.1.0模型部署（一）

一、MMDepoly整体框架模型部署是指把机器学习训练生成的算法模型，部署到各类云、边、端设备上去，并使之高效运行，从而将算法模型实际地应用到现实生活中的各类任务中去，从而实现AI+的智能化转型。

qq_41627642·2023-10-17 21:00

ubuntu下yolox tensorrt模型部署

TensorRT系列教程之Windows10下yolov8tensorrt模型加速部署TensorRT系列教程之Linux下yolov8tensorrt模型加速部署TensorRT系列教程之Linux下yolov7tensorrt模型加速部署TensorRT系列教程之Linux下yolov6tensorrt模型加速部署TensorRT系列教程之Linux下yolov5tensorrt模型加速部署T

燃烧的枫·2023-10-17 13:24

vs2019+openvino部署yolov5目标检测流程+bug解决

项目需要利用c++部署yolov5的.pt文件尝试intel厂商的openvino套件版本：vs2019openvino==2022.3（只用部署所以只下载runtime）opencv==4.5.5（模型部署的前处理和后处理

叫啥你能记住我·2023-10-17 12:27

基于openvino+yolov5的模型量化记录（PTQ模式）

此文档的目的是为了了解openvino如何降低模型部署的推理时间，同时尽可能保证精度。此文档一共提供了两种PTQ量化方式，下面分别介绍。

TimeRoser·2023-10-17 12:42

libtorch部署1：模型训练和转换

前面已经研究过tensorflow，onnx的模型部署方案，这篇就来记录一下pyTorch模型的C++部署方案。

代丹·2023-10-17 10:45

实操rk3588讯为开发板部署和运行yolov5模型

【RKNPU2项目实战1】：YOLOV5实时目标分类_哔哩哔哩_bilibili）完成了前11分钟的内容，分别是：在pc端用ubuntu虚拟机推理yolo模型；在pc端连板推理yolo模型；把yolo模型部署到板端推理

hzh442436179·2023-10-16 12:02

通过onnxruntime进行模型部署过程中的问题

1.onnxruntime包从https://github.com/microsoft/onnxruntime/releases/下载解压到D:/code/package/onnruntime2opencv_c++下载https://github.com/opencv/opencv/releases/tag/4.8.13.测试opencv代码：总结：添加include目录，添加lib库目录，链接器

tao_sc·2023-10-16 01:41

mlc-llm 推理优化和大语言模型搭建解析

mlc-llm的模型部署流程可以查看官方文档：https://mlc.ai/mlc-llm/docs/，也可以参考我前段时间写的这篇MLC-LLM部署RWKVWorld系列模型实战（3B模型MacM2解码可达

just_sort·2023-10-16 00:59

推荐频道

模型部署-ncnn