模型部署-ncnn

yolov5＞onnx＞ncnn＞apk

一.yolov5pt模型转onnx条件：colabnotebookyolov51.安装环境!pipinstallonnx>=1.7.0#forONNXexport!pipinstallcoremltools==4.0#forCoreMLexport!pipinstallonnx-simplifier2.修改common.py在classFocus下面
图像处理大大大大大牛啊·2024-09-16 05:15

【大模型】triton inference server

前言：tritoninferenceserver常用于大模型部署，可以采用http或GRPC调用，支持大部分的backend，单GPU、多GPU都可以支持，CPU也支持。
idiotyi·2024-09-15 05:47

【深度学习】【OnnxRuntime】【Python】模型转化、环境搭建以及模型部署的详细教程

【深度学习】【OnnxRuntime】【Python】模型转化、环境搭建以及模型部署的详细教程提示:博主取舍了很多大佬的博文并亲测有效,分享笔记邀大家共同学习讨论文章目录【深度学习】【OnnxRuntime
牙牙要健康·2024-09-14 14:34

Ollama全面指南：安装、使用与高级定制

详细讲解了如何在不同操作系统上安装Ollama，如何运行和自定义大型语言模型，以及如何通过Ollama进行模型部署和交互。此外，还提供了丰富的故障排除和FAQ，帮助用户解决使用过程中的常见问题。
我就是全世界·2024-09-12 18:51

本地部署大语言模型详细讲解

前言：本地部署大语言模型（LLM，LargeLanguageModel）需要相应的硬件资源和技术栈支持，如GPU计算能力、大量内存、存储空间，以及模型部署框架。
程序员小羊！·2024-09-12 04:25

【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）(1)

cuda==10.2cudnn==8.0.3onnxruntime-gpu==1.5.0or1.6.0pipinstallonnxruntime-gpu==1.6.0###2.2方法二：onnxruntime-gpu不依赖于本地主机上cuda和cudnn在conda环境中安装，不依赖于本地主机上已安装的cuda和cudnn版本，灵活方便。这里，先说一下已经测试通过的组合：*python3.6,cu
2401_83703835·2024-09-11 13:36

机器学习框架巅峰对决：TensorFlow vs. PyTorch vs. Scikit-Learn实战分析

合适的框架可以极大地提高开发效率，简化模型的构建和训练过程，并支持大规模的模型部署。因此，了解和选择最合适的机器学习框架对于研究人员和工程师来说是一个关键的步骤。
@sinner·2024-09-08 18:42

MTCNN训练

是当前效果最好的开源人脸检测算法之一，作者只提供了训练好的模型以及matlab部署代码，其训练和优化却没有放出来，引发了很多好事者复现如果只是要部署的话可以使用MTCNN，其提供了部署全平台实现，包括C++、python、ncnn
迷若烟雨·2024-09-05 01:10

并行处理的艺术：深入探索PyTorch中的torch.nn.parallel模块

PyTorch，作为当前流行的深度学习框架之一，提供了torch.nn.parallel模块，允许我们轻松地将模型部署到多个GPU上。
杨哥带你写代码·2024-09-04 06:10

最新视频合成后调优技术ExVideo模型部署

ExVideo是一种新型的视频合成模型后调优技术，由华东师范大学和阿里巴巴的研究人员共同开发。ExVideo提出了一种新的后调优策略，无需对整个模型进行大规模重训，仅通过对模型中时序相关组件的微调，就能够显著增强其生成更长视频片段的能力，大大降低了对计算资源的需求，仅需1.5kgpu小时就能将视频生成帧数提高至原模型的5倍。ExVideo在提升视频长度的同时，并没有牺牲模型的泛化能力，生成的视频在
杰说新技术·2024-08-31 09:56

[模型部署] ONNX模型转TRT模型部分要点

本篇讲“ONNX模型转TRT模型”部分要点。以下皆为TRT模型的支持情况。模型存为ONNX格式后，已经丢失了很多信息，与原python代码极难对应。因为在“ONNX转TRT”时，转换出错，更难映射回python代码。解决此类问题的关键为：转onnx时要打开verbose选项，输出每一行python的模型代码被转成了哪些ONNX算子。torch.onnx.export(model,(dummy_in
lainegates·2024-08-31 04:19

深度学习系列70：模型部署torchserve

1.流程说明ts文件夹下，从launcher.py进入，执行jar文件。入口为model_server.py的start()函数。内容包含：读取args，创建pid文件找到java，启动model-server.jar程序，同时读取log-config文件，TEMP文件夹地址，TS_CONFIG_FILE文件根据cpu核数、gpu个数，启动多进程。每个进程有一个socket_name和socket
IE06·2024-08-31 00:25

在STM32上实现嵌入式人工智能应用

本文将探讨如何在STM32平台上实现深度学习应用，特别是利用STM32Cube.AI工具链将训练好的神经网络模型部署到STM32设备上。
嵌入式详谈·2024-08-28 19:30

数据科学生命周期的7个步骤–在业务中应用AI

DataCollection）3.数据准备（DataPreparation）4.数据探索（ExploratoryDataAnalysis,EDA）5.模型构建（Modeling）6.模型评估（Evaluation）7.模型部署与维护
听忆.·2024-08-28 11:10

Yolov8：模型部署到安卓端

1.项目准备1.1先安装JDK和Androidstudio（1）JDK下载：官网站：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html同意协议后，下载相应版本的JDK我这里没有下载JDK21版的，下载的是jdk1.8版本，参考文章：AndroidStudio开发环境快速搭建（超详细
爱编码的小陈·2024-08-25 17:04

【机器学习】Whisper：开源语音转文本（speech-to-text）大模型实战

目录一、引言二、Whisper模型原理2.1模型架构2.2语音处理2.3文本处理三、Whisper模型实战3.1环境安装3.2模型下载3.3模型推理3.4完整代码3.5模型部署四、总结一、引言上一篇对ChatTTS
LDG_AGI·2024-08-24 03:06

pyinstaller打包onnxruntime-gpu报错找不到CUDA的解决方案

问题说明：使用onnxruntime-gpu完成了深度学习模型部署，但在打包时发生了报错：找不到CUDA具体问题描述：RuntimeError:D:\a\_work\1\s\onnxruntime\python
布呐呐na·2024-08-22 15:56

170基于matlab的DNCNN图像降噪

基于matlab的DNCNN图像降噪，网络分为三部分，第一部分为Conv+Relu（一层），第二部分为Conv+BN+Relu（若干层），第三部分为Conv（一层），网络层数为17或者20层。
顶呱呱程序·2024-02-25 23:06

大模型量化技术原理-LLM.int8()、GPTQ

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。
吃果冻不吐果冻皮·2024-02-20 21:39

我把ChatGPT部署到我的手机上

正常的大模型部署都是在服务器上的但是最近我看到一个手机上可以运行的大模型分享给大家MiniCPMMiniCPM是基于MLC-LLM开发，将MiniCPM和MiniCPM-V在Android手机端上运行。
·2024-02-20 17:55

81TensorFlow 2 模型部署方法实践--TensorFlow Serving 部署模型

TensorFlowServing部署模型TensorFlowServing是一个针对机器学习模型的灵活、高性能的服务系统，专为生产环境而设计。本节实验将使用TensorFlowServing部署MobileNetV2模型，并通过两种方法访问TensorFlowServing服务进行图像识别。TensorFlowServing安装在这里我们通过Docker来安装TensorFlowServing，
Jachin111·2024-02-14 13:25

深度学习笔记：推理服务

推理服务是把训练好的模型部署到线上，进行实时预测的过程。如阿里的RTP系统顾名思义，实时预测是相对于非实时预测(离线预测)而言，非实时预测是将训练好
TaoTao Li·2024-02-14 03:58

如何实现远程云服务器模型部署在本地使用

远程云服务器模型部署在本地使用1.问题说明：在使用pycharm的ssh连接到远程云服务器时，模型已经加载成功并且出现了如下标识：但是我们打开本地的7080端口，发现是拒绝访问。这是什么情况？
时光诺言·2024-02-14 01:53

LMDeploy 大模型量化部署实践

在浦语的MDeploy大模型量化部署实践课程中，可能需要完成的任务包括：大模型部署背景2、LMDeploy简介环境配置：这个部分你需要安装并设置相关的开发工具和库。
查里王·2024-02-12 23:57

AI工程化工具设计

需要有一个方便的改名字的工具，将下载的图片，一键式改名；3，需要有一个方便的，自动化的标注工具，提高标注效率4，需要有一个方便的，图形化的训练和测试工具，自动训练，并给出训练结果报告5，需要有一个方便的部署工具，方便把模型部署到
LabVIEW_Python·2024-02-12 21:44

开发者都能玩转的大模型训练

而且基于亚马逊云科技的云服务器优势，可以直接将模型部署到线上托管环境上，非常方便，且无技术“隔阂”，无缝操作。据我
·2024-02-11 17:57

hummingbird，一个便于将模型部署到边缘设备的Python库！

前言随着人工智能和机器学习的快速发展，将训练好的模型部署到生产环境中成为了一个重要的任务。而边缘计算设备，如智能手机、嵌入式系统和物联网设备，也需要能够运行机器学习模型以进行实时推理。
漫走云雾·2024-02-11 05:31

hummingbird，一个非常好用的 Python 库！

随着人工智能和机器学习的快速发展，将训练好的模型部署到生产环境中成为了一个重要的任务。而边缘计算设备，如智能手机、嵌入式系统和物联网设备，也需要能够运行机器学习模型以进行实时推理。
近咫／＼ぃ天涯·2024-02-10 12:54

论文撰写八大技巧与八大心得，一文读懂

各位大佬、敬请查阅声明:作为全网AI领域干货最多的博主之一，❤️不负光阴不负卿❤️日常搬砖帮老板审了不少Paper，总结一些心得分享给各位正在路上的科研小伙伴计算机视觉、超分重建、图像修复、目标检测、模型部署都在学习墨理学
墨理学AI·2024-02-10 12:34

orbslam_semantic_nav_ros 编译出现的问题1

安装环境ubuntu20.04rosNODES项目链接：https://github.com/MRwangmaomao/semantic_slam_nav_ros安装腾讯ncnn库其他库opencv3.4.9eigen3.4.0pangolin
sugarkss·2024-02-09 20:02

使用阿里云通义千问14B（Qianwen-14B）模型自建问答系统

使用阿里云通义千问14B（Qianwen-14B）模型自建问答系统时，调度服务器资源的详情将取决于以下关键因素：模型部署：GPU资源：由于Qianwen-14B是一个大规模语言模型，推理时需要高性能的GPU
wangqiaowq·2024-02-09 12:20

基于轻量级模型YOLOX-Nano的菜品识别系统

工程Gitee地址：https://gitee.com/zhong-liangtang/ncnn-android-yolox-nano一、YOLOX简介YOLOX是一个在2021年被旷视科技公司提出的高性能且无锚框
钟良堂·2024-02-09 05:46

智慧自助餐饮系统（SpringBoot+MP+Vue+微信小程序+JNI+ncnn+YOLOX-Nano）

一、项目简介本项目是配合智慧自助餐厅下的一套综合系统，该系统分为安卓端、微信小程序用户端以及后台管理系统。安卓端利用图像识别技术进行识别多种不同菜品，识别成功后安卓端显示该订单菜品以及价格并且生成进入小程序的二维码，用户扫描后在小程序进行付款和提交订单，用户也可查看订单和菜品等信息，管理员在Web后台管理系统进行信息查看餐厅运营情况和管理菜品、订单评价等信息。本系统涉及的论文文献，可以进行参考和引
钟良堂·2024-02-09 05:15

hummingbird，一个非常好用的 Python 库！

前言随着人工智能和机器学习的快速发展，将训练好的模型部署到生产环境中成为了一个重要的任务。而边缘计算设备，如智能手机、嵌入式系统和物联网设备，也需要能够运行机器学习模型以进行实时推理。
漫走云雾·2024-02-08 12:42

读懂 FastChat 大模型部署源码所需的异步编程基础

原文：读懂FastChat大模型部署源码所需的异步编程基础-知乎目录0.前言1.同步与异步的区别2.协程3.事件循环4.await5.组合协程6.使用Semaphore限制并发数7.运行阻塞任务8.异步迭代器
javastart·2024-02-08 09:08

caffez转ncnn，及环境配置

一、安装ncnn1、安装protobuf(a)、gitclonehttps://github.com/google/protobuf(b)、自动生成configure配置文件，运行：.
宁静深远·2024-02-08 09:31

OPENGL NCNN GPU零拷贝实现

概要OPENGL拿到的相机帧，通过有拷贝的方式进行GPU推理CPU占用率太高，而NCNN没有提供OPENGL零拷贝GPU推理的接口，因此只能自己实现整体流程主要方法是使用AndroidHardwareBuffer
陈立里·2024-02-08 09:58

NCNN GPU初始化加速——cache实现

概要NCNN的CPU初始化速度很快，但是当使用GPU进行推理时，初始化往往要花费几秒甚至更长时间。
陈立里·2024-02-08 09:56

llama2模型部署方案的简单调研-GPU显存占用(2023年7月25日版)

先说结论全精度llama27B最低显存要求：28GB全精度llama213B最低显存要求：52GB全精度llama270B最低显存要求：280GB16精度llama27B预测最低显存要求：14GB16精度llama213B预测最低显存要求：26GB16精度llama270B预测最低显存要求：140GB8精度llama27B预测最低显存要求：7GB8精度llama213B预测最低显存要求：13GB8
海皇海皇吹·2024-02-05 20:50

PyTorch、NCNN、Numpy三者张量的shape

目录一、PyTorch二、NCNN三、Numpy一、PyTorch在PyTorch中，张量（Tensor）的形状通常按照(N,C,H,W)的顺序排列，其中：N是批量大小（batchsize）C是通道数（
六五酥·2024-02-05 09:30

周同学文章汇总

目录前言1.C++2.Linux3.环境配置4.AlgoC++5.Makefile6.模型部署7.tensorRT从零起步高性能部署8.保姆级从零手写自动驾驶CV9.剪枝与重参10.量化11.国内首个BVE
爱听歌的周童鞋·2024-02-04 19:23

Python机器学习模型库之hummingbird使用详解

概要随着人工智能和机器学习的快速发展，将训练好的模型部署到生产环境中成为了一个重要的任务。而边缘计算设备，如智能手机、嵌入式系统和物联网设备，也需要能够运行机器学习模型以进行实时推理。
Rocky006·2024-02-03 13:15

在树莓派下使用NCNN部署YOLOv5-lite

在树莓派下使用NCNN部署YOLOv5-lite前置的开发环境操作可以先看这篇文章：树莓派下部署NCNN_树莓派部署神经网络我这里的yolov5-lite的param文件和bin文件是参考这个github
TTao9·2024-02-03 09:12

目标检测:PC端MobileNetSSD通过Ncnn前向推理框架之实现

我的最终目标是将MobileNetSSD部署到Anroid设备端，考虑到运行效率，采用了NCNN前向推理来实现，下面将在PC端的实现过程和大家分享下，欢迎讨论。
宝坚刘炜·2024-02-03 05:38

(新手亲测有效)bug解决：在用显存24G的3090采用LoRA微调ChatGLM-6B（FP16）时报错torch.OutOfMemoryError:CUDA out of Memory.

理论上，ChatGLM-6B（FP16）模型部署运行时需要大约13G的显存空间即可。
韬小志·2024-02-02 20:34

手写数字识别从训练到部署全流程详解——模型在Android端的部署

目前市面上基本所有的训练框架训练出来的模型都无法直接在移动端上使用和推理，尽管部分框架同时做了移动端部署功能（如Tensorflow-lite、pytorch-mobile等），但是在性能表现上对比专业的部署框架（如ncnn
彧侠·2024-02-02 10:59

《YOLOv8-Pose关键点检测》专栏介绍 & CSDN独家改进创新实战 & 专栏目录

pose的yolo数据集；模型性能提升、pose模式部署能力；应用范围：工业工件定位、人脸、摔倒检测等支持各个关键点检测；指导手册目录1.手把手入门教程1.1训练准备篇，数据集制作1.1案列实战1.1模型部署
AI小怪兽·2024-02-01 15:38

英特尔正式发布OpenVINO™ 2023.3版本

OpenVINO™是英特尔针对自家硬件平台开发的一套深度学习工具库，包含推断库，模型优化等等一系列与深度学习模型部署相关的功能。
hyang1974·2024-02-01 04:19

【XR806开发板试用】在 xr806 上用 ncnn 跑神经网络 mnist

在xr806上用ncnn跑神经网络mnist0x0介绍xr806和ncnnhttps://xr806.docs.aw-ol.com/XR806是全志科技旗下子公司广州芯之联研发设计的一款支持WiFi和BLE
极术社区·2024-01-31 07:09

1.24CNN（基本框架），RNN（简单RNN,LSTM,GRU简要)两个参考论文

目录CNNRNN3种RNN模型简单RNNLSTM（长短期记忆模型）GRU参考论文CNNCNN是卷积神经网络提取图片特征、在输出阶段可以使用sigmoid函数返回01值RNN3种RNN模型简单RNNH就是每层神经元所产生的一个输出信号
CQU_JIAKE·2024-01-30 09:43
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他