E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
ncnn模型部署
[
模型部署
] ONNX模型转TRT模型部分要点
本篇讲“ONNX模型转TRT模型”部分要点。以下皆为TRT模型的支持情况。模型存为ONNX格式后,已经丢失了很多信息,与原python代码极难对应。因为在“ONNX转TRT”时,转换出错,更难映射回python代码。解决此类问题的关键为:转onnx时要打开verbose选项,输出每一行python的模型代码被转成了哪些ONNX算子。torch.onnx.export(model,(dummy_in
lainegates
·
2024-08-31 04:19
深度学习
人工智能
深度学习系列70:
模型部署
torchserve
1.流程说明ts文件夹下,从launcher.py进入,执行jar文件。入口为model_server.py的start()函数。内容包含:读取args,创建pid文件找到java,启动model-server.jar程序,同时读取log-config文件,TEMP文件夹地址,TS_CONFIG_FILE文件根据cpu核数、gpu个数,启动多进程。每个进程有一个socket_name和socket
IE06
·
2024-08-31 00:25
深度学习系列
深度学习
人工智能
在STM32上实现嵌入式人工智能应用
本文将探讨如何在STM32平台上实现深度学习应用,特别是利用STM32Cube.AI工具链将训练好的神经网络
模型部署
到STM32设备上。
嵌入式详谈
·
2024-08-28 19:30
stm32
人工智能
嵌入式硬件
数据科学生命周期的7个步骤–在业务中应用AI
DataCollection)3.数据准备(DataPreparation)4.数据探索(ExploratoryDataAnalysis,EDA)5.模型构建(Modeling)6.模型评估(Evaluation)7.
模型部署
与维护
听忆.
·
2024-08-28 11:10
人工智能
Yolov8:
模型部署
到安卓端
1.项目准备1.1先安装JDK和Androidstudio(1)JDK下载:官网站:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html同意协议后,下载相应版本的JDK我这里没有下载JDK21版的,下载的是jdk1.8版本,参考文章:AndroidStudio开发环境快速搭建(超详细
爱编码的小陈
·
2024-08-25 17:04
深度学习
YOLO
【机器学习】Whisper:开源语音转文本(speech-to-text)大模型实战
目录一、引言二、Whisper模型原理2.1模型架构2.2语音处理2.3文本处理三、Whisper模型实战3.1环境安装3.2模型下载3.3模型推理3.4完整代码3.5
模型部署
四、总结一、引言上一篇对ChatTTS
LDG_AGI
·
2024-08-24 03:06
AI智能体研发之路-模型篇
机器学习
whisper
人工智能
语音识别
实时音视频
python
transformer
pyinstaller打包onnxruntime-gpu报错找不到CUDA的解决方案
问题说明:使用onnxruntime-gpu完成了深度学习
模型部署
,但在打包时发生了报错:找不到CUDA具体问题描述:RuntimeError:D:\a\_work\1\s\onnxruntime\python
布呐呐na
·
2024-08-22 15:56
人工智能
python
170基于matlab的D
NCNN
图像降噪
基于matlab的D
NCNN
图像降噪,网络分为三部分,第一部分为Conv+Relu(一层),第二部分为Conv+BN+Relu(若干层),第三部分为Conv(一层),网络层数为17或者20层。
顶呱呱程序
·
2024-02-25 23:06
matlab工程应用
matlab
开发语言
图像降噪处理
DNCNN
大模型量化技术原理-LLM.int8()、GPTQ
近年来,随着Transformer、MOE架构的提出,使得深度学习模型轻松突破上万亿规模参数,从而导致模型变得越来越大,因此,我们需要一些大模型压缩技术来降低
模型部署
的成本,并提升模型的推理性能。
吃果冻不吐果冻皮
·
2024-02-20 21:39
动手学大模型
人工智能
我把ChatGPT部署到我的手机上
正常的大
模型部署
都是在服务器上的但是最近我看到一个手机上可以运行的大模型分享给大家MiniCPMMiniCPM是基于MLC-LLM开发,将MiniCPM和MiniCPM-V在Android手机端上运行。
·
2024-02-20 17:55
人工智能
81TensorFlow 2
模型部署
方法实践--TensorFlow Serving 部署模型
TensorFlowServing部署模型TensorFlowServing是一个针对机器学习模型的灵活、高性能的服务系统,专为生产环境而设计。本节实验将使用TensorFlowServing部署MobileNetV2模型,并通过两种方法访问TensorFlowServing服务进行图像识别。TensorFlowServing安装在这里我们通过Docker来安装TensorFlowServing,
Jachin111
·
2024-02-14 13:25
深度学习笔记:推理服务
推理服务是把训练好的
模型部署
到线上,进行实时预测的过程。如阿里的RTP系统顾名思义,实时预测是相对于非实时预测(离线预测)而言,非实时预测是将训练好
TaoTao Li
·
2024-02-14 03:58
tensorflow
深度学习
深度学习
人工智能
机器学习
如何实现远程云服务器
模型部署
在本地使用
远程云服务器
模型部署
在本地使用1.问题说明:在使用pycharm的ssh连接到远程云服务器时,模型已经加载成功并且出现了如下标识:但是我们打开本地的7080端口,发现是拒绝访问。这是什么情况?
时光诺言
·
2024-02-14 01:53
服务器
运维
ssh
LMDeploy 大模型量化部署实践
在浦语的MDeploy大模型量化部署实践课程中,可能需要完成的任务包括:大
模型部署
背景2、LMDeploy简介环境配置:这个部分你需要安装并设置相关的开发工具和库。
查里王
·
2024-02-12 23:57
人工智能
AI工程化工具设计
需要有一个方便的改名字的工具,将下载的图片,一键式改名;3,需要有一个方便的,自动化的标注工具,提高标注效率4,需要有一个方便的,图形化的训练和测试工具,自动训练,并给出训练结果报告5,需要有一个方便的部署工具,方便把
模型部署
到
LabVIEW_Python
·
2024-02-12 21:44
开发者都能玩转的大模型训练
而且基于亚马逊云科技的云服务器优势,可以直接将
模型部署
到线上托管环境上,非常方便,且无技术“隔阂”,无缝操作。据我
·
2024-02-11 17:57
机器学习canvasaigc
hummingbird,一个便于将
模型部署
到边缘设备的Python库!
前言随着人工智能和机器学习的快速发展,将训练好的
模型部署
到生产环境中成为了一个重要的任务。而边缘计算设备,如智能手机、嵌入式系统和物联网设备,也需要能够运行机器学习模型以进行实时推理。
漫走云雾
·
2024-02-11 05:31
python
开发语言
边缘计算
机器学习
hummingbird,一个非常好用的 Python 库!
随着人工智能和机器学习的快速发展,将训练好的
模型部署
到生产环境中成为了一个重要的任务。而边缘计算设备,如智能手机、嵌入式系统和物联网设备,也需要能够运行机器学习模型以进行实时推理。
近咫/\ぃ天涯
·
2024-02-10 12:54
python
开发语言
论文撰写八大技巧与八大心得,一文读懂
各位大佬、敬请查阅声明:作为全网AI领域干货最多的博主之一,❤️不负光阴不负卿❤️日常搬砖帮老板审了不少Paper,总结一些心得分享给各位正在路上的科研小伙伴计算机视觉、超分重建、图像修复、目标检测、
模型部署
都在学习墨理学
墨理学AI
·
2024-02-10 12:34
orbslam_semantic_nav_ros 编译出现的问题1
安装环境ubuntu20.04rosNODES项目链接:https://github.com/MRwangmaomao/semantic_slam_nav_ros安装腾讯
ncnn
库其他库opencv3.4.9eigen3.4.0pangolin
sugarkss
·
2024-02-09 20:02
计算机视觉
机器人
使用阿里云通义千问14B(Qianwen-14B)模型自建问答系统
使用阿里云通义千问14B(Qianwen-14B)模型自建问答系统时,调度服务器资源的详情将取决于以下关键因素:
模型部署
:GPU资源:由于Qianwen-14B是一个大规模语言模型,推理时需要高性能的GPU
wangqiaowq
·
2024-02-09 12:20
人工智能
基于轻量级模型YOLOX-Nano的菜品识别系统
工程Gitee地址:https://gitee.com/zhong-liangtang/
ncnn
-android-yolox-nano一、YOLOX简介YOLOX是一个在2021年被旷视科技公司提出的高性能且无锚框
钟良堂
·
2024-02-09 05:46
笔记
深度学习
目标检测
yolox-nano
菜品识别
智慧自助餐饮系统(SpringBoot+MP+Vue+微信小程序+JNI+
ncnn
+YOLOX-Nano)
一、项目简介本项目是配合智慧自助餐厅下的一套综合系统,该系统分为安卓端、微信小程序用户端以及后台管理系统。安卓端利用图像识别技术进行识别多种不同菜品,识别成功后安卓端显示该订单菜品以及价格并且生成进入小程序的二维码,用户扫描后在小程序进行付款和提交订单,用户也可查看订单和菜品等信息,管理员在Web后台管理系统进行信息查看餐厅运营情况和管理菜品、订单评价等信息。本系统涉及的论文文献,可以进行参考和引
钟良堂
·
2024-02-09 05:15
笔记
spring
boot
vue.js
微信小程序
目标检测
跨域问题
hummingbird,一个非常好用的 Python 库!
前言随着人工智能和机器学习的快速发展,将训练好的
模型部署
到生产环境中成为了一个重要的任务。而边缘计算设备,如智能手机、嵌入式系统和物联网设备,也需要能够运行机器学习模型以进行实时推理。
漫走云雾
·
2024-02-08 12:42
python
开发语言
读懂 FastChat 大
模型部署
源码所需的异步编程基础
原文:读懂FastChat大
模型部署
源码所需的异步编程基础-知乎目录0.前言1.同步与异步的区别2.协程3.事件循环4.await5.组合协程6.使用Semaphore限制并发数7.运行阻塞任务8.异步迭代器
javastart
·
2024-02-08 09:08
python
python
fastapi
gunicorn
caffez转
ncnn
,及环境配置
一、安装
ncnn
1、安装protobuf(a)、gitclonehttps://github.com/google/protobuf(b)、自动生成configure配置文件,运行:.
宁静深远
·
2024-02-08 09:31
软件安装
OPENGL
NCNN
GPU零拷贝实现
概要OPENGL拿到的相机帧,通过有拷贝的方式进行GPU推理CPU占用率太高,而
NCNN
没有提供OPENGL零拷贝GPU推理的接口,因此只能自己实现整体流程主要方法是使用AndroidHardwareBuffer
陈立里
·
2024-02-08 09:58
ncnn
NCNN
GPU初始化加速——cache实现
概要
NCNN
的CPU初始化速度很快,但是当使用GPU进行推理时,初始化往往要花费几秒甚至更长时间。
陈立里
·
2024-02-08 09:56
ncnn
llama2
模型部署
方案的简单调研-GPU显存占用(2023年7月25日版)
先说结论全精度llama27B最低显存要求:28GB全精度llama213B最低显存要求:52GB全精度llama270B最低显存要求:280GB16精度llama27B预测最低显存要求:14GB16精度llama213B预测最低显存要求:26GB16精度llama270B预测最低显存要求:140GB8精度llama27B预测最低显存要求:7GB8精度llama213B预测最低显存要求:13GB8
海皇海皇吹
·
2024-02-05 20:50
llama
人工智能
自然语言处理
语言模型
chatgpt
gpt-3
PyTorch、
NCNN
、Numpy三者张量的shape
目录一、PyTorch二、
NCNN
三、Numpy一、PyTorch在PyTorch中,张量(Tensor)的形状通常按照(N,C,H,W)的顺序排列,其中:N是批量大小(batchsize)C是通道数(
六五酥
·
2024-02-05 09:30
pytorch
numpy
人工智能
周同学文章汇总
目录前言1.C++2.Linux3.环境配置4.AlgoC++5.Makefile6.
模型部署
7.tensorRT从零起步高性能部署8.保姆级从零手写自动驾驶CV9.剪枝与重参10.量化11.国内首个BVE
爱听歌的周童鞋
·
2024-02-04 19:23
CSDN文章
课程笔记
Python机器学习模型库之hummingbird使用详解
概要随着人工智能和机器学习的快速发展,将训练好的
模型部署
到生产环境中成为了一个重要的任务。而边缘计算设备,如智能手机、嵌入式系统和物联网设备,也需要能够运行机器学习模型以进行实时推理。
Rocky006
·
2024-02-03 13:15
python
开发语言
在树莓派下使用
NCNN
部署YOLOv5-lite
在树莓派下使用
NCNN
部署YOLOv5-lite前置的开发环境操作可以先看这篇文章:树莓派下部署
NCNN
_树莓派部署神经网络我这里的yolov5-lite的param文件和bin文件是参考这个github
TTao9
·
2024-02-03 09:12
神经网络部署
yolov5
linux
深度学习
目标检测:PC端MobileNetSSD通过
Ncnn
前向推理框架之实现
我的最终目标是将MobileNetSSD部署到Anroid设备端,考虑到运行效率,采用了
NCNN
前向推理来实现,下面将在PC端的实现过程和大家分享下,欢迎讨论。
宝坚刘炜
·
2024-02-03 05:38
(新手亲测有效)bug解决:在用显存24G的3090采用LoRA微调ChatGLM-6B(FP16)时报错torch.OutOfMemoryError:CUDA out of Memory.
理论上,ChatGLM-6B(FP16)
模型部署
运行时需要大约13G的显存空间即可。
韬小志
·
2024-02-02 20:34
bug
人工智能
语言模型
手写数字识别从训练到部署全流程详解——模型在Android端的部署
目前市面上基本所有的训练框架训练出来的模型都无法直接在移动端上使用和推理,尽管部分框架同时做了移动端部署功能(如Tensorflow-lite、pytorch-mobile等),但是在性能表现上对比专业的部署框架(如
ncnn
彧侠
·
2024-02-02 10:59
《YOLOv8-Pose关键点检测》专栏介绍 & CSDN独家改进创新实战 & 专栏目录
pose的yolo数据集;模型性能提升、pose模式部署能力;应用范围:工业工件定位、人脸、摔倒检测等支持各个关键点检测;指导手册目录1.手把手入门教程1.1训练准备篇,数据集制作1.1案列实战1.1
模型部署
AI小怪兽
·
2024-02-01 15:38
YOLO
深度学习
人工智能
开发语言
计算机视觉
英特尔正式发布OpenVINO™ 2023.3版本
OpenVINO™是英特尔针对自家硬件平台开发的一套深度学习工具库,包含推断库,模型优化等等一系列与深度学习
模型部署
相关的功能。
hyang1974
·
2024-02-01 04:19
ROS
&
AI
openvino
人工智能
【XR806开发板试用】在 xr806 上用
ncnn
跑神经网络 mnist
在xr806上用
ncnn
跑神经网络mnist0x0介绍xr806和
ncnn
https://xr806.docs.aw-ol.com/XR806是全志科技旗下子公司广州芯之联研发设计的一款支持WiFi和BLE
极术社区
·
2024-01-31 07:09
开发板测评
神经网络
人工智能
深度学习
1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文
目录CNNRNN3种RNN模型简单RNNLSTM(长短期记忆模型)GRU参考论文CN
NCNN
是卷积神经网络提取图片特征、在输出阶段可以使用sigmoid函数返回01值RNN3种RNN模型简单RNNH就是每层神经元所产生的一个输出信号
CQU_JIAKE
·
2024-01-30 09:43
机器学习&神经网络
cnn
深度学习
神经网络
yolov8数据标注、模型训练到
模型部署
全过程
文章目录一、数据标注(x-anylabeling)1.安装方式1.1直接通过Releases安装1.2clone源码后采用终端运行2.如何使用二、模型训练三、
模型部署
3.1onnx转engine3.2c
只搬烫手的砖
·
2024-01-30 09:09
yolov8
c++
tensorRT
python+keras搭建的
模型部署
至嵌入式端PSoc6
前面已经写了文章描述如何搭建简单的水果分类模型,本文将介绍如何将搭建的
模型部署
至嵌入式端,本文利用MLConfigurator提供的配置程序MLConfigurator来导入预先训练好的机器学习模型,而它的目前版本仅支持
deleteeee
·
2024-01-30 08:24
python
keras
深度学习
嵌入式硬件
单片机
分类
机器学习
PyTorch2ONNX-分类模型:速度比较(固定维度、动态维度)、精度比较
图像分类
模型部署
:PyTorch->ONNX1.
模型部署
介绍1.1人工智能开发部署全流程step1数据数据采集定义类别标注数据集step2模型训练模型测试集评估调参优化可解释分析step3部署手机/平板服务器
Le0v1n
·
2024-01-30 07:08
PyTorch
深度学习(Deep
Learning)
分类
人工智能
并发卷积神经网络(Co
nCNN
)的英文全称是Concurrent Convolutional Neural Network (Co
nCNN
) ,相对于普通卷积有什么优势?
问题描述:并发卷积神经网络(Co
nCNN
)的英文全称是ConcurrentConvolutionalNeuralNetwork(Co
nCNN
),相对于普通卷积有什么优势?
神笔馬良
·
2024-01-28 19:48
cnn
深度学习
神经网络
[Raspberry Pi] Raspberry Pi 4配置OpenCV4.6.0和
ncnn
环境(32-bit operation system)
文章目录前言配置OpenCV4.6.0环境1调整GPUMemory2检查EEPROM3版本确认4安装依赖5下载OpenCV6BuildMake7Make8环境配置9检查10测试11卸载配置
ncnn
1版本确认
ztmajor
·
2024-01-27 08:00
environment
python
opencv
开发语言
对于jetson nano 的docker部署jetson-inference等模型
对于Nvidiajetsonnano来说是一款十分优秀的网络
模型部署
设备我对于nano来说也是学习了2个星期左右.这也是对我这一阶段做一个复习总结吧!
诶我就不告诉你
·
2024-01-27 00:55
jetson
nano
docker
目标检测
计算机视觉
边缘计算
yolov5转onnx到
ncnn
测试代码6.2检测这一套都没啥说的主要在onnx转
ncnn
这步pythonexport.py--datadata/xuehua.yaml--weightsruns/train/exp4/weights/
初学者5213
·
2024-01-26 18:50
YOLO
自然语言NLP学习
2-7门控循环单元(GRU)_哔哩哔哩_bilibiliGRULSTM双向RN
NCNN
卷积神经网络输入层转化为向量表示dropoutppl标量在物理学和数学中,标量(Scalar)是一个只有大小、没有方向的量
wangqiaowq
·
2024-01-26 18:12
自然语言处理
学习
人工智能
开源
模型部署
及使用
开源
模型部署
及使用1.Langchain-Chatchat1.环境2.运行3.效果2.facefusion1.环境2.运行3.效果3.Aquila1.环境2.运行1.Langchain-ChatchatLangchain-Chatchat
我是小z呀
·
2024-01-26 17:40
AIGC
face
stable
diffusion
大
模型部署
手记(22)Ubuntu+TensorRT-LLM+通义千问
阅读了https://zhuanlan.zhihu.com/p/662406460张小白不禁打开了这个链接:GitHub-Tlntin/Qwen-7B-Chat-TensorRT-LLM看了下环境:貌似不难满足:记住:16G显存可以用int8。docker已经有了:先根据https://docs.nvidia.com/datacenter/cloud-native/container-toolki
张小白TWO
·
2024-01-26 16:26
大模型
ubuntu
深度学习
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他