ncnn模型部署

在docker容器中部署yolov5(基于ncnn神经网络推理框架）

文章目录前言一、docker的安装与配置二、yolov5模型训练以及转换1、训练2、转换三、NCNN部署1、NCNN环境配置2、部署1、修改param修改draw_objects分类数以及detect_yolov5
UPUP小亮·2023-08-20 21:29

模型训练系列：1、用清华ChatGLM-6B模型部署自己的本地AI助手

最近清华大学开源的ChatGLM-6B语言模型在国际上大出风头，仅仅62亿参数的小模型，能力却很强。很期待他们后续1300亿参数模型130B的发布。为什么一些能力较弱的小模型，这么受追捧？因为ChatGPT、GPT-4虽好，毕竟被国外封锁，而且还要付费，更重要的是，LLM要在各行业提高生产力，很多企业接下来肯定是要自己部署语言模型的，毕竟谁也不敢泄漏自己商业数据给别人的AI去训练，为他人做嫁衣，最
六吨代码·2023-08-19 16:01

flask模型部署教程

搭建pythonflask服务的步骤1、安装相关的包具体参考https://blog.csdn.net/weixin_42126327/article/details/1276422791、安装conda环境和相关包#一、安装conda#1、首先，前往Anaconda官网（https://www.anaconda.com/products/individual）下载适合您的Linux版本的Anac
阿君聊风控·2023-08-19 10:06

文章学习24“Image Blind Denoising With Generative Adversarial Network Based Noise Modeling”

作者是中山大学和CVTE合作，文章的主要思路和我现在做的很类似，用一个CNN网络来拟合图像中的噪声，网络就是拿DnCNN改的，把最后的subtract去掉。
Carrie_Hou·2023-08-18 19:01

AI平台AutoML在哈啰的探索与实践

第三步是把训练好的模型部署到模型平台上面。最后，决策平台会做业务流程的编排。如图是整个平台的产品架构图。上面是各类应用场景，包括智能调度、营销&增长、司乘匹配、基础算法等。
·2023-08-18 16:59

精简CNN模型系列之二：SqueezeNet

作者列举了三项小的CNN模型的优点：可以进行更高效率的分布式训练：在分布式训练中，模型可训练参数变小，意味着用于网络通讯的时间减少，这样整个分布式训练系统就能拥有更高的扩展效率；可更高效地将新训练模型部署至端侧设备
manofmountain·2023-08-18 06:40

基于树莓派与YOLOv3模型的人体目标检测小车（四）

前面几篇文章完成了训练端和部署端的环境搭建以及模型的训练，并经过两次模型转化最终将YOLOv3TINY模型部署在了树莓派上。其实最核心的内容已经完成了，接下来就是一些应用层面的东西了。
凌乱533·2023-08-18 01:08

AI实战：AI模型部署系列之docker

AI模型部署系列之docker前言AI实战：AI模型部署系列之dockerAI实战：AI模型部署系列之多进程本文分享使用docker部署AI模型的经验。
szZack·2023-08-17 19:21

Ubuntu16.04搭建ncnn

最近被安排研究ncnn的效果，ncnn不能支持gpu加速。
我心若氺·2023-08-16 16:44

模型量化转int8

在模型部署阶段，考虑到模型大小，通常会做量化，其中一种方式是把模型输出转成int8，这样可以节省存储空间。
jp_666·2023-08-16 00:55

清北「学渣」创业心路：AI 新时代已来，不参与对不起自己

关键词：AIGCOAISIS团队大模型部署本文首发自HyperAI超神经微信公众平台~黑客马拉松是一种源于美国硅谷等地的技术活动，其具体方式是汇
·2023-08-15 16:52

大模型时代和传统机器学习时代工具栈侧重点有所不同

我们认为AI=Data+Code，历经数据准备、模型训练、模型部署、产品整合，分环节看：►数据准备：高质量标注数据、特征库需求持续，合成数据或成未来趋势。
LCHub低代码社区·2023-08-15 15:13

训练自己的图像分类模型部署在手机设备

这里使用aidlux在手机上使用摄像头作为输入，利用aidlux提供的接口载入模型，实时推理使用代码模版，将模型替换为自己的，看看演示效果，我的手机比较卡，版本太老，所以效果差点，你也可以使用比较新的设备来运行
合格的程序员·2023-08-14 23:18

Pytorch通过LIBTORCH实现C++部署

C++部署模型在人工智能领域，Python受到学术界的追捧，模型训练比模型部署性能更加重要。然而在实际终端部署方面，低延迟、可移植性和可适用性的需求使得Python成为一个比较差的语言。
Thomas_xiaoding·2023-08-14 14:18

AI Infra工具关键能力解析：数据准备、模型训练、模型部署与整合

在预训练大模型时代，我们可以从应用落地过程里提炼出标准化的工作流，AIInfra的投资机会得以演绎。传统ML时代AI模型通用性较低，项目落地停留在“手工作坊”阶段，流程难以统一规范。而大规模预训练模型统一了“从0到1”的技术路径，具备解决问题的泛化能力，能够赋能“从1到100”的各类应用，并存在相对标准化的工作流，由此衍生出AIInfra投资机会。GPT4的开发经验也体现专业分工的必要性：根据Op
LCHub低代码社区·2023-08-14 04:30

7.3.tensorRT高级(2)-future、promise、condition_variable

本次课程学习tensorRT高级-future、promise、condition_variable课程大纲可看下面的思维导图1.生产者消费者模式这节我们继续学习多线程知识在深度学习模型部署中，我们通常采用生产者消费者模型
爱听歌的周童鞋·2023-08-13 23:13

Datawhale-AI夏令营:脑PET图像分析和疾病预测挑战赛baseline解读

接着，打印出CUDA版本和是否可用GPU，并将模型部署到GPU上（如果可用）。接下来是数据预处理的部分。通过glob.glob函数获取训练和测试图像的路径，并对其进行随机化。
一起努力啊～·2023-08-13 05:40

2023华为产品测评官－开发者之声 + 华为云ModelArts试用体验心得

ModelArts试用体验心得文章目录2023华为产品测评官－开发者之声+华为云ModelArts试用体验心得一、活动介绍二、华为云ModelArts简介三、AIGallery简介步骤1：订阅模型步骤2：使用订阅模型部署在线服务步骤
caoxiaoye·2023-08-13 02:55

大模型的数据隐私问题有解了，浙江大学提出联邦大语言模型

作者|小戏、Python理想化的Learning的理论方法作用于现实世界总会面临着诸多挑战，从模型部署到模型压缩，从数据的可获取性到数据的隐私问题。
夕小瑶·2023-08-11 19:48

ICCV 2017 Tracking The Untrackable:Learning to Track Multiple Cues with Long-Term Dependencies 阅读笔记

论文网址：https://arxiv.org/abs/1701.01909预备知识RNNCNNLSTMMDP：ICCV2015LearningtoTrack:OnlineMulti-ObjectTrackingbyDecisionMaking
哈哈哈哈嘿嘿嘿·2023-08-11 01:33

开源项目如何贡献代码

以腾讯犀牛鸟开源项目ncnn为例目录fork项目仓库添加远程仓库同步更新仓库贡献代码提交新PRPR未merge更新PRfork项目仓库只需要做一次到仓库页面点击fork，然后createforkTencent
Ye-Maolin·2023-08-10 14:36

ChatGLM2-6B 本地部署

THUDM/chatglm2-6batmain(huggingface.co)2.安装环境和运行库和ChatGLM-6B一样,只是多了几个库,参考下面部署方法ChatGLM-6B类似ChatGPT功能型对话大模型部署实践
绀目澄清·2023-08-10 03:40

模型部署

方式image.png服务器部署image.png客户端部署image.png模型在model_freeze中image.png压缩model_freeze中的模型image.png下载训练好的模型image.png部署目录image.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.p
不学无数YD·2023-08-10 02:47

基于Flask的模型部署

基于Flask的模型部署一、背景Flask：一个使用Python编写的轻量级Web应用程序框架；首先需要明确模型部署的两种方式：在线和离线；在线：就是将模型部署到类似于服务器上，调用需要通过网络传输数据
一个热爱学习的深度渣渣·2023-08-09 13:23

【目标检测】YOLOV8实战入门（六）模型导出

此模式在将模型部署到生产环境时很有用。
卖报的大地主·2023-08-09 10:18

NLP（六十四）使用FastChat计算LLaMA-2模型的token长度

LLaMA-2模型部署  在文章NLP（五十九）使用FastChat部署百川大模型中，笔者介绍了FastChat框架，以及如何使用FastChat来部署百川模型。  
山阴少年·2023-08-09 10:37

基于Jetson NX的模型部署

系统安装系统安装过程分为3步：下载必要的软件及镜像JetsonNanoDeveloperKitSD卡映像https://developer.nvidia.com/jetson-nano-sd-card-imageWindows版SD存储卡格式化程序https://www.sdcard.org/downloads/formatter_4/eula_windows/镜像烧录工具balenaEtcher
鳄鱼儿·2023-08-06 16:38

【mmdeploy】mmseg转ONNX/TensorRT

1.关于mmdeployMMDeploy是OpenMMLab模型部署工具箱，为各算法库提供统一的部署体验。基于MMDeploy，开发者可以轻松从训练repo生成指定硬件所需SDK，省去大量适配时间。
暧昧的呆呆猫·2023-08-04 18:59

rv1109/1126 rknn 模型部署过程

rv1109/1126是瑞芯微出的嵌入式AI芯片，带有npu,可以用于嵌入式人工智能应用。算法工程师训练出的算法要部署到芯片上，需要经过模型转换和量化，下面记录一下整个过程。量化环境模型量化需要安装rk的工具包：rockchip-linux/rknn-toolkit(github.com)版本要根据开发板的固件支持程度来，如果二者不匹配，可能转出来的模型无法运行或者结果不对。模型量化rknn支持c
CodingInCV·2023-08-04 13:53

ncnn的softmax

ncnn里面可以直接调用softmax函数，如下面ncnn::Layer*softmax=ncnn::create_layer("Softmax");ncnn::ParamDictpd;pd.set(0,1
蓝羽飞鸟·2023-08-03 08:32

[ncnn]ncnnoptimize使用

usage:ncnnoptimize[inparam][inbin][outparam][outbin][flag][cutstart][cutend]使用案例：.
FL1623863129·2023-08-02 22:43

【NLP PyTorch】字符级RNN循环网络模型姓氏对应国家分类（项目详解）

字符级RNN模型姓氏对应国家分类1序言1数据来源与加载1.1数据来源1.2数据加载2数据预处理2.1单个字符数据处理标准2.2单词的张量构造3模型创建4模型训练5模型检验6模型预测7模型部署1序言本文的任务主要来源于
lys_828·2023-08-02 05:11

动手实现Linux远程控制

小糖豆在工作中有时需要将深度学习算法和模型部署到JetsonTX2嵌入式开发板。
89d6d5102c8a·2023-08-01 19:25

深度学习实践——模型部署优化实践

系列实验深度学习实践——卷积神经网络实践：裂缝识别深度学习实践——循环神经网络实践深度学习实践——模型部署优化实践深度学习实践——模型推理优化练习源码：1.对应的github地址https://github.com
Asionm·2023-08-01 10:50

深度学习实践——模型推理优化练习

系列实验深度学习实践——卷积神经网络实践：裂缝识别深度学习实践——循环神经网络实践深度学习实践——模型部署优化实践深度学习实践——模型推理优化练习深度学习实践——模型推理优化练习模型推理优化练习架构设计练习知识蒸馏练习模型剪枝练习参数量化练习算式检测模型压缩优化未优化前模型的大小与速度算式检测模型剪枝算式检测模型量化算式识别模型压缩优化实验结论源码地址
Asionm·2023-08-01 10:50

深度学习实践——卷积神经网络实践：裂缝识别

深度学习实践——卷积神经网络实践：裂缝识别系列实验深度学习实践——卷积神经网络实践：裂缝识别深度学习实践——循环神经网络实践深度学习实践——模型部署优化实践深度学习实践——模型推理优化练习深度学习实践—
Asionm·2023-08-01 10:48

ARM, rk3399 深度学习环境及Python版本ncnn编译

一、安装conda习惯了windows上Anaconda的使用，找了找在ARM平台上也有对应的Conda环境首先查看硬件环境，在终端输入uname-a输出为：Linuxforlinx4.4.189#1SMPFriMar2009:58:30UTC2020aarch64aarch64aarch64GNU/Linux硬件为aarch64，这个也是ARM的一种安装包有三种选择1、miniconda2、Ar
咕噜咕噜_water·2023-08-01 07:10

CUDA编程教学 | CUDA内存模型（寄存器/本地内存/共享内存等）

点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群后台回复【CUDA】获取CUDA实战书籍！
自动驾驶之心·2023-08-01 03:27

深度学习实践——循环神经网络实践

系列实验深度学习实践——卷积神经网络实践：裂缝识别深度学习实践——循环神经网络实践深度学习实践——模型部署优化实践深度学习实践——模型推理优化练习代码可见于：深度学习实践——循环神经网络实践0概况1架构实现
Asionm·2023-07-31 13:56

【论文笔记】神经网络压缩调研

ParameterQuantization（参数量化）量化和二进制化伪量化ArchitectureDesign（DepthSeparableConvolution）分解卷积背景 小模型，参数少，容易将ML模型部署在资源有限的设备上
MoonpieXia·2023-07-31 05:25

NCNN----Monodepthv2单目深度估计 小米手机部署

题目要求：学习了解单目深度估计模型MonoDepthv2，基于NCNN推理框架部署到小米手机MonoDepthv2论文：DiggingIntoSelf-SupervisedMonocularDepthEstimationMonoDepthv2
qq_37172182·2023-07-30 14:36

大模型部署框架 FastLLM 简要解析

0x0.前言本文主要是对FastLLM做了一个简要介绍，展示了一下FastLLM的部署效果。然后以chatglm-6b为例，对FastLLM模型导出的流程进行了解析，接着解析了chatglm-6b模型部分的核心实现。最后还对FastLLM涉及到的优化技巧进行了简单的介绍。0x1.效果展示按照https://github.com/ztxz16/fastllm中README教程编译fastllm之后，
just_sort·2023-07-28 18:16

大模型部署框架 FastLLM 实现细节解析

0x0.前言接着大模型部署框架FastLLM简要解析这篇文章首先梳理了一下FastLLM的调用链和关键的数据结构，然后解析了FastLLM的一些实现细节和CPU/GPU后端实现采用的优化技巧。
just_sort·2023-07-28 18:44

交互式AI技术与模型部署：使用Gradio完成一项简单的交互式界面

下面的这段代码使用Gradio库创建了一个简单的交互式界面。用户可以输入名称、选择是早上还是晚上、拖动滑动条来选择温度，然后点击"Launch"按钮，界面会显示相应的问候语和摄氏度温度。例如，如果用户输入"John"，勾选复选框表示是早上，滑动条选择30度，界面可能会显示"GoodmorningJohn.Itis30degreestoday."并返回摄氏度温度值。完整实现代码：importgrad
源代码杀手·2023-07-28 17:00

交互式AI技术与模型部署：bert-base-chinese模型交互式问答界面设置

使用Gradio实现QuestionAnswering交互式问答界面，首先你需要有一个已经训练好的QuestionAnswering模型，这里你提到要使用bert-base-chinese模型。Gradio支持PyTorch和TensorFlow模型，所以你需要将bert-base-chinese模型转换成PyTorch或TensorFlow格式，以便在Gradio中使用。在这里，我将演示如何使用
源代码杀手·2023-07-28 17:24

【yolov8系列】将yolov8-seg 模型部署到瑞芯微RK3566上

前言之前记录过【yolov5系列】将模型部署到瑞芯微RK3566上，整体比较流畅，记录了onnx转rknn的相关环境配置，使用的rk版本为rknn-toolkit2-v1.4.0。
magic_ll·2023-07-28 17:49

模型部署系列 | 01: 基于Triton部署Resnet18(附完整代码，建议收藏)

今天开始一个新专题：模型部署。本文作为作为模型部署系列的开篇，主要介绍如何使用TritonServer部署Pytorch格式的模型，并利用NVIDIA官方提供的工具进行服务性能测试。
JasonLiu1919·2023-07-28 07:23

基于Syntiant TinyML Board与Edge Impulse的LED语音控制(Arduino/C++)

目录项目介绍硬件介绍神经网络模型数据采集网络训练模型部署业务逻辑程序功能展示总结【Funpack第二季第一期】基于SyntiantTinyMLBoard与EdgeImpulse的LED语音控制CSDN：
KafCoppelia·2023-07-27 21:20

【转载】MilkV Duo使用TPU推理pytorch模型

MilkVDuo的TPU推理Pytorch模型部署1.MilkVDuo开发板最近在朋友的推荐下，购入了一块国产RISC-V架构的MilkVDuo开发板，首先这个开发板价格很便宜才35块，并且支持TPU模型推理
算能开发者社区·2023-07-27 14:07

yolov8系列[四]-yolov8模型部署

yolov8系列[四]-yolov8模型部署jetson平台jetson平台0.安装环境1.下载源代码2.`.pt`转换模型转换为`.onnx`模型3.配置deepstream_yolo4.运行jetson
GeekPlusA·2023-07-27 06:29
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他