serving模型部署

【mmdeploy】mmseg转ONNX/TensorRT

1.关于mmdeployMMDeploy是OpenMMLab模型部署工具箱，为各算法库提供统一的部署体验。基于MMDeploy，开发者可以轻松从训练repo生成指定硬件所需SDK，省去大量适配时间。
暧昧的呆呆猫·2023-08-04 18:59

rv1109/1126 rknn 模型部署过程

rv1109/1126是瑞芯微出的嵌入式AI芯片，带有npu,可以用于嵌入式人工智能应用。算法工程师训练出的算法要部署到芯片上，需要经过模型转换和量化，下面记录一下整个过程。量化环境模型量化需要安装rk的工具包：rockchip-linux/rknn-toolkit(github.com)版本要根据开发板的固件支持程度来，如果二者不匹配，可能转出来的模型无法运行或者结果不对。模型量化rknn支持c
CodingInCV·2023-08-04 13:53

iOS KVO（键值观察）

1.注册观察者的方法-(void)addObserver:(NSObject*)observerforKeyPath:(NSString*)keyPathoptions:(NSKeyValueObservingOptions
WGLMM·2023-08-04 11:17

KVO陷阱

KVO，全称为Key-ValueObserving，是iOS中的一种设计模式，用于检测对象的某些属性的实时变化情况并作出响应。网上广为流传普及的一个例子是利用KVO检测股票价格的变动，例如这里。
凯旋之歌·2023-08-04 04:10

KVO自定义

因为在底层中，KVO是以NSObject+NSKeyValueObserving分类的形式展示出来的，那么我们自定义，也先创建NSObject+LGKVO的
浅墨入画·2023-08-02 22:07

【NLP PyTorch】字符级RNN循环网络模型姓氏对应国家分类（项目详解）

字符级RNN模型姓氏对应国家分类1序言1数据来源与加载1.1数据来源1.2数据加载2数据预处理2.1单个字符数据处理标准2.2单词的张量构造3模型创建4模型训练5模型检验6模型预测7模型部署1序言本文的任务主要来源于
lys_828·2023-08-02 05:11

动手实现Linux远程控制

小糖豆在工作中有时需要将深度学习算法和模型部署到JetsonTX2嵌入式开发板。
89d6d5102c8a·2023-08-01 19:25

深度学习实践——模型部署优化实践

系列实验深度学习实践——卷积神经网络实践：裂缝识别深度学习实践——循环神经网络实践深度学习实践——模型部署优化实践深度学习实践——模型推理优化练习源码：1.对应的github地址https://github.com
Asionm·2023-08-01 10:50

深度学习实践——模型推理优化练习

系列实验深度学习实践——卷积神经网络实践：裂缝识别深度学习实践——循环神经网络实践深度学习实践——模型部署优化实践深度学习实践——模型推理优化练习深度学习实践——模型推理优化练习模型推理优化练习架构设计练习知识蒸馏练习模型剪枝练习参数量化练习算式检测模型压缩优化未优化前模型的大小与速度算式检测模型剪枝算式检测模型量化算式识别模型压缩优化实验结论源码地址
Asionm·2023-08-01 10:50

深度学习实践——卷积神经网络实践：裂缝识别

深度学习实践——卷积神经网络实践：裂缝识别系列实验深度学习实践——卷积神经网络实践：裂缝识别深度学习实践——循环神经网络实践深度学习实践——模型部署优化实践深度学习实践——模型推理优化练习深度学习实践—
Asionm·2023-08-01 10:48

CUDA编程教学 | CUDA内存模型（寄存器/本地内存/共享内存等）

点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群后台回复【CUDA】获取CUDA实战书籍！
自动驾驶之心·2023-08-01 03:27

KVO基础

willChangeValueForKey对应NSKeyValueObservingOptionOlddidChangeValueForKey对
我是小胡胡分胡·2023-07-31 16:19

深度学习实践——循环神经网络实践

系列实验深度学习实践——卷积神经网络实践：裂缝识别深度学习实践——循环神经网络实践深度学习实践——模型部署优化实践深度学习实践——模型推理优化练习代码可见于：深度学习实践——循环神经网络实践0概况1架构实现
Asionm·2023-07-31 13:56

教你查询iPhone真实精确的信号强度

点击右上方列表按钮，点击「ServingCellMeas」。查看rsrp0这个数值。
Ciwi刺猬·2023-07-31 07:42

【论文笔记】神经网络压缩调研

ParameterQuantization（参数量化）量化和二进制化伪量化ArchitectureDesign（DepthSeparableConvolution）分解卷积背景 小模型，参数少，容易将ML模型部署在资源有限的设备上
MoonpieXia·2023-07-31 05:25

YouTube深度学习推荐模型最全总结

DeepNeuralNetworksforYouTubeRecommenders，包括重读Youtube深度学习推荐系统论文，字字珠玑，惊为神文、YouTube深度学习推荐系统的十大工程问题、揭开YouTube深度推荐系统模型Serving
王喆的机器学习笔记·2023-07-31 04:13

KVC与KVO

KVO什么是KVOKVO全称KeyValueObserving，其是苹果提供的一套事件通知机制。允许对象监听另一个对象特定属性的改变，并在改变时接收到事件。
zdsey·2023-07-30 06:53

大模型部署框架 FastLLM 简要解析

0x0.前言本文主要是对FastLLM做了一个简要介绍，展示了一下FastLLM的部署效果。然后以chatglm-6b为例，对FastLLM模型导出的流程进行了解析，接着解析了chatglm-6b模型部分的核心实现。最后还对FastLLM涉及到的优化技巧进行了简单的介绍。0x1.效果展示按照https://github.com/ztxz16/fastllm中README教程编译fastllm之后，
just_sort·2023-07-28 18:16

大模型部署框架 FastLLM 实现细节解析

0x0.前言接着大模型部署框架FastLLM简要解析这篇文章首先梳理了一下FastLLM的调用链和关键的数据结构，然后解析了FastLLM的一些实现细节和CPU/GPU后端实现采用的优化技巧。
just_sort·2023-07-28 18:44

交互式AI技术与模型部署：使用Gradio完成一项简单的交互式界面

下面的这段代码使用Gradio库创建了一个简单的交互式界面。用户可以输入名称、选择是早上还是晚上、拖动滑动条来选择温度，然后点击"Launch"按钮，界面会显示相应的问候语和摄氏度温度。例如，如果用户输入"John"，勾选复选框表示是早上，滑动条选择30度，界面可能会显示"GoodmorningJohn.Itis30degreestoday."并返回摄氏度温度值。完整实现代码：importgrad
源代码杀手·2023-07-28 17:00

交互式AI技术与模型部署：bert-base-chinese模型交互式问答界面设置

使用Gradio实现QuestionAnswering交互式问答界面，首先你需要有一个已经训练好的QuestionAnswering模型，这里你提到要使用bert-base-chinese模型。Gradio支持PyTorch和TensorFlow模型，所以你需要将bert-base-chinese模型转换成PyTorch或TensorFlow格式，以便在Gradio中使用。在这里，我将演示如何使用
源代码杀手·2023-07-28 17:24

【yolov8系列】将yolov8-seg 模型部署到瑞芯微RK3566上

前言之前记录过【yolov5系列】将模型部署到瑞芯微RK3566上，整体比较流畅，记录了onnx转rknn的相关环境配置，使用的rk版本为rknn-toolkit2-v1.4.0。
magic_ll·2023-07-28 17:49

模型部署系列 | 01: 基于Triton部署Resnet18(附完整代码，建议收藏)

今天开始一个新专题：模型部署。本文作为作为模型部署系列的开篇，主要介绍如何使用TritonServer部署Pytorch格式的模型，并利用NVIDIA官方提供的工具进行服务性能测试。
JasonLiu1919·2023-07-28 07:23

提取文献中的折线图/散点图数据

Hussein,H.,Capp,S.,&George,W.(1994).Velocitymeasurementsinahigh-Reynolds-number,momentum-conserving,axisymmetric
今天你比昨天博学了吗·2023-07-28 04:34

KVO+自动销毁机制

superviewDidLoad];self.p=[[Perosonalloc]init];[selfaddObserver:selfforKeyPath:@"name"options:(NSKeyValueObservingOptionNew
梦想编程家小枫·2023-07-27 22:54

基于Syntiant TinyML Board与Edge Impulse的LED语音控制(Arduino/C++)

目录项目介绍硬件介绍神经网络模型数据采集网络训练模型部署业务逻辑程序功能展示总结【Funpack第二季第一期】基于SyntiantTinyMLBoard与EdgeImpulse的LED语音控制CSDN：
KafCoppelia·2023-07-27 21:20

【转载】MilkV Duo使用TPU推理pytorch模型

MilkVDuo的TPU推理Pytorch模型部署1.MilkVDuo开发板最近在朋友的推荐下，购入了一块国产RISC-V架构的MilkVDuo开发板，首先这个开发板价格很便宜才35块，并且支持TPU模型推理
算能开发者社区·2023-07-27 14:07

【iOS】KVO&KVC原理

1KVO键值监听1.1KVO简介KVO的全称是Key-ValueObserving，俗称"键值监听"，可以用于监听摸个对象属性值得改变。
瓯海剑·2023-07-27 08:02

yolov8系列[四]-yolov8模型部署

yolov8系列[四]-yolov8模型部署jetson平台jetson平台0.安装环境1.下载源代码2.`.pt`转换模型转换为`.onnx`模型3.配置deepstream_yolo4.运行jetson
GeekPlusA·2023-07-27 06:29

C++基础知识点整理笔记（一）

一直想尝试自己动手构建一个简单的深度学习训练框架，包括数据读取与处理、PS、NN前后向传播、模型save和load、不同训练方式（offline/online.etc）、指标监控、模型部署等部分,去深入研究内部深度学习训练框架及
学长是个程序员·2023-07-26 17:00

kvo整理

1.概述KVO,即：Key-ValueObserving，是Objective-C对观察者模式（ObserverPattern）的实现。
sun5kong·2023-07-26 13:33

【如何训练一个中译英翻译器】LSTM机器翻译模型部署之onnx（python）（四）

系列文章【如何训练一个中译英翻译器】LSTM机器翻译seq2seq字符编码（一）【如何训练一个中译英翻译器】LSTM机器翻译模型训练与保存（二）【如何训练一个中译英翻译器】LSTM机器翻译模型部署（三）
六五酥·2023-07-26 11:05

【如何训练一个中译英翻译器】LSTM机器翻译模型部署之ncnn（python）（五）

系列文章【如何训练一个中译英翻译器】LSTM机器翻译seq2seq字符编码（一）【如何训练一个中译英翻译器】LSTM机器翻译模型训练与保存（二）【如何训练一个中译英翻译器】LSTM机器翻译模型部署（三）
六五酥·2023-07-26 11:05

【如何训练一个中译英翻译器】LSTM机器翻译模型训练与保存（二）

系列文章【如何训练一个中译英翻译器】LSTM机器翻译seq2seq字符编码（一）【如何训练一个中译英翻译器】LSTM机器翻译模型训练与保存（二）【如何训练一个中译英翻译器】LSTM机器翻译模型部署（三）
六五酥·2023-07-26 11:35

【如何训练一个中译英翻译器】LSTM机器翻译seq2seq字符编码（一）

系列文章【如何训练一个中译英翻译器】LSTM机器翻译seq2seq字符编码（一）【如何训练一个中译英翻译器】LSTM机器翻译模型训练与保存（二）【如何训练一个中译英翻译器】LSTM机器翻译模型部署（三）
六五酥·2023-07-26 11:34

【如何训练一个中译英翻译器】LSTM机器翻译模型部署（三）

系列文章【如何训练一个中译英翻译器】LSTM机器翻译seq2seq字符编码（一）【如何训练一个中译英翻译器】LSTM机器翻译模型训练与保存（二）【如何训练一个中译英翻译器】LSTM机器翻译模型部署（三）
六五酥·2023-07-26 11:32

C++基础知识点整理笔记（一）

一直想尝试自己动手构建一个简单的深度学习训练框架，包括数据读取与处理、PS、NN前后向传播、模型save和load、不同训练方式（offline/online.etc）、指标监控、模型部署等部分,去深入研究内部深度学习训练框架及
爱敲代码的学长·2023-07-26 06:25

Static Website Using Docker

CreateaDockerContainertoservestaticwebcontentthatcanbeviewedfrombrowserThegoalforthisarticletistodescribeaprocessforservingstaticwebfilesfromaDockerContainer.Thewebsitestructureisverysimpleandconsists
wwmin_·2023-07-26 02:16

NLP（十八）利用ALBERT提升模型预测速度的一次尝试

前沿  在文章NLP（十七）利用tensorflow-serving部署kashgari模型中，笔者介绍了如何利用tensorflow-serving部署来部署深度模型模型，在那篇文章中，笔者利用kashgari
山阴少年·2023-07-25 03:21

自定义Tensorflow OP开发经验总结

前言Tensorflow几年前已经开始用了，之前一直在数据量不大的场景用，而且没有上线serving，很多坑体会不到。最近接手新的项目，重新捡起TF，踏上了不断踩坑的旅程。
飘曳的舟·2023-07-24 15:18

OpenCV C++（五）----图像平滑

每一幅图像都包含某种程度的噪声，噪声可以理解为由一种或者多种原因造成的灰度值的随机变化，如由光子通量的随机性造成的噪声等，在大多数情况下，通过平滑技术（也常称为滤波技术）进行抑制或者去除，其中具备保持边缘（EdgePreserving
肉松饼饼·2023-07-24 12:22

iOS原理(二)----KVO,KVC

iOS原理(二)----KVO,KVCKVOKVO的全称是Key-ValueObserving，俗称“键值监听”，可以用于监听某个对象属性值的改变.下面是一个简单实用KVO的例子:@interfaceAnimal
会笑的Even·2023-07-24 10:33

iOS KVO

KVOKVO的全称是Key-Value-Observing,俗称“键值监听”，可以用于监听某个对象属性的改变。
天空像天空一样蓝·2023-07-23 22:55

[论文阅读]（Objective Quality Evaluation of Dehazed Images）

A.SingleImageDehazingAlgorithmsB.QualityEvaluationofDHAsC.ContributionsofThisPaper客观去霾质量评价A.Pre-ProcessingB.Haze-RemovingC.Structure-PreservingD.Over-EnhancementE.FeaturePoolingandRegression
今日计算机视觉·2023-07-23 21:56

LLM系列 | 02: Vicuna简介及模型部署实测

今天这篇小作文主要介绍Vicuna模型、基于官方模型13B模型部署服务及对话实测。更多、更新文章欢迎关注微信公众号：小窗幽记机器学习。
JasonLiu1919·2023-07-23 09:54

基于web端的深度学习模型部署

1.1web服务与技术框架下面以ResNet50预训练模型为例，旨在展示一个轻量级的深度学习模型部署，写一个较为简单的图像分类的RESTAPI。主要技术框架为Keras+Flask+Redis。
芯光智能·2023-07-23 01:38

深度学习模型部署的几种方法

由于模型训练完之后需要上线部署，这个过程中需要将模型集成到当前的软件架构中，因此要根据软件架构考虑模型的实际部署方法。目前来看主流的部署方法有以下几种方案：1.python服务接口在python服务器上部署模型文件，给出一个http服务，后台通过这个服务就可以调用模型进行输入输出了。优点：算法与后端的工作界限明显，不需要特别多的沟通；在使用模型前还需要进行数据预处理，不需要额外再进行代码迁移。缺点
donruo·2023-07-23 01:07

gitlab-runner Options:[rbind ro]}]: operation not permitted

time="2022-01-11T05:42:12Z"level=debugmsg="servinggrpcconnection"spanID=712030f606471eb6traceID=67b61eebeb305b20ed43e7f6b0a2bb00
黄德辉·2023-07-23 00:21

从阿里的User Interest Center看模型线上实时serving方法

最近写书的时候在总结一些深度学习模型线上serving的主流方法。之前的专栏文章也有所涉及（如何解决推荐系统工程难题——深度学习推荐模型线上serving）。
王喆的机器学习笔记·2023-07-21 06:21

2022-01-14

2021.12.07NULINK社区问答整理：qdd发布：TRC3.LinkWehavewithustodayNuLink,theyprovideprivacy-preservingtechnologyfordecentralizedapplicationsviaAPIs.Withthem
Aaron阿酷·2023-07-21 06:46
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他