inference

【论文笔记】MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning

论文论文题目：MCUNetV2:Memory-EfficientPatch-basedInferenceforTinyDeepLearning收录于：NeurIPS2021论文地址：https://arxiv.org/abs/2110.15352项目地址：MCUNetAbstract由于有限的内存，MCU(MicroControllerUnits,MCU)端的TinyDL极具挑战性。我们发现：内存
m0_61899108·2023-01-05 13:44

实时视频语义分割 Efficient Semantic Video Segmentation with Per-frame Inference

ECCV2020：EfficientSemanticVideoSegmentationwithPer-frameInference论文解读之前方法存在的问题训练时采用逐帧处理方法的实时视频分割模型，测试时出现不稳定的问题；利用相邻视频帧之间的相关性的算法，不可避免会导致，不准确的结果或者不平衡的处理时延。1).利用光流将上一帧传播为当前帧的特征；（非关键帧的特征是关键帧传播得到的，导致关键帧和非关
深读·2023-01-04 19:19

轻松入门自然语言处理系列 12 隐马尔可夫模型

文章目录前言一、HMM基础1.时间序列数据2.HMM基本概念二、HMM中的参数及Inference细节1.HMM中的参数2.基于维特比算法的预测三、HMM中的参数估计1.ForwardBackward算法
cutercorley·2023-01-04 09:50

Robust Pose Estimation in Crowded Scenes with Direct Pose-Level Inference 阅读笔记

基于直接姿态级推理的拥挤场景鲁棒姿态估计NeurIPS2021论文链接代码链接摘要：拥挤场景下的多人姿态估计具有挑战性，因为重叠和遮挡使得难以检测人体边界框并从单个关键点推断姿态线索（关键点位置）。为解决该问题，本文提出一个无需bbox检测和关键点分组的直接姿态级推理策略。姿态级推理网络（Pose-levelInferenceNetwork：PINet）不推理单个关键点，而是直接从人的可见身体部分
AnZhiJiaShu·2023-01-04 07:20

学习笔记TF060:图像语音结合，看图说话

斯坦福大学人工智能实验室李飞飞教授，实现人工智能3要素：语法(syntax)、语义(semantics)、推理(inference)。语言、视觉。
weixin_34061042·2023-01-03 18:30

Jetson Nano 模型训练和推理流程

深度学习的训练和推理流程，是先采用高性能图形服务器使用深度学习框架来训练（Training）机器学习算法，研究大量的数据来学习一个特定的场景，完成后得到模型参数，再部署到终端执行机器学习推理（Inference
mygia·2023-01-03 15:35

因果推断4--Causal ML（个人笔记）

目录1安装教程及官方文档1.1pip安装1.2API文档1.3代码仓库2Uplift模型与主要方法介绍2.1发放代金券2.2多treatment2.3实验方法3causalml.inference.treemodule3.1UpliftTreeClassifier3.2UpliftRandomForestClassifier3.3CausalRandomForestRegressor4
万三豹·2023-01-03 10:26

tensorRT（一）| tensorRT如何进行推理加速？

模型在推断（Inference）的时候只有前向计算，无需回传，因此可以使用低精度技术，如FP16、INT8、甚至是Bit（0和1），其推理结果没有特别大的精度损失。
AI大道理·2023-01-03 09:49

【未读】概率语言模型及其变形系列(1)-PLSA及EM算法

：http://blog.csdn.net/yangliuy/article/details/8330640本系列博文介绍常见概率语言模型及其变形模型，主要总结PLSA、LDA及LDA的变形模型及参数Inference
SmallCSer·2023-01-02 14:12

Example: inference with pretrained nnU-Net models

Example:inferencewithpretrainednnU-NetmodelsThisisastep-by-stepexampleonhowtoruninferencewithpretrainednnU-NetmodelsontheProstatedatasetoftheMedicalSegemtnationDecathlon.InstallnnU-Netbyfollowingthein
Cierlly·2023-01-02 08:43

深度学习训练和推理有何不同？

深度学习中经常涉及到训练（Training）和推断（Inference）这两个词，而这两者有什么区别和联系呢？接下来我们初步分析讨论。
IMWTJ·2023-01-02 07:32

OpenVINO出现由于找不到inference_engine.dll文件，程序无法运行，解决。

在VS2017编译并运行InferenceEngine范例和演示文件会出现时出现：由于找不到inference_engine.dll文件，程序无法运行。重新安装此软件可解决此问题。
心有う虞姬·2023-01-01 21:06

paddleSeg c++推理 在windows系统下源码编译 （cpu）

2.下载[yaml-cpp](https://github.com/jbeder/yaml-cpp/releases/tag/yaml-cpp-0.7.0)3.paddleSeg依赖库：paddle_inference2
wulikanmeinv·2023-01-01 13:46

Yolox目标检测训练实录--1. 数据准备

官方链接配置环境，installyolox.准备vocdataset，调试train代码.把自己的dataset,转换为voc格式，调试train代码.选择不同的模型结构，训练最终可使用的model.模型转换压缩，inference
young_s%·2023-01-01 07:31

background matting v3 inference webcam

代码importtorchfrommodelimportMattingNetworkfromtorchvisionimporttransformsfromPILimportImageimportcv2frominference_utilsimportOneFrameReaderfromtorchvision.transformsimportToTensorimportmatplotlib.pypl
换个名字就很好·2022-12-31 17:42

关于tensorRT的失败使用总结

推理（inference）则不一样，其没有了训练中的反向迭代过程，只是针对新的数据进行预测。相较于训练，推理的更关注的是部署简单、处理速度快、吞吐率高和资源消耗少。作用：TensorRT优化深度
大圣齐天Henry-Speed always wins·2022-12-31 08:09

Exact Inference in Graphical Models

独立（Independence）统计独立（StatisticalIndependence）两个随机变量X，Y统计独立的条件是当且仅当其联合概率分布等于边际概率分布之积:\[X\perpY\leftrightarrowP(X,Y)=P(Y)P(Y)\]思考：假设\(X\perpY\)，\(Y\perpZ\)，那么\(X\)和\(Y\)有没有独立关系呢？举例：爸吃饭，奥巴马吃饭，妈吃饭条件独立（Con
dingjuncui5546·2022-12-31 08:22

Variational Inference

VariationalInference·我们常常需要计算后验概率：其中z代表模型参数(包括隐变量)，x代表数据，α是超参数。·可是很多复杂的后验概率难以直接计算。·针对这一问题，我们先选择一个简单分布，优化其参数使其近似复杂分布，然后用简单分布作为复杂分布的替代品。这就是VI的主要思想。·设p是原始分布，q是近似分布，评估两分布近似程度的指标之一是Kullback-LeiblerDivergen
奕涛·2022-12-31 08:22

使用FlowNet1和FlowNet2分别进行预测

这篇文章没有代码安装和环境配置部分FlowNet1图像放在image文件夹下：预训练模型放在百度网盘，提取码：2022运行命令：pythonrun_inference.py./images.
我是一个小稻米·2022-12-31 07:42

语义分割系列24-PointRend（pytorch实现）

本文将介绍：PointRend的原理PointRend代码实现PointRend在Camvid数据集上进行复现目录引文PointRend思路整体思路和PointRend实现步骤PointRend点选择策略对于Inference
yumaomi·2022-12-31 00:22

pytorch方法介绍汇总

允许从梯度计算中精细地排除子图如果所有变量都不需要梯度，后向计算不在子图中执行，requires_grad可以冻结部分模型；volatile决定requires_grad为false，不需要更改模型的任何设置来用于inference
codeSniper、·2022-12-30 12:08

47. 批量规范化 代码从零开始实现 + 简洁实现

importtorchfromtorchimportnnfromd2limporttorchasd2l#X是输入，gamma,beta是两个可以学习的参数，moving_mean,moving_var是整个数据集的均值和方差，#而不是小批量的均值和方差，做inference
chnyi6_ya·2022-12-29 23:45

COVID-Net工程源码详解（四） - train_eval_inference.md解析

docs/train_eval_inference.md内容如下：#Training,EvaluationandInferenceThenetworktakesasinputanimageofshape
蓝天居士·2022-12-29 21:49

EncoderMI: Membership Inference against Pre-trainedEncoders in Contrastive Learning

0.摘要给定一组未标记的图像或（图像，文本）对，对比学习旨在预训练图像编码器，该编码器可用作许多下游任务的特征提取器。在这项工作中，我们提出了EncoderMI，这是第一个针对通过对比学习预训练的图像编码器的成员推理方法。特别是，给定输入和对图像编码器的黑盒访问，EncoderMI旨在推断输入是否在图像编码器的训练数据集中。EncoderMI可用于1)数据所有者审核其（公共）数据是否在未经其授权的
友好的Spider-man·2022-12-29 14:51

深度学习论文阅读目标检测篇（四）中英文对照版：YOLOv1《 You Only Look Once: Unified, Real-Time Object Detection》

Real-TimeObjectDetection》Abstract摘要1.Introduction引言2.UnifiedDetection统一的检测2.1NetworkDesign网络设计2.2Training训练2.3Inference
Jasper0420·2022-12-29 12:34

自动编码器、变分自动编码器和条件变分自动编码器阅读理解

模型结构：缺点：在inference时只能通过输入一个输入得到一个隐含变量Z，然后在通
进击的小杨人·2022-12-28 20:08

【CANN训练营第三季】【昇腾AI入门课】【模型转换】基于Caffe ResNet-101网络实现图片分类（仅推理）

样例地址：https://gitee.com/ascend/samples/tree/master/cplusplus/level2_simple_inference/1_classification/
JessicaFang1·2022-12-28 19:35

企业级机器学习 Pipline - log 数据处理

在线部分则包括线上的进行实时的predict过程(onlinepredict，也称为在线模型的Inference)。如下图所示：对于一个相对成熟的系统，我们会在
算法全栈之路·2022-12-28 18:57

NVIDIA支持CUDA的显卡选型简述

CUDA的显卡选型简述**目录NVIDIA支持CUDA的显卡选型简述一、概述1、为什么选这三款二、对比1、训练--trainingCPU与GPU的区别计算精度显存和显存带宽价格2、训练环境的选择3、推理--inference
菜鸟运维-王大爷·2022-12-28 13:23

NanoDet 源码解读（inference)

目录网络结构backboneShuffleNetV2GhostPAN整体结构GhostBlockGhostBottleneck图片推理流程图片预处理backbone处理GhostPANtopdownbottomupFPN总结NanoDetPlushead后处理batchedNMSbox坐标变换
蓝羽飞鸟·2022-12-28 03:57

mmdetection源码详细解读

目录简介1.测试代码2.mmdetection/mmdet/apis2.1mmdetection/mmdet/apis/inference.py2.1.1init_detector2.1.2inference_detector3
dekiang·2022-12-28 03:57

int8量化--调研

1806.08342深度学习中网络的加速主要有如下的几种方式：设计高效且小的网络，如MobileNet系列、shuffleNet系列、VoVNet等；从大的模型开始通过量化、剪裁、蒸馏等压缩技术实现网络的小型化；在inference
assassin_sword·2022-12-27 17:23

一文了解模型量化中的QAT和PTQ

一文了解模型量化中的QAT和PTQ由于前一段时间在做模型的转换工作，实际部署的时候需要一些模型加速的方法，常用的有各家的inference框架，如mnn,tnn,tensorrt等，这些框架除了fp32
菜鸟滚滚·2022-12-27 17:53

InvalidArgumentError: Invalid PNG(JPG). Failed to initialize decoder. [[{{node DecodePng}}]]

[[{{nodeDecodePng}}]][[IteratorGetNext]][Op:__inference_train_function_10350]出现这种文件，是因为文件中的png（jpg）图片出错
进击的铁甲小宝·2022-12-27 15:34

【MindStudio训练营第一季】使用MindStudio复现resnet50分类任务

项目的Gitee仓如下：cplusplus/level2_simple_inference/1_classification/resnet50_imagenet_classification·Ascend
微微抚琴·2022-12-26 23:04

迁移学习---迁移学习基础概念、分类

迁移学习提出背景在机器学习、深度学习和数据挖掘的大多数任务中，我们都会假设training和inference时，采用的数据服从相同的分布（distribution）、来源于相同的特征空间（featurespace
乒乓少一丘·2022-12-26 09:30

转载：深度学习的宏观框架——训练（training）和推理（inference）及其应用场景

一个完整的深度框架中应该包含两个主要部分，即训练（training）和推理（inference）训练（Training）打个比方，你现在想要训练一个能区分苹果还是橘子的模型，你需要搜索一些苹果和橘子的图片
zjj19937120·2022-12-26 07:55

文献阅读——Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference

附注这篇文章中在最终提到模型的时候使用了一个“知识蒸馏”的点，这点需要注意。如果不懂的话，请参考知识蒸馏基本原理其实，这里的知识蒸馏主要是在预训练模型的Fine-tuning中应用的较多，首先是使用一个大于1的T来学习预训练模型得到的一个有关数据之间的软分布，同时加上自己的一定真是数据，这样可以使得我们的模型具有较好的泛化能力。接着是在我们进行预测的时候将T的温度降下来，使得输出一个正常的分布。文
奋斗的海绵·2022-12-25 14:27

【12.23-12.24】Member Inference Attack

文章目录前言一、RepeatedKnowledgeDistillationwithConfidenceMaskingtoMitigateMembershipInferenceAttacks1.1MemberInferenceAttack2.2ConfidenceScoreMasking2.3KnowledgeDistillation二、MembershipInferenceAttacksAgain
右眸Remnant·2022-12-25 10:06

yolov3 c++ tensorflow inference

cv_data.image=cv::imread(image_path,-1);cv_data.image_nms=cv_data.image.clone();data_config.scale=std::min(1.0*data_config.iw/data_config.w,1.0*data_config.ih/data_config.h);data_config.nw=int(data_co
何雷·2022-12-24 12:07

openpose学习

botton-up的方法，就是对于一张图片，首先找到图像中的所有人的所有点，然后再对这些点进行匹配连接，让同一个人的点进行相连，具体过程如下图：OpenPose的pipeline主要有两个部分：****在inference
liiiiiiiiiiiiike·2022-12-24 12:06

ISLR学习笔记

目录C1IntroductiontoStatisticalLearning1.1StatisticalLearning介绍:1.1.1估计\(f\)的目的：prediction和/或inference。
weixin_30786617·2022-12-23 19:09

【TorchScript】PyTorch模型转换为C++的Libtorch模型

1.1torch.jit.trace1.2torch.jit.script2.TorchScript模型生成示例3.减少TorchScript模型推理时间的方法3.1torch.jit.optimize_for_inference
尊新必威·2022-12-23 17:57

Paddle Inference——基于python API实现Windows端模型部署图像分类

文章目录部署环境准备python环境准备（1）PaddlePaddle（2）opencv模型文件准备pythonAPI预测部署环境准备python环境准备（1）PaddlePaddle请参考飞桨官网安装最新版本的paddlepaddle-gpu。需要按照自己cuda的版本进行不同命令安装。（2）opencvpipinstallopencv-python模型文件准备首先你得有图像分类/目标检测的分类
Irving.Gao·2022-12-23 13:17

NLG过程的优化与项目Inference

NLG：自然语言生成我们在做完train训练之后，需要对测试数据集进行测试，也就是NLG的过程。GreedSearch（贪婪Search）：做法：我们在训练好模型后，seq2seq的Decoder做预测的过程中，从的标签开始输入，预测出最大的概率对应的词，作为decoder下一步的输入,输入后再次预测一个最大概率的词，再将这个词作为下个步骤的输入，依次循环下去直到，最后输出，代表这句话预测结束。G
海滩上的那乌克丽丽·2022-12-23 07:54

Triton 模型推理使用案例、tritonclient https，grpc访问；导出onnx指定输入维度可变dynamic_axes

15543824.htmlhttps://www.bilibili.com/video/BV1ET411G7zV1、下载安装Tritondocker版参考：https://github.com/triton-inference-server
loong_XL·2022-12-22 13:15

深度学习部署架构：以 Triton Inference Server（TensorRT）为例

什么是模型部署？模型训练只是DeepLearning的一小部分，如《HiddenTechnicalDebtinMachineLearningSystems》机器学习系统的技术债书中所说。现有几种搭建框架：Python：TF+Flask+Funicorn+NginxFrameWork：TFserving，TorchServe，ONNXRuntimeIntel：OpenVINO，NVNN，QNNPAC
禅与计算机程序设计艺术·2022-12-22 13:45

Triton Inference Server教程2

本文介绍如何编写一个config文件，config.pbtxt文件中包含哪些可以配置的参数，这些参数又会对tritonserver产生什么影响。必须指定的模型参数platform/backend：模型要在什么backend上面运行，可以用两种参数指定，一个是platform，一个是backend，对于某些模型，两个参数二选一即可，某些模型必须从中选一个指定，具体的规则如下：图中TensorRT，o
lansebingxuan·2022-12-22 13:43

【模型推理加速系列】06: 基于resnet18加速方案评测

今天这篇文章以resnet18模型为例，对比Pytorch、ONNX、TorchScript、TensorRT模型格式在不同硬件(包括CPU和GPU)上的inference性能。
JasonLiu1919·2022-12-22 13:43

Triton inference server教程1

Triton整体架构Triton的整体架构图如下图所示：首先要准备好一个modelrepository：保持需要serve的所有模型。load所有模型：triton会根据模型的backend,把它运行在server端的硬件设备上，比如CPU/GPU，这样server端就准备好了client端发送请求：client端使用python/c++实现一个client，把请求发送到server端。发送可以通
lansebingxuan·2022-12-22 13:42
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他