inference

在jetson上对fastdeploy进行源码编译（完整版）

CouldNOTfindPythonNoCMAKE_CUDA_COMPILERcouldbefound.准备工作jetpackcudaopencv下载飞桨推理库根据jetpack的版本选择对应的推理库版本https://www.paddlepaddle.org.cn/inference
点PY·2024-01-24 14:54

【论文阅读】Automated Runtime-Aware Scheduling for Multi-Tenant DNN Inference on GPU

该论文发布在ICCAD’21会议。该会议是EDA领域的顶级会议。基本信息AuthorHardwareProblemPerspectiveAlgorithm/StrategyImprovment/AchievementFuxunYuGPUResourceunder-utilizationContentionSWSchedulingOperator-levelschedulingML-basedsch
误伤这又何妨·2024-01-24 07:25

如何用 500 行 SQL 实现 GPT2学习

Inference俄罗斯有个大佬每年都会用SQL来实现一个挑战庆祝新年，已经坚持了10多年了。而2023年年底他完成了一件非常了不起的事情，即用500行SQL实现了GPT2：https://ex
jialun0116·2024-01-23 17:36

YOLOv8 Opencv DNN模块部署遇到的问题

使用YOLOv8-CPP-Inference部署时遇到的问题:1.Opencv版本>=4.7，否则cv::dnn:readNetFromONNX方法无法读取yolov8导出ONNX模型。
reshaker·2024-01-23 04:16

FinGPT Llama2 推理

文章目录InferencewithSingleTask:SentimentMakepromptsInferencewithMulti-TaskFinGPT_Inference_Llama2_13B_falcon
小田_·2024-01-22 21:40

【AIGC-AI人像生成系列-1】PhotoMaker：定制逼真的人体照片

PhotoMaker和ID导向的数据构建管道的概览PhotoMaker：ID导向的数据构建管道：b)方法详细解读堆叠ID嵌入（StackedIDEmbedding）：2.ID导向的数据构建管道：3.训练过程：4.推理（Inference
AI杰克王·2024-01-21 20:37

扩散模型：Diffusion Model原理剖析

Inference最大似然估计倒数
WindyChanChan·2024-01-20 19:51

openvino Exception from src/inference/src/dev/core_impl.cpp:559: Device with “CPU“ name is not regis

CompiletheModelerror:Exceptionfromsrc/inference/src/core.cpp:133:Exceptionfromsrc/inference/src/dev/core_impl.cpp
Gaoithe·2024-01-20 01:55

【知识---如何利用TensorRT（NVIDIA Deep Learning Inference Library）引擎序列化为内存中的二进制数据流】

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言TensorRT的主要特点和功能案例总结前言TensorRT（TensorReal-Time）是由NVIDIA提供的用于深度学习推断的高性能推理库。它针对NVIDIAGPU进行了优化，旨在提供低延迟和高吞吐量的深度学习推断。那么如何利用TensorRT进行一个引擎序列化呢？？？下面对于几行代码进行说明！！！TensorRT
fyc300·2024-01-19 14:54

AI大模型学习笔记之二：什么是 AI 大模型的训练和推理？

在人工智能（AI）的领域中，我们经常听到训练（Training)和推理（Inference)这两个词汇，它们是构建强大AI模型的关键步骤。
DATA无界·2024-01-18 22:06

大模型训练为什么用A100不用4090

先说结论，大模型的训练用4090是不行的，但推理（inference/serving）用4090不仅可行，在性价比上还能跟H100打个平手。
技术人生黄勇·2024-01-18 20:30

变分推断（Variational Inference）

从变分推断（VariationalInference）说起  在贝叶斯体系中，推断(inference)指的是利用已知变量x的观测值推测未知变量z的后验分布，即我们在已经输入变量x后，如何获得未知变量z
溯源006·2024-01-18 18:58

jetson-inference入门

jetson-inference文章目录jetson-inference前言一、jetson-inference二、下载传输三、docker的安装使用总结前言jetson部署相关内容一、jetson-inference
小豆包的小朋友0217·2024-01-18 07:10

[论文复现]Edge AI: On-Demand Accelerating Deep Neural Network Inference via Edge Computing

论文翻译连接https://www.jianshu.com/p/b1be6a8a0bf7文章中提到的轮子有：1.在开源BranchyNet和Chainer下，实现了分支模型。2.使用经典AlexNet模型对cifar-10数据集执行图像识别任务。3.设置静态带宽环境，我们使用WonderShaper工具控制可用带宽。4.对于动态带宽环境设置，我们使用比利时4G/LTE带宽记录的数据集来模拟动态带宽
JUNLONG2·2024-01-17 22:39

2024年1月16日Arxiv热门NLP大模型论文：Using Natural Language Inference to Improve Persona Extraction from Dialog

霍普斯金新研究:提高对话智能体在新领域中从对话中提取个性信息的能力引言：探索跨领域对话智能体的个性化挑战在构建对话智能体时，个性化是一个关键挑战，尤其是在跨领域的情况下。对话智能体需要能够根据其被赋予的角色或个性来生成回应，这要求它们能够理解并表达与特定角色相关的特征和行为。然而，现有的对话智能体往往在维持一致的个性上存在困难，尤其是在从现实世界场景转移到如幻想世界等不同叙事领域时。为了解决这一问
夕小瑶·2024-01-17 10:45

如何简单易懂地理解变分推断(variational inference)？

在贝叶斯统计中，所有的对于未知量的推断(inference)问题可以看做是对后验概率(posterior)的计算。因此提出了Varia
小小何先生·2024-01-16 12:47

Transformer如何工作

Transformer如何工作Transformer工作可以分为两个阶段：Inference（推理）和Training（训练）‍‍
vitaminYZZ·2024-01-13 21:15

[paddle]paddlehub部署paddleocr的hubserving服务

paddlehub环境第二步：下载paddleocr源码：gitclonehttps://github.com/PaddlePaddle/PaddleOCR.git然后切换到paddocr目录执行新建个文件夹叫Inference
FL1623863129·2024-01-13 17:26

浅淡A100-4090-性价比

大模型的训练用4090是不行的，但推理（inference/serving）用4090不仅可行，在性价比上还能比H100稍高。4090如果极致优化，性价比甚至可以达到H100的2倍。
天池小天·2024-01-12 21:37

深度学习技巧应用32-在YOLOv5模型上使用TensorRT进行加速的应用技巧

大家好，我是微学AI，今天给大家介绍一下深度学习技巧应用32-在YOLOv5模型上使用TensorRT进行加速的应用技巧，TensorRT是NVIDIA公司提供的一个深度学习推理（inference）优化器和运行时库
微学AI·2024-01-12 09:28

Kotlin 1.7.0 beta发布，改进构建器类型推断

在1.7.0beta版中，如果常规类型推断在没有指定-Xenable-builder-inference编译器选项
魏铁锤爱摸鱼·2024-01-11 17:19

【腾讯云 HAI域探秘】释放生产力：基于 HAI 打造团队专属的 AI 编程助手

应用场景介绍三、HAI生产力场景探索：基于HAI打造团队专属的AI编程助手3.1申请HAI内测资格3.2购买HAI实例3.3下载CodeShell-7B-Chat模型3.4部署text-generation-inference
李子lll·2024-01-11 03:15

ML：5-1 neural networks

文章目录course2框架1.neuralnetworks（deeplearning）2.DemandPrediction【吴恩达机器学习p43-46】course2框架一、neuralnetworks-inference
skylar0·2024-01-10 18:22

Chinese-llama-2部署踩坑记录

Chinese-llama-2部署踩坑记录1.Chinese-LLaMA-Alpaca-2A.部署a.inference_with_transformers_zhb.textgenerationwebui_zhc.api_calls_zhd.llamacpp_zhe.privategpt_zhf.langchain_zhToolGithub1
国家一级假勤奋大学生·2024-01-10 07:50

基于nsfw 的色情敏感图片识别

research/imgcensor训练好的模型https://drive.google.com/file/d/1BF2FaCqhr1LYeZ4vA56pTTlfFumUrg5q/view运行执行项目的inference.py
axing151·2024-01-10 06:10

几经折磨终于跑通jetson-inference

之前看了很多篇关于jetson-inference的文章，无论如何gitsubmoduleupdate--init这一步就过不了，总是Failed，昨晚看了下面这篇帖子：JetsonNano之jetson-inference
bopodoq·2024-01-08 09:16

在win10上cuda12+tensorrt8.6+vs2019环境下编译paddle2.6生成python包与c++推理库

paddleinfer官方目前没有发布基于cuda12的c++库，为此参考https://www.paddlepaddle.org.cn/inference/user_guides/source_compile.html
万里鹏程转瞬至·2024-01-08 06:30

ML Design Pattern——Windowed Inference

Purpose:Ensuresconsistencyandaccuracyinfeaturesderivedfromtime-dependentdatabetweentrainingandservingphases.Addresseschallengesinreal-timeorstreamingscenarioswherefeaturesdependonhistoricalcontext.Key
卢延吉·2024-01-07 10:45

Google Gemini接口调用（node版）

apikey二、在国外服务器上部署一个接口用于真正的请求constsdAxiosOnAzure=async(req,res)=>{let{config={url:'https://sinkin.ai/api/inference
徐同保·2024-01-06 16:15

02 Deep learning algorithm

NeuralNetworkstarget：inference（prediction）trainingmyownmodelpracticaladviceforbuildingmachinelearningsystemdecisionTressapplication
叮咚Zz·2024-01-05 14:06

PaddlePaddle初使用

#Global.save_inference_dir参数设置转换的模型将保存的地址。python3tools/export_model.py-cconfigs/rec/PP-OCRv3
云端一散仙·2024-01-04 14:51

yolo v7支持的设备

将一个深度学习模型（在这里是YOLOv7，一个目标检测模型）从PyTorch导出到不同的格式，以便在不同平台上进行推理（inference）。
AlphaFinance·2024-01-04 08:53

模式识别与机器学习-概率图模型

概率图模型概率图模型三大基本问题表示推断学习有向概率图模型例子三种经典的图HMMViterbi算法谨以此博客作为复习期间的记录概率图模型三大基本问题概率图模型通常涉及三个基本问题，即表示（Representation）、推断（Inference
Kilig*·2024-01-02 20:35

conda环境下face_alignment.LandmarksType._2D AttributeError: _2D解决方法

1问题描述运行retalking模型时，代码抛出异常，信息如下所示：Traceback(mostrecentcalllast):File"D:/ml/video-retalking/inference.py
智慧医疗探索者·2024-01-01 20:56

cv_baseline——Alexnet

cv_baseline——Alexnet文章目录cv_baseline——Alexnet一、inference二、可视化的代码三、train_alexnet一、inference下面是比较清晰的一个inference
前途似海_来日方长·2023-12-31 05:00

受控代码生成-CCS 23

LargeLanguageModelsforCode:SecurityHardeningandAdversarialTesting1.Introduction2.Background3.受控代码生成4.SVEN4.1.Inference4.2
I still …·2023-12-30 21:50

text-generation-inference使用

TGI使用1.docker安装2.本地安装2.1.rust+anaconda32.2.安装server2.3.下载模型开启server因为最近工作需要跑LLM，目前LLM一般都是多进程跑，目前只用Inference
I still …·2023-12-30 21:47

Triton Inference Serve调研

1TritonInferenceServe简介Tritoninferenceserve是NVIDA开源的推理框架，官网TritonInferenceServer，具有如下特点：支持常见深度学习框架导出模型的推理，如TensorRT,TensorFlowGraphDef,TensorFlowSavedModel,ONNX,PyTorchTorchScriptandOpenVINO等格式。支持机器学习
georgeguo·2023-12-29 19:46

text-generation-inference（TGI）项目加速推理的量化实现与使用GPTQ量化实现的对比

推理时使用参数--gpusall用4张卡同时计算；加载的模型是vicuna-7b-v1.5-16k；工程的地址在https://github.com/huggingface/text-generation-inference
炭市街潜水豆浆·2023-12-29 04:32

解决yolov8推理报错：ModuleNotFoundError: No module named ‘ultralytics.nn.modules.conv‘

yolov8的代码，训练好检测模型，运行作者给的推理代码报错：Traceback(mostrecentcalllast):File"E:\Pycharm\pytorch-project\YOLOv8\inference.py
落花雨12138·2023-12-28 14:51

【 YOLOv5】目标检测 YOLOv5 开源代码项目调试与讲解实战（2）-如何利用yolov5进行预测

如何利用yolov5进行预测yolov5项目的简单描述模型对比图需要的包作者的教程环境inference不用命令行，使用pycharm运行main函数部分运行程序来看一下**detect.py**跑代码时遇到的一些问题
醉酒柴柴·2023-12-28 00:48

Real-time Neural Network Inference on Extremely Weak Devices: Agile Offloading with Explainable AI

Q:这篇论文试图解决什么问题？A:这篇论文试图解决在资源受限的嵌入式设备上实现实时神经网络（NN）推理的问题。具体来说，论文提出了一种名为AgileNN的新方法，通过利用可解释人工智能（XAI）技术，将NN推理中所需的计算从在线推理迁移到离线学习阶段，以减少在线计算和通信成本。论文的主要贡献包括：1.提出了一种新的NN卸载技术，通过在训练阶段明确强制特征稀疏性，将NN卸载中的计算需求从在线推理迁移
步子哥·2023-12-26 08:10

文献阅读：LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models

文献阅读：LLMLingua:CompressingPromptsforAcceleratedInferenceofLargeLanguageModels1.文章简介2.方法介绍1.BudgetController2.IterativeToken-levelPromptCompression(ITPC)3.DistributionAlignment3.实验结果&结论1.基础实验结果2.消解实验3.
Espresso Macchiato·2023-12-25 10:47

paddle 55 使用Paddle Inference部署嵌入nms的PPYoloe模型（端到端fps达到52.63）

PaddleInference是飞桨的原生推理库，提供服务器端的高性能推理能力。由于PaddleInference能力直接基于飞桨的训练算子，因此它支持飞桨训练出的所有模型的推理。paddle平台训练出的模型转换为静态图时可以选用PaddleInference的框架进行推理，博主以前都是将静态图转换为onnx模型再进行部署。然而在转换含nms的ppyoloe模式，转换失败了，故此研究PaddleI
万里鹏程转瞬至·2023-12-24 00:17

Triton + HF + Qwen 推理经验总结

1.简介Triton介绍参考：GitHub-triton-inference-server/tutorials:ThisrepositorycontainstutorialsandexamplesforTritonInferenceServer2
Charles_yy·2023-12-21 21:59

深度学习部署架构：以 Triton Inference Server（TensorRT）为例

什么是模型部署？模型训练只是DeepLearning的一小部分，如《HiddenTechnicalDebtinMachineLearningSystems》机器学习系统的技术债书中所说。现有几种搭建框架：Python：TF+Flask+Funicorn+NginxFrameWork：TFserving，TorchServe，ONNXRuntimeIntel：OpenVINO，NVNN，QNNPAC
禅与计算机程序设计艺术·2023-12-18 05:03

OpenMMlab导出yolox模型并用onnxruntime和tensorrt推理

导出onnx文件直接使用脚本importtorchfrommmdet.apisimportinit_detector,inference_detectorconfig_file='.
给算法爸爸上香·2023-12-17 20:36

Win10系统安装TensorRT

版本对应关系二、下载及安装1.TensorRT2.Nomodulenamed'pycuda'&pycuda安装失败总结参考文献TensorRT简介Tips：理论指引实践TensorRT是一个高性能的深度学习推理（Inference
夜幕龙·2023-12-16 02:59

（一）NV Jetson上使用 PaddlePaddle 预测： 编译安装

NVJetpack4.2刷的机，可以直接访问这个链接进行下载预编译libhttps://www.paddlepaddle.org.cn/documentation/docs/zh/advanced_guide/inference_deployment
X_Dragon·2023-12-16 01:18

resnet 图像分类的项目

resnet图像分类的项目代码本章利用reset34作图像分类，包括计算训练集和测试集的loss、accuracy曲线，对训练好的网络在训练集+测试集上求混淆矩阵data文件为训练集+测试集，图像按照文件夹摆放inference
听风吹等浪起·2023-12-14 15:29
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他