模型部署（tensorRT)

DeepSeek使用中的问题及解决方案（部分）

1.模型部署与配置问题问题1：环境依赖冲突现象：安装模型依赖库时出现版本不兼容（如Python、PyTorch版本冲突）。解决方案：使用虚拟环境（如conda或venv）隔离依赖。
WeiLai1112·2025-02-20 07:17

PyTorch `.pth` 转 ONNX：从模型训练到跨平台部署

但当你想在不同的环境（如TensorRT、OpenVINO、ONNXRuntime）部署模型时，.pth可能并不适用。这时，ONNX（OpenNeuralNetworkExchange）就必不可少。
MO__YE·2025-02-18 23:46

PyTorch `.pth` 转 ONNX：从模型训练到跨平台部署

但当你想在不同的环境（如TensorRT、OpenVINO、ONNXRuntime）部署模型时，.pth可能并不适用。这时，ONNX（OpenNeuralNetworkExchange）就必不可少。
MO__YE·2025-02-18 23:12

HarmonyOS Next轻量化模型的部署与优化

本文旨在深入探讨华为鸿蒙HarmonyOSNext系统（截止目前API12）中轻量化模型部署与优化相关技术细节，基于实际开发实践进行总结。
·2025-02-18 22:36

腾讯云目前支持4种DeepSeek开源大模型部署方案

欢迎交流#deepseek腾讯云目前支持4种DeepSeek开源大模型部署方案1、面向开发者开箱即用的HAI方式1）参考：https://mp.weixin.qq.com/s/kZLPfXv3b1sxLSwyRVsEsg2
szqcloud·2025-02-18 03:41

DeepSeek R1蒸馏版模型部署的实战教程

  大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。授权多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。  
herosunly·2025-02-18 03:09

[C#]C#使用yolov8的目标检测tensorrt模型+bytetrack实现目标追踪

【测试通过环境】win10x64vs2019cuda11.7+cudnn8.8.0TensorRT-8.6.1.6opencvsharp==4.9.0.NETFramework4.7.2NVIDIAGeForceRTX2070Super
FL1623863129·2025-02-17 23:55

hunyuan-DiT模型部署指南

1.部署ComfyUI本篇的模型部署是在ComfyUI的基础上进行，如果没有部署过ComfyUI，请按照下面流程先进行部署，如已安装
算家云·2025-02-17 05:12

解决Deepseek服务器繁忙的两种高效方案：本地部署与平替平台实测

方案一：本地化部署核心优势说白了就是模型部署在自己本地，只有自己一个人用了没人挤了，但是对电脑硬件要求高部署步骤详解环境准备系统要求：Linux/Windows10+（推荐Ubuntu20.04）硬件配置
小真—·2025-02-16 18:52

《DeepSeek Janus Pro 7B：多模态人工智能大模型部署全攻略》

《DeepSeekJanusPro7B：多模态人工智能大模型部署全攻略》引言：开启多模态AI新世界在科技飞速发展的当下，多模态AI已成为人工智能领域中最耀眼的明星，正以前所未有的速度改变着我们的生活与工作方式
空云风语·2025-02-16 03:57

数据驱动的DevOps,MLOps工具链初现端倪

DevOps,MLOps,数据驱动,工具链,自动化,持续交付,模型部署,模型监控1.背景介绍在当今以数据为中心的时代，软件开发和机器学习模型的部署和维护日益复杂。
AI架构设计之禅·2025-02-16 03:53

c++加载TensorRT调用深度学习模型方法

使用TensorRT来调用训练好的模型并输出结果是一个高效的推理过程，特别是在需要低延迟和高吞吐量的应用场景中。以下是一个基本的步骤指南，展示了如何在C++中使用TensorRT进行推理。
feibaoqq·2025-02-15 13:35

tensorrt推理 onxx转engine代码（python），cyclegan网络推理（python、C++）

将onnx文件导出为engine，FP16格式​​importtensorrtastrtimportpycuda.driverascudaimportpycuda.autoinit#加载ONNX文件onnx_file_path
maobin_1·2025-02-14 10:04

模型实战（19）之 从头搭建yolov9环境+tensorrt部署+CUDA前处理 -＞ 实现目标检测

从头搭建yolov9环境+tensorrt部署实现目标检测yolov9虚拟环境搭建实现训练、推理与导出导出onnx并转为tensorrt模型Python\C++-trt实现推理，CUDA实现图像前处理文中将给出详细实现源码
明月醉窗台·2025-02-14 09:59

模型应用管理的成功之道：策略、工具与团队协作

2.模型部署●
·2025-02-13 11:28

Deep Seek大模型部署到本地 详细教程

以下是将DeepSeek大模型部署到本地开发环境的详细教程，分为多个步骤，包含技术细节和注意事项：步骤1：环境准备硬件要求GPU：推荐NVIDIAGPU（至少16GB显存，如RTX3090/4090或A100
Katie。·2025-02-12 11:40

pytorch深度学习模型推理和部署、pytorch&ONNX&tensorRT模型转换以及python和C++版本部署

目录1.采用pytorch进行推理2.采用onnx进行推理2.1pytorch转换为onnx2.2onnx推理3.采用tensorrt进行推理（python环境）3.1onnx转engine文件3.2tensorrt
机械心·2025-02-12 10:40

昇腾，Ascend，NPU，mindie，镜像，部署vllm：第4篇，尝试多模态大模型部署（Qwen2-vl）

文章目录前言下载模型前言一直想部署一个多模态大模型，今天就以Qwen2-vl为例尝试一番吧。（当然是在昇腾环境下）提示：需要把这篇文章先看一遍昇腾，mindie，镜像，部署vllm：第2篇，启动mindieservice_daemon服务，支持对Qwen2.5的7B版本的推理提示：本文章的撰写思路是，按照一个思路进行部署，报错，并反思，并解决。所以不太适合直接上来就跟着一步一步做。建议看完全文，再
几道之旅·2025-02-12 10:36

【大模型部署及其应用 】Ollama搭建运行中文大语音模型Llama3-8B-Chinese-Chat

Ollama是一种用于运行大语言模型（如LLaMA）的平台，适合本地化部署和运行。以下是如何在Ollama上搭建和运行中文大语言模型Llama3-8B-Chinese-Chat的步骤：下载地址：https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit项目地址：https://github.com/ymcui/Chine
源代码杀手·2025-02-11 18:34

人工智能在制造业的具体应用案例-总纲

实时预测：将模型部署到C
局外人_Jia·2025-02-11 09:05

2025年Python领域最新国际动态与技术趋势解析（截至2025年2月）

一、AI与Python的深度融合：从模型部署到开发工具OpenAI与谷歌的模型竞赛OpenAI近期推出的免费推理模型o3-mini在数学代码生成和物理模拟领域表现突出，尤其在Python生态中，开发者可通过
虫洞没有虫·2025-02-11 08:57

【Windows/C++/yolo开发部署03】将实例分割模型ONNX导出为 TensorRT 引擎：完整记录

【完整项目下载地址】：【TensorRT部署YOLO项目：实例分割+目标检测】+【C++和python两种方式】+【支持linux和windows】资源-CSDN文库目录写在前面环境准备1.使用trtexec
认识祂·2025-02-09 13:42

大数据集群Spark-on-Yarn+Paddle深度学习模型部署

背景：因数据量较大，想要将模型部署到大数据集群上进行计算。
jqtree·2025-02-08 19:32

本地部署DeepSeek-R1模型用于企业生产环境：基于Xinference

而非Ollama如何安装和配置Xinference如何下载DeepSeek-R1-Distill-Qwen-7B模型如何在Xinference中运行DeepSeek-R1-Distill-Qwen-7B模型部署成功后
MaxCode-1·2025-02-08 06:50

大模型实战篇之Deepseek二、一键部署DeepSeek-V3和DeepSeek-R1模型

然而，传统的模型部署流程往往复杂且耗时。今天，我们将详细介绍如何在阿里云PAIModelGallery上通过零代码的方式一键部署DeepSeek-V3和De
伯牙碎琴·2025-02-07 19:44

Java 大数据模型部署与运维：生产环境的挑战与应对（43）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。一、本博客的精华专栏：
青云交·2025-02-06 18:57

开源数据分析工具 RapidMiner

以下是对RapidMiner的深度介绍：1.概述RapidMiner是一款开源且全面的端到端数据科学平台，支持从数据准备、机器学习、预测分析到模型部署的整个工作流程。
kcarly·2025-02-06 08:21

TensorRT-LLM保姆级教程（一）-快速入门

本系列将针对TensorRT-LLM推理进行讲解。本文为该系列第一篇，将简要概述TensorRT-LLM的基本特性。另外，我撰写的大模型相关的博客及配套代码均整理放置在Github：llm-act
大模型部署·2025-02-05 18:38

使用Ollama本地化部署DeepSeek

1、Ollama简介Ollama是一个开源的本地化大模型部署工具，旨在简化大型语言模型（LLM）的安装、运行和管理。
·2025-02-05 02:15

LLM大模型部署实战指南：部署简化流程

LLM大模型部署实战指南：Ollama简化流程，OpenLLM灵活部署，LocalAI本地优化，Dify赋能应用开发1.Ollama部署的本地模型()Ollama是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型
汀、人工智能·2025-02-04 13:00

深度学习框架PyTorch原理与实践

作者：禅与计算机程序设计艺术文章目录1.简介2.背景介绍3.基本概念和术语3.1PyTorch简介3.2PyTorch的特点1）自动求导机制2）GPU加速3）模型部署4）数据管道5）代码阅读友好4.核心算法原理
AI天才研究院·2025-02-04 07:47

AI大模型部署：Ollama与vLLM部署对比：哪个更合适？

前言近年来，大语言模型（LLM）的应用日益广泛，而高效的部署方案至关重要。Ollama和vLLM作为两种流行的LLM部署工具，各有优劣。本文将深入比较Ollama和vLLM的部署方式，帮助选择最合适的方案。Ollama：简单易用的LLM部署工具Ollama以其简洁的安装和易于使用的特性而闻名。其官方文档清晰易懂，即使是新手也能快速上手。Ollama支持多种LLM模型，并提供便捷的命令行界面进行管理
大模型部署·2025-02-02 21:11

ONNX推理warning： TensorRT does not natively support INT64. Attempting to cast down to INT32.

只想用ONNX进行模型推理，加载时报Warning，加载模型时间也特别长。加载模型的代码：self.session=onnxruntime.InferenceSession(model_path,providers=onnxruntime.get_available_providers())修改为：self.session=onnxruntime.InferenceSession(model_pa
paradoxjun·2025-02-02 18:48

DeepSeek R1 Ollama本地化部署全攻略：三步实现企业级私有化大模型部署

前言Ollama作为当前最受欢迎的本地大模型运行框架，为DeepSeekR1的私有化部署提供了便捷高效的解决方案。本文将深入讲解如何将HuggingFace格式的DeepSeekR1模型转换为Ollama支持的GGUF格式，并实现企业级的高可用部署方案。文章包含完整的量化配置、API服务集成和性能优化技巧。—一、基础环境搭建1.1系统环境要求操作系统：Ubuntu22.04LTS或CentOS8+
Coderabo·2025-02-02 00:45

使用Ollama本地化部署DeepSeek

1、Ollama简介Ollama是一个开源的本地化大模型部署工具，旨在简化大型语言模型（LLM）的安装、运行和管理。
·2025-02-01 16:48

通过TenSorRT转换后的engine引擎文件进行验证的脚本

YOLOv8算法验证pt文件的精度脚本一般都很常见，工程项目里面一般会有importwarningswarnings.filterwarnings('ignore')fromultralyticsimportYOLOif__name__=='__main__':model=YOLO('/best.pt')#权重文件路径model.val(data='/data.yaml',#yaml文件路径spl
薇憨·2025-02-01 03:28

书生浦语第五期

基础作业完成以下任务，并将实现过程记录截图：配置lmdeploy运行环境下载internlm-chat-1.8b模型以命令行方式与模型对话视频链接文档链接基础知识学习模型部署在软件工程中，部署通常指的是将开发完毕的软件投入使用的过程
晴斋1216·2025-01-31 06:27

LLM模型部署经验分享

LLM模型部署经验分享作者：大连理工大学李凯首先，你需要选择一个合适的部署平台，这可以是本地服务器、云服务提供商（如AWS、Azure、GoogleCloud等）、边缘设备或者特定的部署服务（如HuggingFaceHub
lewis_kai·2025-01-31 06:56

Torchserve服务开发

handler开发1.1.1.context参数1.1.2.data参数1.2.handler调试2.配置文件3.batch推理0.Torchserve介绍0.1.背景TorchServe是PyTorch中推荐的模型部署解决方案
qq_27844739·2025-01-30 04:26

大模型部署工具 llama.cpp 介绍与安装使用

1.大模型部署工具llama.cpp大模型的研究分为训练和推理两个部分。训练的过程，实际上就是在寻找模型参数，使得模型的损失函数最小化，推理结果最优化的过程。
大模型柳儿·2025-01-29 18:03

LLM架构与优化：从理论到实践的关键技术

架构与优化：从理论到实践的关键技术”文章信息摘要：文章探讨了大型语言模型（LLM）开发与应用中的关键技术，包括Transformer架构、注意力机制、采样技术、Tokenization等基础理论，以及模型部署
XianxinMao·2025-01-28 20:14

【TensorRT】引用了NvInferRuntimeCommon.h仍然报找不到ILogger

如果编译遇到error:‘ILogger’innamespace‘nvinfer1’doesnotnameatype或者error:‘nvinfer1::ILogger’hasnotbeendeclared可能需要显式的添加#include"NvInfer.h"即只includeNvInferRuntimeCommon.h是不够的。
TechBoL·2025-01-27 19:46

nvdia triton server运行pt文件

tritonserver默认都是tensorrt推理。但也会出现有操作不支持，导致无法转模型为engine的情况。可以选择直接运行pytorch的pt文件，以下为操作步骤。
滑稽的柴犬·2025-01-26 23:27

InternLM: LMDeploy 量化部署进阶实践

LMDeploy部署模型模型部署是将训练好的深度学习模型在特定环境中运行。欢迎使用LMDeploy，支持市面上主流的格式和算法。
dilvx·2025-01-25 06:42

NVIDIA-TensorRT-Python推理

1,前言NVIDIATensorRT进行模型推理的Python实现。TensorRT是一个高性能的深度学习推理优化器和运行时，它能够为深度学习模型提供低延迟和高吞吐量的推理能力。
呆呆珝·2025-01-25 05:07

导出 YOLOv11 模型的详细步骤和说明

以下是关于如何导出YOLOv11模型的详细步骤和说明：1.导出YOLOv11模型的基本步骤YOLOv11模型可以通过Ultralytics提供的接口轻松导出为多种格式，如ONNX、TensorRT、CoreML
old_power·2025-01-23 19:14

【CUDA-BEVFusion】tool/build_trt_engine.sh 文件解读

exitfi#tensorrtversion#version=`trtexec|grep-m1TensorRT|sed-n"s
old_power·2025-01-23 18:37

SGLang安装教程，部署你的大模型，性能比vllm好，实现张量并行，数据并行，加快推理速度，亲测效果好。

目前大模型部署工具主要是vllm，最近出现了SGLang，很多新开源大模型都支持SGLang的部署推理，例如deepseek-R1，Qwen2.5，Mistral，GLM-4，MiniCPM3，InternLM2
张登杰踩·2025-01-23 17:03

LLM大模型部署实战指南：部署简化流程

LLM大模型部署实战指南：Ollama简化流程，OpenLLM灵活部署，LocalAI本地优化，Dify赋能应用开发1.Ollama部署的本地模型()Ollama是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型
汀、人工智能·2025-01-23 05:28

YOLOv11目标检测模型部署到微信小程序上

1.效果YOLOv11目标检测模型部署到微信小程序上2.后端主要代码importosimporttimeimportnumpyasnpimporttorchfromflaskimportFlask,request
小阿技术·2025-01-23 00:17
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他