模型部署

MindSpore Serving基于昇腾910B实现大模型部署

一、WhyMindSporeServing大模型时代，作为一个开发人员更多的是关注一个大模型如何训练好、如何调整模型参数、如何才能得到一个更高的模型精度。而作为一个整体项目，只有项目落地才能有其真正的价值。那么如何才能够使得大模型实现落地？如何才能使大模型项目中的文件以app的形式呈现给用户？解决这个问题的一个组件就是Serving（服务），它主要解决的问题有：模型如何提交给服务；服务如何部署；服
Zain Lau·2024-01-12 01:23

细说TensorRT C++模型部署2

相关文章:细说TensorRTC++部署1细说TensorRTC++部署3细说TensorRTC++部署4三推理阶段在引擎文件构建完成后,接下来是推理,几乎所有推理算法架构都可拆解为以下三个步骤:数据预处理数据推理推理结果后处理数据前后处理方法由所用的特定模型决定,但推理由算法架构编译的引擎决定,我们不必关心.以tensorRT为例,只需对推理引擎指定输入输出节点,然后推理,等待结果即可.固定的步
弈秋001·2024-01-11 20:59

深度学习模型部署TensorRT加速（十）：TensorRT部署分析与优化方案（一）

篇章十：TensorRT部署分析与优化方案目录前言：一、模型部署指标分析1.1FLOPS与TOPS1.2Rooflinemodel与计算密度1.3FP32/FP16/INT8/INT4/FP8参数二、模型部署的几大误区
咕哥·2024-01-11 19:58

深度学习模型部署TensorRT加速（十一）：TensorRT部署分析与优化方案（二）

下篇内容预告：深度学习模型部署OpenVINO加速一、TensorRT分析模型推理性能分析：使用工具如Tens
咕哥·2024-01-11 19:58

深度学习模型部署OpenVINO加速--OpenVINO部署YOLOv5,YOLOv7模型

目录前言：一、安装OpenVINO二、OpenVINO核心组件和运行流程三、OpenVINO部署案例四、OpenVINO部署YOLO案例总结：PS:纯粹为学习分享经验，不参与商用价值运作，若有侵权请及时联系！！！前言：OpenVINO工具套件全称是OpenVisualInference&NeuralNetworkOptimization，是Intel于2018年发布的，开源、商用免费、主要应用于计
咕哥·2024-01-11 19:58

深度学习模型部署TensorRT加速（九）：TensorRT部署TransFormer模型

下篇内容预告：深度学习模型部署TensorRT加速（十）：TensorRT部署分析与优化方案（一）前言：众所周知，transformer在很多计算机视觉领域的性能已经超过CNNS，例如目标检测中的DETR
咕哥·2024-01-11 19:57

深度学习模型部署TensorRT加速 ：并行处理与GPU架构

长期栏目提示：今天开始，作者将学习TensorRT的相关知识，并会做一个长期不定期更新的栏目，主打路线依然是自学笔记，欢迎大家关注，点赞和收藏。第一章是基础知识，可能会有些枯燥，耐心看完对后更新的一些内容有更好的理解！篇章一：并行处理与GPU架构并行处理串行处理与并行处理的区别常见的并行处理有哪些GPU的并行处理GPU和CPU的并行处理MemoryLatencyCPU的优化方式GPU特点总结和链接
咕哥·2024-01-11 19:56

AI嵌入式K210项目（1）-芯片开发板介绍

系列文章目录在人工智能大潮滚滚而来的时代，作为一个从事嵌入式行业多年的程序猿倍感焦虑，有被替代的焦虑，也有跟不上新技术步伐的无奈，本系列文章将介绍一个从硬件设计到ai训练、最后到模型部署的完整案例；第一阶段我将介绍使用
疯狂飙车的蜗牛·2024-01-11 16:16

[笔记]书生·浦语大模型全链路开源体系

书生浦语大模型开源产品开源大模型系列大模型部署应用流程书生浦语全链条开源体系数据-预训练框架-微调框架-部署工具-测评工具-agent应用工具箱开源数据详细介绍预训练框架介绍微调框架介绍评测框架OpenCompass
贝利&桃子·2024-01-10 03:38

《书生.浦语大模型全链路开源体系》笔记

3、书生.浦语大模型部署的架构：模型支持量化、tritoninferenceserver,gradio。4、大模型驱动智能体：搭建不同模块的智能体框架，以大模型为核心，执行不同的动
hello zhenma·2024-01-10 03:37

【OpenVINO 】在 MacOS 上编译 OpenVINO C++ 项目

前言英特尔公司发行的模型部署工具OpenVINO™模型部署套件，可以实现在不同系统环境下运行，且发布的OpenVINO™2023最新版目前已经支持MacOS系统并同时支持在苹果M系列芯片上部署模型。
椒颜皮皮虾྅·2024-01-09 14:15

【书生·浦语大模型实战营02】《轻松玩转书生·浦语大模型趣味Demo》学习笔记

教程文档：《轻松玩转书生·浦语大模型趣味Demo·文档》致谢感谢助教MING·X的帮助～1、InternLM-Chat-7B智能对话：生成300字的小故事本节中我们将使用InternLM-Chat-7B模型部署一个智能对话
songyuc·2024-01-09 05:14

如何使用 Python、Node.js 和 Go 创建基于 YOLOv8 的对象检测 Web 服务

在本文中，将展示如何在不需要PyTorch和官方API的情况下使用YOLOv8模型，将模型部署在不同的端上，使得模型使用的资源减少十倍，并且不仅可以在Python上创建服务，还可以在Node.j
guohuang·2024-01-09 02:20

Pytorch 模型部署方案

TorchserveTorchserve是AWS和Facebook推出的pytorch模型服务库，整体架构如下torchserve架构图.png特点提供ManagementAPI和InferenceAPI，用户通过API进行模型管理和模型推理支持多模型，多GPU部署InferenceAPI支持批量推理支持模型版本控制提供日志服务，默认情况下，TorchServe将日志消息打印到stderr和sto
晓柒NLP与药物设计·2024-01-08 04:29

sigmoid softmax优化

1.前言最近在搞模型部署发现，推理速度不能满足我们需求，于是最近学习了优化算子技巧，学到了sigmoid，softmax算子优化，真的数学之美。
鲤鱼不懂·2024-01-07 22:40

非工程师指南: 训练 LLaMA 2 聊天机器人

我们将以LLaMA2基础模型为例，在开源指令数据集上针对聊天场景对其进行微调，并将微调后的模型部署到一个可分享的聊天应用中。全程只需点击鼠标，即可轻松通往荣耀之路！为什么这很重要？
Hugging Face·2024-01-07 20:39

模型部署——onnx定义、读写和调试

概述神经网络本质上是一个计算图。计算图的节点是算子，边是参与运算的张量。而通过可视化ONNX模型，我们知道ONNX记录了所有算子节点的属性信息，并把参与运算的张量信息存储在算子节点的输入输出信息中。事实上，ONNX模型的结构可以用类图大致表示如下：如图所示，一个ONNX模型可以用ModelProto类表示。ModelProto包含了版本、创建者等日志信息，还包含了存储计算图结构的graph。Gra
令狐少侠、·2024-01-07 10:43

TensorRT优化部署（一）--TensorRT和ONNX基础

优化部署（一）–TensorRT和ONNX基础第二章TensorRT优化部署（二）–剖析ONNX架构第三章TensorRT优化部署（三）------ONNX注册算子文章目录TensorRT部署优化前言一、模型部署目的二
小豆包的小朋友0217·2024-01-07 10:07

Pytorch中的ONNX部署，你真的全部都了解了吗？

ONNX是目前模型部署中最重要的中间表示之一。学懂了ONNX的技术细节，就能规避大量的模型部署问题。
AI量化小木屋·2024-01-06 10:28

【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于QuickRNet的TPU超分模型部署

2023CCF大数据与计算智能大赛《赛题名称》基于QuickRNet的TPU超分模型部署巴黎欧莱雅林松智能应用业务部算法工程师中信科移动中国-北京[email protected]团队简介巴黎欧莱雅团队包含一个队长和零个队员
算能开发者社区·2024-01-05 17:44

【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于Real-ESRGAN的TPU超分模型部署

2023CCF大数据与计算智能大赛《基于TPU平台实现超分辨率重建模型部署》洋洋很棒李鹏飞算法工程师中国-烟台[email protected]团队简介本人从事工业、互联网场景传统图像算法及深度学习算法开发
算能开发者社区·2024-01-05 17:41

Jetson Xavier NX 下 yolov8 tensorrt模型部署（Jetpack5.1.2、CUDA11.4、Cudnn8.6.0、Tensorrt8.5.2）

文章目录前言JetsonXavierNX环境配置一、TensorRT-Alpha源码下载1.源码下载2.文件设置二、yolov8模型部署1.导出yolov8onnx模型2.使用tensorrt转换onnx
编程是一点都不懂的·2024-01-05 12:39

yolov8 opencv模型部署（python版）

TensorRT系列之Windows10下yolov8tensorrt模型加速部署TensorRT系列之Linux下yolov8tensorrt模型加速部署TensorRT系列之Linux下yolov7tensorrt模型加速部署TensorRT系列之Linux下yolov6tensorrt模型加速部署TensorRT系列之Linux下yolov5tensorrt模型加速部署TensorRT系列之
韩师兄_·2024-01-05 12:37

How to understand Data Mining

什么是数据挖掘为何使用数据挖掘数据挖掘有哪些类型流程挖掘文本挖掘预测挖掘数据挖掘如何运作业务了解数据了解数据准备数据筛选数据变量转换缺失值处理坏数据处理数据标准化主成分分析属性选择数据规约数据建模评估模型部署模型数据挖掘的方法有哪些异常检测
qwfys200·2024-01-03 08:13

pytorch 转 onnx

ONNX是目前模型部署中最重要的中间表示之一，在把PyTorch模型转换成ONNX模型时，使用的torch接口是torch.onnx.export这里记录了pytorch模型转onnx时的原理和注意事项
哦豁灬·2024-01-03 05:08

移动端模型部署框架

移动端模型部署框架1.MNN整体特点轻量性通用性高性能易用性架构设计主体工具致谢移动端模型部署框架1.MNNhttps://www.yuque.com/mnn/cn/aboutMNN是全平台轻量级高性能深度学习引擎
落花逐流水·2024-01-02 13:54

Windows CPU部署llama2量化模型并实现API接口

目录模型部署本地运行llama2使用fastapi实现API接口常用git仓库模型部署从huggingface下载模型https://huggingface.co/放在本地文件夹，如下本地运行llama2fromctransformersimportAutoModelForCausalLMllm
我只钓小鱼·2024-01-02 07:49

LLM 系列 | 04：ChatGPT Prompt编写指南

后续会持续整理模型加速、模型部署、模型压缩、LLM、AI艺术等系列专题，敬请关注。
JasonLiu1919·2024-01-01 22:06

活动预告丨CodeWisdom可信AI系列学术报告：第9期（杜晓宁, Monash University)

本次报告将关注模型部署后，推理阶段的计算资源浪费问题，并提出可用于推理前及推理中的提升资源利用率和推理效率的策略，旨在减少计算开销，避免不必要的资源浪费，更好地推进代码大模型的商业化与落地。报告人
pengxin_ce·2024-01-01 11:25

数据挖掘与知识发现：解析关键概念

数据挖掘的基本概念2.1定义与范畴2.1.1数据挖掘的定义2.1.2数据挖掘的范畴2.2数据挖掘过程2.2.1问题定义2.2.2数据采集与清洗2.2.3特征选择2.2.4模型构建2.2.5模型评估与验证2.2.6模型部署
轩Scott·2024-01-01 07:49

完成一个预测建模项目一般需要多长时间？

为了回答这个问题，我们先来了解一下建模的流程，通常一个完整的数据挖掘项目包含以下流程（1）业务理解、（2）数据理解、（3）数据准备、（4）数据预处理和建模、（5）模型评估、（6）模型部署应用。
小黄鸭呀·2023-12-30 15:48

使用yolov5的2.0分支训练自己的模型并在x3派运行

不过最近需要将yolov5的模型部署到旭日X3派的开发板上，参考教程和社区帖子一阵折腾，成功转换模型并运行了，就是检测的结果很不
贝斯塔·2023-12-30 08:47

llama大模型部署

看模型加载的参数设置.importtorch#初始化HalfTensorh=torch.tensor([1.0,2.0,3.0],dtype=torch.half)#h=torch.tensor([1.0,2.0,3.0],dtype=torch.float16)#跟上面一行一样.#查看数据类型print(h.dtype)importaccelerateimportbitsandbytesfrom
weixin_40467931·2023-12-30 03:08

AI训练师常用的ChatGPT通用提示词模板

模型部署：如何将训练好的模型部署到实际应用中？模型监控与维护：如何监控和维护模型的性能和稳定性？模型更新与升级：如何
BTCKing·2023-12-29 18:26

【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于预训练ESPCN的轻量化图像超分辨率模型TPU部署方案

2023CCF大数据与计算智能大赛《基于TPU平台实现超分辨率重建模型部署》作品名：基于预训练ESPCN的轻量化图像超分辨率模型TPU部署方案队伍名：Absofastlutely蒋松儒计算机科学与技术系硕士南京大学中国
算能开发者社区·2023-12-29 15:47

TPU编程竞赛｜算丰助力2023 CCF大数据与计算智能大赛！

算丰不仅为本次大赛提供了赛题「基于TPU平台实现视频超分辨率重建模型部署」,也为参赛选手提供丰富的云端TPU资
算能开发者社区·2023-12-29 15:17

【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于FSRCNN的TPU平台超分辨率模型部署方案

2023CCF大数据与计算智能大赛基于TPU平台实现超分辨率重建模型部署基于FSRCNN的TPU平台超分辨率模型部署方案WELL刘渝人工智能研一西安交通大学中国-西安[email protected]史政立网络空间安全研一西安交通大学中国
算能开发者社区·2023-12-29 15:42

codellama模型部署（待补充）

codellama介绍CodeLlama是一个基于Llama2的大型代码语言模型系列，在开放模型、填充功能、对大输入上下文的支持以及编程任务的零样本指令跟踪能力中提供最先进的性能。我们提供多种风格来覆盖广泛的应用程序：基础模型(CodeLlama)、Python专业化(CodeLlama-Python)和指令跟随模型(CodeLlama-Instruct)，每个模型都有7B、13B和34B参数。所
bulucc·2023-12-28 21:04

模型部署之——ONNX模型转RKNN

提示：这里可以添加学习目标提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录一、加载Docker镜像二、转换脚本一、加载Docker镜像加载rknn官方提供的基于x86架构下模型转换的镜像文件，生成容器，以及执行镜像。sudodockerload-irknn-toolkit2:1.3.0-cp36sudodockerrun-v`pwd`/rknn_model_convert:
Ceri·2023-12-28 16:32

【模型部署入门 一】：Pytorch图像分类模型转换ImageNet1000类预训练模型转ONNX

入门学习主要是跟随同济子豪兄，很感谢该博主，本博客代码主体是子豪兄的，我只是总结加工整理记录。子豪兄对应学习视频链接地址为：ImageNet1000类预训练模型转ONNX我自己总结的教程中代码使用任何python编译环境都可以直接打开使用，子豪兄视屏教程中的源码需要使用Jupyter打开，关于Jupyter的安装及使用，推荐参考博客：JupyterNotebook的安装及使用教程目录一、安装配置环
佐咖·2023-12-28 12:54

Linux Ubuntu 和 Mac ,Windows 部署离线通义千问1.8B参数 4-bit量化大模型详细教程 全网唯一

代码为我自己写的python程序，应该是全网最简单的大模型部署方案，一个模型文件1.3GB，一个python代码即可开始玩耍~首先说明，本文下面的内容需要一点点python基础，需要会安装python和
点云-激光雷达-Slam-三维牙齿·2023-12-28 11:00

TensorRT Provider 与TensorRT Native的对比

ONNXRuntime介绍ONNXRuntime是将ONNX模型部署到生产环境的跨平台
小枫小疯·2023-12-27 22:12

开发者都能玩转的大模型训练

而且基于亚马逊云科技的云服务器优势，可以直接将模型部署到线上托管环境上，非常方便，且无技术“隔阂”，无缝操作。据我
亚马逊云开发者·2023-12-26 23:54

大模型部署之GPU查询及切换

1、查询当前机器GPU使用情况#总览nvidia-smi#每1s下的占用情况watch-n1nvidia-smi2、绑定gpu执行#方法1:设置CUDA_VISIBLE_DEVICES并直接执行CUDA_VISIBLE_DEVICES=1,2pythontrain_demo.py#方法2:编辑train_demo.py设置importosos.environ["CUDA_DEVICE_ORDER"
bulucc·2023-12-26 20:33

一步一步理解大模型：模型量化技术2-源代码

然而，在模型部署阶段，我们需要考虑到用户硬件的实际限制。为了让更多的用户能够使用我们的模型，我们通常会在训练后的推理阶段进行量化处理。这样，我们可以
chattyfish·2023-12-26 18:39

[动手学深度学习-PyTorch版]-4.5深度学习计算-读取和存储

然而在实际中，我们有时需要把训练好的模型部署到很多不同的设备。在这种情况下，我们可以把内存中训练好的模型参数存储在硬盘上供后续读取使用。
蒸饺与白茶·2023-12-24 03:07

simulink&veristand联合仿真——模型导入&部署简单人机界面

目录软件版本simulink模型编译veristand导入模型veristand模型参数设置veristand配置人机交互界面veristand模型部署运行软件版本matlab2020a，veristand2020R4
椿湫致简·2023-12-23 19:00

PyCaret-低代码ML库使用指南

如果您可以将数据科学过程的每个步骤(从功能工程到模型部署)减少到仅几行代码，该怎么办?这正是PyCaret发挥作用的地方。PyCaret是一个高级
Linux小百科·2023-12-22 05:21

RK3588安装TVM-CPU版本

以下是关于TVM的详细介绍：TVM的目标是将深度学习模型的优化和编译过程自动化，以便开发人员可以轻松地将其模型部署到各种硬件平台上，包括CPU、GPU、FPGA等。
呆呆珝·2023-12-21 17:51

Once-for-All: Train One Network and Specialize it for Efficient Deployment（ICLR2020）

文章目录Abstract成果Introduction存在的挑战以前的方法本文的方法RelatedWorkMethod问题描述架构空间训练OFA网络Na¨ıveApproach渐进收缩专业模型部署与一次性网络
怎么全是重名·2023-12-20 20:11
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他