模型部署-ncnn

yolov5 主要流程

1.介绍本文包含了有关yolov5目标检测的基本流程，包括模型训练与模型部署，旨在帮助小伙伴们建立系统的认知YOLO是"Youonlylookonce"的首字母缩写，是一个开源软件工具，它具有实时检测特定图像中物体的高效能力
isserendipity·2024-01-17 17:47

re:Invent 2023 技术上新｜使用 Amazon SageMaker 新工具和引导式工作流程快速打包和部署模型...

AmazonSageMaker现在推出了经过改进的模型部署体验，能够帮助您更快地部署传统的机器学习（ML）模型和基础模型（FM）。
亚马逊云开发者·2024-01-17 14:40

InternLM第5次课笔记

LMDeploy大模型量化部署实践1大模型部署背景2LMDeploy简介3动手实践环节https://github.com/InternLM/tutorial/blob/main/lmdeploy/lmdeploy.md3
Jamiechoi·2024-01-17 06:45

大模型学习之书生·浦语大模型5——基于LMDeploy大模型量化部署实践

目录大模型部署背景LMDeploy部署量化TurboMindAPIserver动手实践环节
uncle_ll·2024-01-17 05:00

【书生·浦语】大模型实战营——LMDeploy 大模型量化部署实战

大模型部署背景大模型部署是指将训练好的模型在特定的软硬件环境中启动的过程，使模型能够接收输入并返回预测结果。大模型的内存开销巨大，7B模型仅权重需要14G内存。
不想动脑筋的亮亮·2024-01-17 04:16

c++读取文件的一些常规操作代码

获取文件夹下的所有文件名字stringimage_dir="/work/ai_lab/miner/os/Ultralight-SimplePose/ncnnsample/test_image/02/images
qq_37516798·2024-01-17 01:20

深度学习笔记（七）——基于Iris/MNIST数据集构建基础的分类网络算法实战

截图和程序部分引用自北京大学机器学习公开课认识网络的构建结构在神经网络的构建过程中，都避不开以下几个步骤：导入网络和依赖模块原始数据处理和清洗加载训练和测试数据构建网络结构，确定网络优化方法将数据送入网络进行训练，同时判断预测效果保存模型部署算法
絮沫·2024-01-16 08:49

Llama2部署、微调、集成Langchain过程记录

目录一、模型部署1.环境配置2.pip和conda源3.下载模型到本地4.下载并部署gradio5.使用gradio运行模型6.textgenerationwebui二、模型微调1.下载和预处理微调训练数据
GOozii1·2024-01-16 00:54

大模型听课笔记——书生·浦语（5）

LMDeploy的量化和部署1大模型部署简介模型部署：将训练好的模型在特定软硬件环境中启动的过程，使模型能够接受输入并返回结果。为了满足性能和效率的需求。
亲爱的阿基米德^·2024-01-15 21:13

基于深度学习的实例分割的Web应用

基于深度学习的实例分割的Web应用1.项目简介1.1模型部署1.2Web应用2.Web前端开发3.Web后端开发4.总结1.项目简介这是一个基于深度学习的实例分割Web应用的项目介绍。
OverlordDuke·2024-01-15 19:49

建模高手与初学者的差别在哪里？需要什么样的人来建模？

我们知道，数据挖掘的基本流程包括：（1）业务理解、（2）数据理解、（3）数据准备、（4）数据预处理和建模、（5）模型评估、（6）模型部署应用。
心宇gxy·2024-01-15 18:44

国产大模型LLM 魔搭社区|阿里云服务器部署

使用魔搭社区|阿里云进行大语言模型的服务器部署文章目录使用魔搭社区|阿里云进行大语言模型的服务器部署魔搭社区部署云端大模型开始搭建你的大语言模型找到模型服务选择模型部署方式选择函数计算（FC）部署模式PAI-EAS
八荒、·2024-01-15 15:25

Chatglm3-6B Chat/Base保姆级本地部署以及工具调用

国产大语言模型之光—Chatglm3-6BChat/Base保姆级本地部署以及工具调用文章目录国产大语言模型之光---Chatglm3-6BChat/Base保姆级本地部署以及工具调用开发背景硬件支持模型权重下载模型部署代码的准备依赖的安装模型的加载模型的推理单次对话模型调用命令行版模型多轮对话网页版模型多轮对话
八荒、·2024-01-15 15:24

DETR tensorRT部署去除推理过程无用辅助头+fp16部署再次加速+解决转tensorrt 输出全为0问题的新方法

多次想放弃这个模型部署，花了很多时间查阅，最终解决方法用了两步：  第一步，修改onnx模型输出层Gather的参数；  第二步，
山水无移·2024-01-15 15:51

人工智能让边缘计算更有价值!

LinkEdge的优势还体现在提升AI的实践效率，开发者可将深度学习的分析、训练过程放在云端，将生成的模型部署在边缘网关直接执行，优化良率、提升产能。另外
weixin_34056162·2024-01-15 10:02

LMDeploy 大模型量化部署实践

LMDeploy大模型量化部署实践大模型部署背景模型部署定义产品形态计算设备大模型特点大模型挑战大模型部署方案LMDeploy简介推理性能核心功能-量化核心功能-推理引擎TurboMind核心功能推理服务
桑_榆·2024-01-15 07:42

【书生·浦语】大模型实战营——第五课笔记

github.com/InternLM/tutorial/blob/main/lmdeploy/lmdeploy.md视频链接：https://www.bilibili.com/video/BV1iW4y1A77P大模型部署背景关于模型部署通常需要模型压缩和硬件加速大模型的特点
Horace_01·2024-01-14 19:03

大模型实战营Day5 LMDeploy大模型量化部署实践

模型部署定义产品形态计算设备大模型特点内存开销大动态shape结构简单部署挑战设备存储推理速度服务质量部署方案：技术点（模型并行transformer计算和访存优化低比特量化ContinuousBatchPageAttention
流浪德意志·2024-01-14 17:38

基于AidLux的工业视觉少样本缺陷检测实战应用

网站：http://aimo.aidlux.com/试用账号和密码：账号：AIMOTC001，密码：AIMOTC001上传模型选择目标平台参数设置选择自动转换转换结果并下载2.基于AidLux的语义分割模型部署
heromps·2024-01-14 16:39

【InternLM 大模型实战】第三课

搭建你的知识库大模型开发范式RAG（检索增强生成）FINETUNE（微调）LangChain简介构建向量数据库加载源文件文档分块文档向量化搭建知识库助手构建检索问答链RAG方案优化建议WebDemo部署动手实战InternLM模型部署安装环境模型下载
卖小麦←_←·2024-01-13 21:14

LangChain 68 LLM Deployment大语言模型部署方案

LangChain系列文章LangChain50深入理解LangChain表达式语言十三自定义pipeline函数LangChainExpressionLanguage(LCEL)LangChain51深入理解LangChain表达式语言十四自动修复配置RunnableConfigLangChainExpressionLanguage(LCEL)LangChain52深入理解LangChain表达
AI架构师易筋·2024-01-13 21:04

基于InternLM 和 LangChain 搭建你的知识库Demo

文章目录环境准备InternLM模型部署InternLM模型下载LangChain环境配置下载NLTK相关资源知识库搭建数据收集加载数据构建向量数据库脚本整合InternLM接入LangChain构建检索问答链加载向量数据库实例化自定义
爱科研的瞌睡虫·2024-01-13 13:19

【InternLM 大模型实战】第一课

书生·浦语大模型全链路开源体系前言环境背景开源历程开源模型应用从模型到应用全链条开源开放体系数据预训练微调高效微调框架XTuner评测OpenCompass开源评测平台架构部署LMdeploy大模型部署的全流程解决方案智能体轻量级智能体框架
卖小麦←_←·2024-01-13 13:02

TensorRT模型优化模型部署（七）--Quantization量化（PTQ and QAT)（二）

系列文章目录第一章TensorRT优化部署（一）–TensorRT和ONNX基础第二章TensorRT优化部署（二）–剖析ONNX架构第三章TensorRT优化部署（三）–ONNX注册算子第四章TensorRT模型优化部署（四）–Rooflinemodel第五章TensorRT模型优化部署（五）–模型优化部署重点注意第六章TensorRT模型优化部署（六）–Quantization量化基础（一）第
小豆包的小朋友0217·2024-01-13 08:56

YOLOv5模型转ONNX,ONNX转TensorRT Engine

ONNX转TensorRTEngine第三章TensorRT量化文章目录系列文章目录前言一、yolov5模型导出ONNX1.1工作机制1.2修改yolov5代码，输出ONNX二、TensorRT部署2.1模型部署
小豆包的小朋友0217·2024-01-13 08:27

轻量化的yolov8部署到安卓Android手机端

一、pytorch环境配置和yolov8源码安装首先在电脑上需要配置好pytorch环境，和yolov8源码的下载然后针对yolov8做自己的轻量化改进二、下载AndroidStudio和ncnn-android-yolov81
TracyGC·2024-01-13 08:52

李宏毅深度学习——卷积神经网络

卷积神经网络CNNCNN在图像处理中的应用图像分类：input：像素矩阵output：输出类别的向量大部分pattern比整张图片要小CNN的架构Convolution卷积计算：将卷积核与像素矩阵进行内积计算
migugu·2024-01-12 17:19

OpenShift 4 - 在 OpenShift 上运行物体检测 AI 应用

文章目录部署后端模型运行后端模型将后端模型部署为RE
dawnsky.liu·2024-01-12 11:33

yolov8n 瑞芯微RKNN和地平线Horizon芯片仿真测试部署，部署工程难度小、模型推理速度快

因为之前写了几篇yolov8模型部署的博文，存在两个问题：部署难度大、模型推理速度慢。该篇解决了这两个问题，且是全网部署难度最小、模型运行速度最快的部署方式。
山水无移·2024-01-12 09:13

MindSpore Serving基于昇腾910B实现大模型部署

一、WhyMindSporeServing大模型时代，作为一个开发人员更多的是关注一个大模型如何训练好、如何调整模型参数、如何才能得到一个更高的模型精度。而作为一个整体项目，只有项目落地才能有其真正的价值。那么如何才能够使得大模型实现落地？如何才能使大模型项目中的文件以app的形式呈现给用户？解决这个问题的一个组件就是Serving（服务），它主要解决的问题有：模型如何提交给服务；服务如何部署；服
Zain Lau·2024-01-12 01:23

Convert yolov8‐seg to ncnn model step by step

1.Convertpttoonnx$mkdirGithub&&cdGithub$gitclonehttps://github.com/ultralytics/ultralytics$cdultralytics$gitcheckoutb9b0fd8bf409c822b7fcb21d65722b242f5307fc$pipinstall-rrequirements.txt1.1Modifyforwar
Digital2Slave·2024-01-11 23:03

细说TensorRT C++模型部署2

相关文章:细说TensorRTC++部署1细说TensorRTC++部署3细说TensorRTC++部署4三推理阶段在引擎文件构建完成后,接下来是推理,几乎所有推理算法架构都可拆解为以下三个步骤:数据预处理数据推理推理结果后处理数据前后处理方法由所用的特定模型决定,但推理由算法架构编译的引擎决定,我们不必关心.以tensorRT为例,只需对推理引擎指定输入输出节点,然后推理,等待结果即可.固定的步
弈秋001·2024-01-11 20:59

深度学习模型部署TensorRT加速（十）：TensorRT部署分析与优化方案（一）

篇章十：TensorRT部署分析与优化方案目录前言：一、模型部署指标分析1.1FLOPS与TOPS1.2Rooflinemodel与计算密度1.3FP32/FP16/INT8/INT4/FP8参数二、模型部署的几大误区
咕哥·2024-01-11 19:58

深度学习模型部署TensorRT加速（十一）：TensorRT部署分析与优化方案（二）

下篇内容预告：深度学习模型部署OpenVINO加速一、TensorRT分析模型推理性能分析：使用工具如Tens
咕哥·2024-01-11 19:58

深度学习模型部署OpenVINO加速--OpenVINO部署YOLOv5,YOLOv7模型

目录前言：一、安装OpenVINO二、OpenVINO核心组件和运行流程三、OpenVINO部署案例四、OpenVINO部署YOLO案例总结：PS:纯粹为学习分享经验，不参与商用价值运作，若有侵权请及时联系！！！前言：OpenVINO工具套件全称是OpenVisualInference&NeuralNetworkOptimization，是Intel于2018年发布的，开源、商用免费、主要应用于计
咕哥·2024-01-11 19:58

深度学习模型部署TensorRT加速（九）：TensorRT部署TransFormer模型

下篇内容预告：深度学习模型部署TensorRT加速（十）：TensorRT部署分析与优化方案（一）前言：众所周知，transformer在很多计算机视觉领域的性能已经超过CNNS，例如目标检测中的DETR
咕哥·2024-01-11 19:57

深度学习模型部署TensorRT加速 ：并行处理与GPU架构

长期栏目提示：今天开始，作者将学习TensorRT的相关知识，并会做一个长期不定期更新的栏目，主打路线依然是自学笔记，欢迎大家关注，点赞和收藏。第一章是基础知识，可能会有些枯燥，耐心看完对后更新的一些内容有更好的理解！篇章一：并行处理与GPU架构并行处理串行处理与并行处理的区别常见的并行处理有哪些GPU的并行处理GPU和CPU的并行处理MemoryLatencyCPU的优化方式GPU特点总结和链接
咕哥·2024-01-11 19:56

AI嵌入式K210项目（1）-芯片开发板介绍

系列文章目录在人工智能大潮滚滚而来的时代，作为一个从事嵌入式行业多年的程序猿倍感焦虑，有被替代的焦虑，也有跟不上新技术步伐的无奈，本系列文章将介绍一个从硬件设计到ai训练、最后到模型部署的完整案例；第一阶段我将介绍使用
疯狂飙车的蜗牛·2024-01-11 16:16

改进的yolov5目标检测-yolov5替换骨干网络-yolo剪枝（TensorRT及NCNN部署）

YOLOv5改进点2022.10.30复现TPH-YOLOv52022.10.31完成替换backbone为Ghostnet2022.11.02完成替换backbone为Shufflenetv22022.11.05完成替换backbone为Mobilenetv3Small2022.11.10完成EagleEye对YOLOv5系列剪枝支持2022.11.14完成MQBench对YOLOv5系列量化支
阿利同学·2024-01-10 10:58

[笔记]书生·浦语大模型全链路开源体系

书生浦语大模型开源产品开源大模型系列大模型部署应用流程书生浦语全链条开源体系数据-预训练框架-微调框架-部署工具-测评工具-agent应用工具箱开源数据详细介绍预训练框架介绍微调框架介绍评测框架OpenCompass
贝利&桃子·2024-01-10 03:38

《书生.浦语大模型全链路开源体系》笔记

3、书生.浦语大模型部署的架构：模型支持量化、tritoninferenceserver,gradio。4、大模型驱动智能体：搭建不同模块的智能体框架，以大模型为核心，执行不同的动
hello zhenma·2024-01-10 03:37

【OpenVINO 】在 MacOS 上编译 OpenVINO C++ 项目

前言英特尔公司发行的模型部署工具OpenVINO™模型部署套件，可以实现在不同系统环境下运行，且发布的OpenVINO™2023最新版目前已经支持MacOS系统并同时支持在苹果M系列芯片上部署模型。
椒颜皮皮虾྅·2024-01-09 14:15

【书生·浦语大模型实战营02】《轻松玩转书生·浦语大模型趣味Demo》学习笔记

教程文档：《轻松玩转书生·浦语大模型趣味Demo·文档》致谢感谢助教MING·X的帮助～1、InternLM-Chat-7B智能对话：生成300字的小故事本节中我们将使用InternLM-Chat-7B模型部署一个智能对话
songyuc·2024-01-09 05:14

如何使用 Python、Node.js 和 Go 创建基于 YOLOv8 的对象检测 Web 服务

在本文中，将展示如何在不需要PyTorch和官方API的情况下使用YOLOv8模型，将模型部署在不同的端上，使得模型使用的资源减少十倍，并且不仅可以在Python上创建服务，还可以在Node.j
guohuang·2024-01-09 02:20

Pytorch 模型部署方案

TorchserveTorchserve是AWS和Facebook推出的pytorch模型服务库，整体架构如下torchserve架构图.png特点提供ManagementAPI和InferenceAPI，用户通过API进行模型管理和模型推理支持多模型，多GPU部署InferenceAPI支持批量推理支持模型版本控制提供日志服务，默认情况下，TorchServe将日志消息打印到stderr和sto
晓柒NLP与药物设计·2024-01-08 04:29

sigmoid softmax优化

1.前言最近在搞模型部署发现，推理速度不能满足我们需求，于是最近学习了优化算子技巧，学到了sigmoid，softmax算子优化，真的数学之美。
鲤鱼不懂·2024-01-07 22:40

树莓派4B使用ncnn部署yolov5-Lite，推理耗时 247ms 包含前后处理

一.引言最近在玩树莓派，想在树莓派上不是一个目标检测算法，大致看了一下，目前开源的大家都在使用yolov5-Lite，使用ncnn去推理加速，于是自己也尝试部署，在此记录一下，个人踩的坑。
鲤鱼不懂·2024-01-07 22:36

非工程师指南: 训练 LLaMA 2 聊天机器人

我们将以LLaMA2基础模型为例，在开源指令数据集上针对聊天场景对其进行微调，并将微调后的模型部署到一个可分享的聊天应用中。全程只需点击鼠标，即可轻松通往荣耀之路！为什么这很重要？
Hugging Face·2024-01-07 20:39

模型部署——onnx定义、读写和调试

概述神经网络本质上是一个计算图。计算图的节点是算子，边是参与运算的张量。而通过可视化ONNX模型，我们知道ONNX记录了所有算子节点的属性信息，并把参与运算的张量信息存储在算子节点的输入输出信息中。事实上，ONNX模型的结构可以用类图大致表示如下：如图所示，一个ONNX模型可以用ModelProto类表示。ModelProto包含了版本、创建者等日志信息，还包含了存储计算图结构的graph。Gra
令狐少侠、·2024-01-07 10:43

TensorRT优化部署（一）--TensorRT和ONNX基础

优化部署（一）–TensorRT和ONNX基础第二章TensorRT优化部署（二）–剖析ONNX架构第三章TensorRT优化部署（三）------ONNX注册算子文章目录TensorRT部署优化前言一、模型部署目的二
小豆包的小朋友0217·2024-01-07 10:07
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他