模型部署（tensorRT)

轻松玩转书生·浦语大模型internlm-demo 配置验证过程

helloworld/hello_world.md1.InternLM-Chat-7B智能对话Demo本小节我们将使用InternStudio中的A100(1/4)机器和InternLM-Chat-7B模型部署一个智能对话
cq99312254·2024-01-19 14:54

浦语·灵笔图文理解创作 Demo

本小节我们将使用InternStudio中的A100(1/4)*2机器和internlm-xcomposer-7b模型部署一个图文理解创作demo1.环境准备首先在InternStudio上选择A100
cq99312254·2024-01-19 14:54

【知识---如何利用TensorRT（NVIDIA Deep Learning Inference Library）引擎序列化为内存中的二进制数据流】

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言TensorRT的主要特点和功能案例总结前言TensorRT（TensorReal-Time）是由NVIDIA提供的用于深度学习推断的高性能推理库
fyc300·2024-01-19 14:54

开源模型应用落地-qwen模型小试-入门篇（四）

使用Gradio，我们可以快速地将模型部署为一
charles_vaez·2024-01-19 13:31

Multi Diffusion: Fusing Diffusion Paths for Controlled Image Generation——【论文笔记】

FusingDiffusionPathsforControlledImageGeneration一、Intorduction文本到图像生成模型已经具有合成高质量和多样化图像的能力，但是由于难以为用户提供对生成内容的直观控制，因此将文本到图像模型部署到现实世界的应用程序仍然具有挑战性
我是浮夸·2024-01-19 08:50

yolov8实战第六天——yolov8 TensorRT C++ 部署——（踩坑，平坑，保姆教程）

C++结合TensorRT部署深度学习模型有几个关键优势，这些优势在各种工业和商业应用中极其重要：高效的性能：TensorRT通过优化深度学习模型来提高推理速度，减少延迟。
学术菜鸟小晨·2024-01-19 07:00

大模型部署过程中需要注意的事项

部署大型语言模型是一个详尽且复杂的过程，需要开发者们具备深入的理解和精确的实施策略。以下是对各个开发步骤的简单介绍，欢迎各位开发者一起讨论交流。数据集的准备与处理在部署大型语言模型之前，首先需要准备一个广泛且多样化的数据集。这个数据集应该涵盖多个领域、不同风格和语境的文本数据，这样能确保模型全面学习并适应各种语言的表达。在数据集的准备过程中，数据清洗是一个关键环节，包括去除数据中的无关信息，例如错
英智未来·2024-01-19 01:51

Baichuan2百川模型部署的bug汇总

1.4bit的量化版本最好不要在Windows系统中运行，大概原因报错原因是bitsandbytes不支持window，bitsandbytes-windows目前仅支持8bit量化。2.报错原因是机器没有足够的内存和显存，offload_folder设置一个文件夹来保存那些离线加载到硬盘的权重。ag：需要再cli_demo.py的文件中增加offload_folder="offload"mode
lsf_007·2024-01-18 20:29

YOLOv8在NX上的tensorrt的加速部署（60帧率）

所需环境所有过程均可以参考本人所写的文章（1）虚拟环境工具MInforge3-Linux-aarch64Jetson平台都是RAM架构，平常的conda都是基于X86架构平台的。环境搭建参考文章（2）YOLOv8_ros代码，采用自己创建的yolov_ros代码。yolov8_ros参考文章（3）jetpack环境（本篇文章是jetpack5.1.2)jetpack升级参考文章#虚拟环境配置运行Y
书中藏着宇宙·2024-01-18 18:55

【TensorRT】DeviceToHost同步与异步拷贝的区别及带来的问题

cudaMemcpy与cudaMemcpyAsync的区别与问题cudaMemcpy与cudaMemcpyAsync的区别一、认识stream流二、tensorRT推理的常规流程三、遇到的问题四、引用与参考文献
澄鑫·2024-01-18 15:55

【TensorRT】c++使用面向对象来封装tensorRT推理代码的指针释放问题

使用类来封装智能指针创建的tensorRT推理engine，runtime，context一、代码框架二、问题以及分析一、代码框架初始化模型std::shared_ptrInstance::Init_Instance
澄鑫·2024-01-18 15:16

大模型学习第五课

学习目标：LMDeploy大模型量化部署实践学习内容：大模型部署背景LMDeploy简介动手实践环节学习时间：20240115学习产出：1，大模型部署背景模型部署定义，产品形态，计算设备大模型特点内存开销巨大
敲键盘的喵桑·2024-01-18 12:46

大模型内容分享(二十八)：mnn-llm: 大语言模型端侧CPU推理优化

目录背景模型导出模型部署性能优化性能测试总结与展望项目代码团队介绍背景在大型语言模型（LLM）领域的迅猛发展背景下，
之乎者也··2024-01-18 12:44

TensorRT部署-Windows环境配置

系列文章目录文章目录系列文章目录前言一、安装VisualStudio（2019）二、下载和安装nvidia显卡驱动三、下载CUDA四、下载安装cuDNN五、安装Anaconda六、TensorRT安装七
小豆包的小朋友0217·2024-01-18 07:07

大模型部署的方案

借着热点，简单聊聊大模型的部署方案，作为一个只搞过CV部署的算法工程师，在最近LLM逐渐改变生活的大背景下，猛然意识到LLM部署也是很重要的。大模型很火，而且确实有用（很多垂类场景可以针对去训练），并且和Vision结合的大模型也逐渐多了起来。所以怎么部署大模型是一个超级重要的工程问题，很多公司也在紧锣密鼓的搞着。目前效果最好讨论最多的开源实现就是LLAMA，所以我这里讨论的也是基于LLAMA的魔
人工智能与算法学习·2024-01-18 01:07

模型服务网格：云原生下的模型服务管理

模型服务网格的核心思想是将模型部署为可伸缩的服务，并通过网格来管理和路由这些服务,简化模型服务的管理和运维。它通过将模型服务抽象为可编排
阿里云云原生·2024-01-17 22:03

部署本地GPT

答：大模型部署在本地，你和GPT的聊天记录不会上传到互联网，上传的资料也在本地，所以数据绝对安全。问：WIN7的系统能安装装有道GPT吗？
崎山小鹿·2024-01-17 21:51

yolov5 主要流程

1.介绍本文包含了有关yolov5目标检测的基本流程，包括模型训练与模型部署，旨在帮助小伙伴们建立系统的认知YOLO是"Youonlylookonce"的首字母缩写，是一个开源软件工具，它具有实时检测特定图像中物体的高效能力
isserendipity·2024-01-17 17:47

机器学习系统或者SysML&DL笔记

在使用过TVM、TensorRT等优秀的机器学习编译优化系统以及Pytorch、Keras等深度学习框架后，总觉得有必要从理论上对这些系统进行一些分析，虽然说在实践中学习是最快最直接的(指哪儿打哪儿、不会哪儿查哪儿
AAI机器之心·2024-01-17 15:34

re:Invent 2023 技术上新｜使用 Amazon SageMaker 新工具和引导式工作流程快速打包和部署模型...

AmazonSageMaker现在推出了经过改进的模型部署体验，能够帮助您更快地部署传统的机器学习（ML）模型和基础模型（FM）。
亚马逊云开发者·2024-01-17 14:40

InternLM第5次课笔记

LMDeploy大模型量化部署实践1大模型部署背景2LMDeploy简介3动手实践环节https://github.com/InternLM/tutorial/blob/main/lmdeploy/lmdeploy.md3
Jamiechoi·2024-01-17 06:45

大模型学习之书生·浦语大模型5——基于LMDeploy大模型量化部署实践

目录大模型部署背景LMDeploy部署量化TurboMindAPIserver动手实践环节
uncle_ll·2024-01-17 05:00

【书生·浦语】大模型实战营——LMDeploy 大模型量化部署实战

大模型部署背景大模型部署是指将训练好的模型在特定的软硬件环境中启动的过程，使模型能够接收输入并返回预测结果。大模型的内存开销巨大，7B模型仅权重需要14G内存。
不想动脑筋的亮亮·2024-01-17 04:16

TensorRT模型优化部署 (八）--模型剪枝Pruning

系列文章目录第一章TensorRT优化部署（一）–TensorRT和ONNX基础第二章TensorRT优化部署（二）–剖析ONNX架构第三章TensorRT优化部署（三）–ONNX注册算子第四章TensorRT
小豆包的小朋友0217·2024-01-16 22:23

深度学习笔记（七）——基于Iris/MNIST数据集构建基础的分类网络算法实战

截图和程序部分引用自北京大学机器学习公开课认识网络的构建结构在神经网络的构建过程中，都避不开以下几个步骤：导入网络和依赖模块原始数据处理和清洗加载训练和测试数据构建网络结构，确定网络优化方法将数据送入网络进行训练，同时判断预测效果保存模型部署算法
絮沫·2024-01-16 08:49

Llama2部署、微调、集成Langchain过程记录

目录一、模型部署1.环境配置2.pip和conda源3.下载模型到本地4.下载并部署gradio5.使用gradio运行模型6.textgenerationwebui二、模型微调1.下载和预处理微调训练数据
GOozii1·2024-01-16 00:54

大模型听课笔记——书生·浦语（5）

LMDeploy的量化和部署1大模型部署简介模型部署：将训练好的模型在特定软硬件环境中启动的过程，使模型能够接受输入并返回结果。为了满足性能和效率的需求。
亲爱的阿基米德^·2024-01-15 21:13

基于深度学习的实例分割的Web应用

基于深度学习的实例分割的Web应用1.项目简介1.1模型部署1.2Web应用2.Web前端开发3.Web后端开发4.总结1.项目简介这是一个基于深度学习的实例分割Web应用的项目介绍。
OverlordDuke·2024-01-15 19:49

建模高手与初学者的差别在哪里？需要什么样的人来建模？

我们知道，数据挖掘的基本流程包括：（1）业务理解、（2）数据理解、（3）数据准备、（4）数据预处理和建模、（5）模型评估、（6）模型部署应用。
心宇gxy·2024-01-15 18:44

国产大模型LLM 魔搭社区|阿里云服务器部署

使用魔搭社区|阿里云进行大语言模型的服务器部署文章目录使用魔搭社区|阿里云进行大语言模型的服务器部署魔搭社区部署云端大模型开始搭建你的大语言模型找到模型服务选择模型部署方式选择函数计算（FC）部署模式PAI-EAS
八荒、·2024-01-15 15:25

Chatglm3-6B Chat/Base保姆级本地部署以及工具调用

国产大语言模型之光—Chatglm3-6BChat/Base保姆级本地部署以及工具调用文章目录国产大语言模型之光---Chatglm3-6BChat/Base保姆级本地部署以及工具调用开发背景硬件支持模型权重下载模型部署代码的准备依赖的安装模型的加载模型的推理单次对话模型调用命令行版模型多轮对话网页版模型多轮对话
八荒、·2024-01-15 15:24

yolov8seg 瑞芯微RKNN芯片、地平线Horizon芯片、TensorRT部署

  特别说明：参考官方开源的yolov8代码、瑞芯微官方文档、地平线的官方文档，如有侵权告知删，谢谢。  模型、测试图像、测试结果、完整代码，放在github上，参考链接模型和代码。  由于之前写了三篇yolov8检测部署板端芯片相关的博文，有网友让写一篇yolov8seg部署博客，一直迟迟未行动，最近忙中借闲匆匆对yolov8seg进行了梳理，尝试了对yolov8seg进行部署验证和仿真测试。总
山水无移·2024-01-15 15:51

DETR tensorRT 的 C++ 部署

DETRtensorRT的C++部署本篇说说DETRtensorRT的C++部署。
山水无移·2024-01-15 15:51

DETR tensorRT部署去除推理过程无用辅助头+fp16部署再次加速+解决转tensorrt 输出全为0问题的新方法

  特别说明：参考官方开源的DETR代码、TensorRT官方文档，如有侵权告知删，谢谢。  
山水无移·2024-01-15 15:51

Jetson AGX ORIN配置运行vins-fusion-gpu（Zed/D435）

1.配置Jetpack通过配置jetpack可以完成对cuda，cudann，TensorRT等基本环境的配置官网教程GettingStartedwithJetsonAGXOrinDeveloperKithttps
dueen1123·2024-01-15 14:59

人工智能让边缘计算更有价值!

LinkEdge的优势还体现在提升AI的实践效率，开发者可将深度学习的分析、训练过程放在云端，将生成的模型部署在边缘网关直接执行，优化良率、提升产能。另外
weixin_34056162·2024-01-15 10:02

LMDeploy 大模型量化部署实践

LMDeploy大模型量化部署实践大模型部署背景模型部署定义产品形态计算设备大模型特点大模型挑战大模型部署方案LMDeploy简介推理性能核心功能-量化核心功能-推理引擎TurboMind核心功能推理服务
桑_榆·2024-01-15 07:42

【书生·浦语】大模型实战营——第五课笔记

github.com/InternLM/tutorial/blob/main/lmdeploy/lmdeploy.md视频链接：https://www.bilibili.com/video/BV1iW4y1A77P大模型部署背景关于模型部署通常需要模型压缩和硬件加速大模型的特点
Horace_01·2024-01-14 19:03

大模型实战营Day5 LMDeploy大模型量化部署实践

模型部署定义产品形态计算设备大模型特点内存开销大动态shape结构简单部署挑战设备存储推理速度服务质量部署方案：技术点（模型并行transformer计算和访存优化低比特量化ContinuousBatchPageAttention
流浪德意志·2024-01-14 17:38

基于AidLux的工业视觉少样本缺陷检测实战应用

网站：http://aimo.aidlux.com/试用账号和密码：账号：AIMOTC001，密码：AIMOTC001上传模型选择目标平台参数设置选择自动转换转换结果并下载2.基于AidLux的语义分割模型部署
heromps·2024-01-14 16:39

TensorRT(C++)基础代码解析

TensorRT(C++)基础代码解析文章目录TensorRT(C++)基础代码解析前言一、TensorRT工作流程二、C++API2.1构建阶段2.1.1创建builder2.1.2创建网络定义2.1.3
小豆包的小朋友0217·2024-01-14 13:57

triton教程1：前言、安装、跑官方例子与推荐视频

之前部署使用过tensorrt+视频流硬解码+前后处理硬件（cuda）加速，已经是工业化、商业化的一套标准流程了，现在面临的挑战是：多模型管理（一个小公司所有算法工程师的模型推理都在我这）、多机多卡（如何统一调度
孤高丶逛侠·2024-01-14 11:40

【InternLM 大模型实战】第三课

搭建你的知识库大模型开发范式RAG（检索增强生成）FINETUNE（微调）LangChain简介构建向量数据库加载源文件文档分块文档向量化搭建知识库助手构建检索问答链RAG方案优化建议WebDemo部署动手实战InternLM模型部署安装环境模型下载
卖小麦←_←·2024-01-13 21:14

LangChain 68 LLM Deployment大语言模型部署方案

LangChain系列文章LangChain50深入理解LangChain表达式语言十三自定义pipeline函数LangChainExpressionLanguage(LCEL)LangChain51深入理解LangChain表达式语言十四自动修复配置RunnableConfigLangChainExpressionLanguage(LCEL)LangChain52深入理解LangChain表达
AI架构师易筋·2024-01-13 21:04

基于InternLM 和 LangChain 搭建你的知识库Demo

文章目录环境准备InternLM模型部署InternLM模型下载LangChain环境配置下载NLTK相关资源知识库搭建数据收集加载数据构建向量数据库脚本整合InternLM接入LangChain构建检索问答链加载向量数据库实例化自定义
爱科研的瞌睡虫·2024-01-13 13:19

【InternLM 大模型实战】第一课

书生·浦语大模型全链路开源体系前言环境背景开源历程开源模型应用从模型到应用全链条开源开放体系数据预训练微调高效微调框架XTuner评测OpenCompass开源评测平台架构部署LMdeploy大模型部署的全流程解决方案智能体轻量级智能体框架
卖小麦←_←·2024-01-13 13:02

TensorRT模型优化模型部署（七）--Quantization量化（PTQ and QAT)（二）

系列文章目录第一章TensorRT优化部署（一）–TensorRT和ONNX基础第二章TensorRT优化部署（二）–剖析ONNX架构第三章TensorRT优化部署（三）–ONNX注册算子第四章TensorRT
小豆包的小朋友0217·2024-01-13 08:56

TensorRT优化部署实战项目：YOLOv5人员检测

系列文章目录第一章YOLOv5模型训练集标注、训练流程第二章YOLOv5模型转ONNX,ONNX转TensorRTEngine第三章TensorRT量化文章目录系列文章目录前言一、配置深度学习环境二、YOLOv5
小豆包的小朋友0217·2024-01-13 08:55

TensorRT模型优化部署(四）--Roofline model

系列文章目录第一章TensorRT优化部署（一）–TensorRT和ONNX基础第二章TensorRT优化部署（二）–剖析ONNX架构第三章TensorRT优化部署（三）–ONNX注册算子第四章TensorRT
小豆包的小朋友0217·2024-01-13 08:25

TensorRT量化

系列文章目录第一章YOLOv5模型训练集标注、训练流程第二章YOLOv5模型转ONNX,ONNX转TensorRTEngine第三章TensorRT量化文章目录系列文章目录前言一、量化二、量化在TensorRT
小豆包的小朋友0217·2024-01-13 08:55
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他