TensorRT开发教程

使用NVIDIA TensorRT-LLM支持CodeFuse-CodeLlama-34B上的int4量化和推理优化实践

本文首发于NVIDIA一、概述CodeFuse（https://github.com/codefuse-ai）是由蚂蚁集团开发的代码语言大模型，旨在支持整个软件开发生命周期，涵盖设计、需求、编码、测试、部署、运维等关键阶段。为了在下游任务上获得更好的精度，CodeFuse提出了多任务微调框架（MFTCoder），能够解决数据不平衡和不同收敛速度的问题。通过对比多个预训练基座模型的精度表现，我们发现
CodeFuse·2024-01-26 16:23

TensorRT-9.0和TensorRT-LLM马上要发布了！

作者|Oldpan编辑|oldpan博客点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群本文只做学术分享，如有侵权，联系删文TensorRT
自动驾驶之心·2024-01-26 16:52

TensorRT-LLM在CodeFuse-CodeLlama-34B上的int4量化实践

01概述本文档是利用TensorRT-LLM(earlyaccess)对CodeFuse-CodeLlama-34B进行int4量化的实践（注：TensorRT-LLM(GA)已发布）。
CodeFuse·2024-01-26 16:52

TensorRT-LLM Docker镜像制作

依赖：TensorRT9.1.0.4docker版本23.08步骤：1.宿主机联网，启动容器，容器内也要联网启动镜像的方法：2023-10-2609:07:57dockerrun--gpusall-it
美洲大蠊很顽强·2024-01-26 16:22

TensorRT-LLM的AutoDL部署

安装cudawgethttps://developer.download.nvidia.com/compute/cuda/12.2.1/local_installers/cuda_12.2.1_535.86.10_linux.runchmod+xchmod+xcuda_12.2.1_535.86.10_linux.run./cuda_12.2.1_535.86.10_linux.run安装cudn
wwwsctvcom·2024-01-26 16:21

Web 开发 6：Redis 缓存（Flask项目使用Redis并同时部署到Docker详细流程 附项目源码）

欢迎来到第六篇Web开发教程，今天我们将探讨一个非常重要的话题：Redis缓存。作为一个互联网开发者，你一定知道在处理大量请求时，性能优化是至关重要的。而Redis缓存正是帮助我们提升系统性能的利器。
jiet_h·2024-01-26 10:56

【TensorRT】关于8.6版本开始的硬件兼容性的一些试错

有关tensorRT8.6版本的硬件兼容性的笔记1、背景2、说明书解读3、api调用说明c++api说明1、背景在工业应用中，边缘端的部署通常需要发布到不同的硬件，在自己的电脑上生成的模型，往往会因为与其他设备的显卡型号不同架构不同的问题
澄鑫·2024-01-26 08:39

全网最全-DA14531-全球最小-BLE从入门到精通开发教程

下面是当前开发基于的版本名称说明SDK6.0.18.1182.1#本教程主要适用于低功耗产品，DA14531它体积小，非常适用于对体积敏感的设备，如无线可穿戴、传感器、助听器等设备。本文经过作者发大量时间来记录开发项目的调试方法，里面有许多笔者开发心得体会，旨在让读者工程师快速上手，减少摸索时间，提高软件质量。读者对象本文档主要适用以下工程师：嵌入式系统工程师单片机软件工程师IOT固件工程师
小武编程·2024-01-26 03:16

【微信小程序】-- 全局配置 -- window - 导航栏（十五）

所属专栏：【微信小程序开发教程】作  者：我是夜阑的狗个人简介：一个正在努力学技术的CV工程师，专注基础和实战分享，欢迎咨询！
我是夜阑的狗·2024-01-25 15:47

大语言模型推理提速：TensorRT-LLM 高性能推理实践

作者：顾静TensorRT-LLM如何提升LLM模型推理效率大型语言模型（Largelanguagemodels,LLM）是基于大量数据进行预训练的超大型深度学习模型。
阿里云云原生·2024-01-25 13:00

HarmonyOS4.0从零开始的开发教程08构建列表页面

HarmonyOS（六）构建列表页面List组件和Grid组件的使用简介在我们常用的手机应用中，经常会见到一些数据列表，如设置页面、通讯录、商品列表等。下图中两个页面都包含列表，“首页”页面中包含两个网格布局，“商城”页面中包含一个商品列表。上图中的列表中都包含一系列相同宽度的列表项，连续、多行呈现同类数据，例如图片和文本。常见的列表有线性列表（List列表）和网格布局（Grid列表）：为了帮助开
程序员沙蛙·2024-01-24 06:28

【UE5】数字孪生智慧城市全流程程序开发教程

课程介绍视频如下【UE5】数字孪生与智慧城市全流程程序开发教程（已完结）【谁适合学习这门课】本套课程面向初学者，满足学习需求包括但不仅限于以下：在校学生平时练习作业毕业设
飞起的猪·2024-01-23 07:47

TVM安装

为什么选择TVM为提升深度学习模型的推理效率，设备平台制造商针对自己的平台推出优化的推理引擎，例如NAVIDA的tensorRT，Intel的OpenVINO，Tencent针对移动端应用推出NCNN等
血_影·2024-01-23 06:20

TensorRT部署--Linux(Ubuntu)环境配置

系列文章目录TensorRT环境配置–Linux(Ubuntu)文章目录系列文章目录前言一、环境配置二、CUDA下载安装三、cuDNN下载安装四、TensorRT下载安装五、模型创建总结前言TensorRT
小豆包的小朋友0217·2024-01-23 06:04

yolov5 opencv dnn部署 github代码

yolov5opencvdnn部署github代码源码地址实现推理源码中作者的yolov5s.onnx推理条件python部署(因为python比较简单就直接介绍了)c++部署参考链接源码地址yolov5官网还提供的dnn、tensorrt
yuanjun0416·2024-01-23 04:17

yolov5 opencv dnn部署自己的模型

yolov5opencvdnn部署自己的模型github开源代码地址使用github源码结合自己导出的onnx模型推理自己的视频推理条件c++部署c++推理结果github开源代码地址yolov5官网还提供的dnn、tensorrt
yuanjun0416·2024-01-23 04:15

【STR文字识别项目】之 最新SOTA项目PARSeq（二）转TensorRT并用C++调用

前言续接上篇【STR文字识别项目】之最新SOTA项目PARSeq（一）训练自己的数据集，并转成onnx用C++调用准备环境Python3.10.9CUDA11.6CUDNN8.9.0TensorRT8.5.3.1
NPC里的玩家·2024-01-22 09:05

微信小程序地图定位开发教程

前言目前腾讯位置服务提供路线规划、地图选点、地铁图、城市选择器插件四款插件产品，本篇博客主要针对地图选点功能进行实现。开通腾讯位置服务1、进入微信公众平台2、登录进入小程序后台，选择“开发-开发工具-腾讯位置服务”image.png3、点击“开通”，进入授权扫码界面image.png4、使用微信扫码进行授权image.png5、绑定开发者账号image.png接入插件1、在小程序后台，选择“设置-
Mr船长大人·2024-01-22 07:07

C++小游戏视频及资料集（一）

C和C++游戏趣味编程(童晶)C和C++游戏趣味编程_哔哩哔哩_bilibiliC++游戏高级编程教程C++游戏高级编程教程_哔哩哔哩_bilibili【教程】斯坦福专用课程UE4&C++专业游戏开发教程
dllglvzhenfeng·2024-01-22 01:48

微信小程序开发（超详细保姆式教程）上

B站视频链接黑马程序员前端微信小程序开发教程，微信小程序从基础到发布全流程_企业级商城实战(含uni-app项目多端部署)_哔哩哔哩_bilibili二、起步1、组件1.1、小程序中
安全不再安全·2024-01-21 18:32

STM32Cube高效开发教程＜基础篇＞(十六)----CAN总线通信

本专栏博客参考《STM32Cube高效开发教程(基础篇)》，有意向的读者可以购买正版书籍辅助学习，本书籍由王维波老师、鄢志丹老师、王钊老师倾力打造，书籍内容干货满满。
致虚守静~归根复命·2024-01-21 16:39

安装tensorrt环境在linux上

在linux上输入命令bashcat/etc/os-release命令查看系统版本nvidia-smi命令后有内容弹出而没有报错,表明系统中安装了NVIDIA显卡驱动，并且该命令成功地显示了有关NVIDIAGPU的信息。输入nvcc-V并且看到输出时,这表明您的系统中已经安装了NVIDIA的CUDA工具包，并且该命令成功地显示了CUDA编译器版本的信息这里是租的ubuntu远程服务器gpu版本，所
bug生成中·2024-01-21 08:41

Android开发——添加图片

1、首先选择一张需要的图片，通过左侧的ResourceManage选择“+”并选择ImportDrawables选择一张图片并调整以下两个内容这两个内容的作用借用谷歌官方的Android开发教程的内容：
努力编程的阿曼·2024-01-21 06:47

基于AliOS Things Developer Kit开发板的外接传感器开发教程

基于AliOSThingsDeveloperKit开发板的外接传感器开发教程1.基于阿里云平台的家庭环境监测方案https://www.yuque.com/wongxming/iot-tech/udwl242
ivan_cloud·2024-01-21 05:28

【小白向】MMDeploy安装部署|暗坑标注版

文章目录序言正文1安装PPLCV2TensorRT环境相关3编译MMDeploy4编译SDK结束序言本文主要针对在编译安装OpenMMLab团队的MMDeploy模型部署工具时遇到的“难以下手”的问题。
早上真好·2024-01-20 22:22

tensorrtx-yolo版tensorrt环境安装

环境介绍Win10Cuda11.2Tensorrt8.6Visualstudio2019Opencv4.8Cmake3.17.1需要现在v5+tensorrx的源码https://github.com/
bug生成中·2024-01-20 10:51

Jetson AGX Orin安装Anaconda、Cuda、Cudnn

目录一、安装Anaconda二、conda换源三、Cuda、Cudnn安装四、jtop安装五、查看安装情况六、cuDNN环境配置七、pytorch安装八、安装torchvision九：Tensorrt安装拿到一台
盛世芳华·2024-01-20 07:28

YOLOv8-TensorRT C++ ubuntu部署

YOLOv8-TensorRTC++ubuntu20.04部署先要安装好显卡驱动、CUDA、CUDNN以ubuntu20.04、显卡1650安装470版本的显卡驱动、11.3版本的CUDA及8.2版本的
笨小古·2024-01-20 03:38

SAP UI5 Library Resource Bundle 的设计原理

SAPUI5应用开发教程之四十六-使用MessageManager实现开箱即用的验证(Validation)信息抛出本文介绍这个Enteranumber文本的数据来源。入口处：sa
JerryWang_汪子熙·2024-01-20 01:43

【知识---如何利用TensorRT（NVIDIA Deep Learning Inference Library）引擎序列化为内存中的二进制数据流】

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言TensorRT的主要特点和功能案例总结前言TensorRT（TensorReal-Time）是由NVIDIA提供的用于深度学习推断的高性能推理库
fyc300·2024-01-19 14:54

yolov8实战第六天——yolov8 TensorRT C++ 部署——（踩坑，平坑，保姆教程）

C++结合TensorRT部署深度学习模型有几个关键优势，这些优势在各种工业和商业应用中极其重要：高效的性能：TensorRT通过优化深度学习模型来提高推理速度，减少延迟。
学术菜鸟小晨·2024-01-19 07:00

SAP ABAP OData 服务如何支持创建(Create)操作试读版

正如本教程的开篇介绍文章SAPOData开发教程-从入门到提高(包含SEGW,RAP和CDP)所提到的，SAPOData服务开发，从实现技术上来说，可以分为三大类。
JerryWang_汪子熙·2024-01-19 01:46

全网最完整版 鸿蒙开发教程 HarmonyOS4.0【0基础教学视频】

内容含盖：①《鸿蒙开发基础》②《JS/TS开发语言基础》③《ArkTS语言精修》④《鸿蒙WebView应用开发》⑤《uni-app开发鸿蒙》⑥《初探鸿蒙开发》⑦《深入鸿蒙开发》⑧《HarmonyOS开发实战》传送门
软件测试狂阿沐·2024-01-18 23:44

YOLOv8在NX上的tensorrt的加速部署（60帧率）

所需环境所有过程均可以参考本人所写的文章（1）虚拟环境工具MInforge3-Linux-aarch64Jetson平台都是RAM架构，平常的conda都是基于X86架构平台的。环境搭建参考文章（2）YOLOv8_ros代码，采用自己创建的yolov_ros代码。yolov8_ros参考文章（3）jetpack环境（本篇文章是jetpack5.1.2)jetpack升级参考文章#虚拟环境配置运行Y
书中藏着宇宙·2024-01-18 18:55

【TensorRT】DeviceToHost同步与异步拷贝的区别及带来的问题

cudaMemcpy与cudaMemcpyAsync的区别与问题cudaMemcpy与cudaMemcpyAsync的区别一、认识stream流二、tensorRT推理的常规流程三、遇到的问题四、引用与参考文献
澄鑫·2024-01-18 15:55

【TensorRT】c++使用面向对象来封装tensorRT推理代码的指针释放问题

使用类来封装智能指针创建的tensorRT推理engine，runtime，context一、代码框架二、问题以及分析一、代码框架初始化模型std::shared_ptrInstance::Init_Instance
澄鑫·2024-01-18 15:16

爬虫逆向开发教程1-介绍，入门案例

爬虫前景在互联网的世界里，数据就是新时代的“黄金”。而爬虫，就是帮助我们淘金的“工具”。随着互联网的不断发展，数据量呈现指数级的增长，在数据为王的时代，有效的挖掘数据和利用，你会得到更多东西。学完爬虫你可以从事爬虫开发的工作，一个3-5年的爬虫工程师可以拿20k以上。相比Java，爬虫竞争少，好就业。同时你也可以做爬虫兼职，每月能挣个大几千。接下来我们正是学习爬虫。什么是爬虫？爬虫，顾名思义，就是
程序员丶Johnny·2024-01-18 11:37

树莓派超详细基础开发教程

树莓派基础开发详解欢迎访问我的博客sakuraの绘梨衣1硬件准备树莓派开发板TF卡一张USB数据线一根读卡器一个摄像头（非必须）2软件准备MobaXterm树莓派镜像烧录3烧录系统TF卡插入读卡器，读卡器接入电脑打开Raspberrypi烧录器，选择系统点击设置，设置主机名（默认为raspberrypi.local）勾选ssh配置，WiFi配置，注意，设置的WiFi必须和电脑连接的WiFi一致（处
绘梨衣吖·2024-01-18 09:11

TensorRT部署-Windows环境配置

系列文章目录文章目录系列文章目录前言一、安装VisualStudio（2019）二、下载和安装nvidia显卡驱动三、下载CUDA四、下载安装cuDNN五、安装Anaconda六、TensorRT安装七
小豆包的小朋友0217·2024-01-18 07:07

机器学习系统或者SysML&DL笔记

在使用过TVM、TensorRT等优秀的机器学习编译优化系统以及Pytorch、Keras等深度学习框架后，总觉得有必要从理论上对这些系统进行一些分析，虽然说在实践中学习是最快最直接的(指哪儿打哪儿、不会哪儿查哪儿
AAI机器之心·2024-01-17 15:34

1688api技术开发教程分享，阿里巴巴中国站获得1688商品详情，接口支持多语言高并发

通过接口该页面数据均可获取1688.item_get-获得1688商品详情公共参数名称类型必须描述keyString是调用key（必须以GET方式拼接在URL中）secretString是调用密钥api_nameString是API接口名称（包括在请求地址中）[item_search,item_get,item_search_shop等]cacheString否[yes,no]默认yes，将调用缓
一只专注api接口开发的技术猿·2024-01-17 11:38

SAP UI5 应用开发教程之一百零六 - 如何提高 SAP UI5 应用路由 url 的可读性

一套适合SAPUI5初学者循序渐进的学习教程作者简介JerryWang，2007年从电子科技大学计算机专业硕士毕业后加入SAP成都研究院工作至今。Jerry是SAP社区导师，SAP中国技术大使。在长达15年的SAP标准产品开发生涯里，Jerry曾经先后参与SAPBusinessByDesign,SAPCRM,SAPCloudforCustomer,SAPS/4HANA,SAPCommerceClo
JerryWang_汪子熙·2024-01-17 11:05

TensorRT模型优化部署 (八）--模型剪枝Pruning

系列文章目录第一章TensorRT优化部署（一）–TensorRT和ONNX基础第二章TensorRT优化部署（二）–剖析ONNX架构第三章TensorRT优化部署（三）–ONNX注册算子第四章TensorRT
小豆包的小朋友0217·2024-01-16 22:23

x-sheet 开发教程：初始化配置自定义布局

最新原文X-Sheet开发教程：初始化配置自定义布局配置小编在使用x-sheet过程中，总结出了一份相对比较全的配置清单，可以参考下。cons
openHacking·2024-01-16 20:55

【微信小程序】-- WXML 模板语法 - 数据绑定（九）

所属专栏：【微信小程序开发教程】作  者：我是夜阑的狗个人简介：一个正在努力学技术的CV工程师，专注基础和实战分享，欢迎咨询！
我是夜阑的狗·2024-01-16 10:57

【Chrome 插件开发】入门

Chrome插件开发目标录屏插件仓库文件说明pure_js是原生JS版本开发（学习）vue3_js是Vue3框架版本开发（UN）Chrome插件开发教程官方基础教程！！！
Sam9029·2024-01-16 08:22

yolov8seg 瑞芯微RKNN芯片、地平线Horizon芯片、TensorRT部署

  特别说明：参考官方开源的yolov8代码、瑞芯微官方文档、地平线的官方文档，如有侵权告知删，谢谢。  模型、测试图像、测试结果、完整代码，放在github上，参考链接模型和代码。  由于之前写了三篇yolov8检测部署板端芯片相关的博文，有网友让写一篇yolov8seg部署博客，一直迟迟未行动，最近忙中借闲匆匆对yolov8seg进行了梳理，尝试了对yolov8seg进行部署验证和仿真测试。总
山水无移·2024-01-15 15:51

DETR tensorRT 的 C++ 部署

DETRtensorRT的C++部署本篇说说DETRtensorRT的C++部署。
山水无移·2024-01-15 15:51

DETR tensorRT部署去除推理过程无用辅助头+fp16部署再次加速+解决转tensorrt 输出全为0问题的新方法

  特别说明：参考官方开源的DETR代码、TensorRT官方文档，如有侵权告知删，谢谢。  
山水无移·2024-01-15 15:51

Jetson AGX ORIN配置运行vins-fusion-gpu（Zed/D435）

1.配置Jetpack通过配置jetpack可以完成对cuda，cudann，TensorRT等基本环境的配置官网教程GettingStartedwithJetsonAGXOrinDeveloperKithttps
dueen1123·2024-01-15 14:59
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他