triton

【Triton 教程】triton_language.arange

Triton是一种用于并行编程的语言和编译器。它旨在提供一个基于Python的编程环境，以高效编写自定义DNN计算内核，并能够在现代GPU硬件上以最大吞吐量运行。
·2025-06-17 12:44

【Triton 教程】triton_language.arange

Triton是一种用于并行编程的语言和编译器。它旨在提供一个基于Python的编程环境，以高效编写自定义DNN计算内核，并能够在现代GPU硬件上以最大吞吐量运行。
·2025-06-10 19:49

AI 编译器技术沙龙丨 AMD/北京大学/沐曦/上海创智齐聚北京，TVM/Triton/TileLang 各展所长

无论是已在业界广泛应用的TVM，还是近年来快速崛起的Triton，亦或是今年年初才崭露头角的算子编程语言TileLang，编译技术已不仅仅是让模型「跑得起来」的基本保障，同时也正在升级为支撑「高效执行与资源利用优化
·2025-06-10 19:17

【Triton 教程】triton_language.num_programs

Triton是一种用于并行编程的语言和编译器。它旨在提供一个基于Python的编程环境，以高效编写自定义DNN计算内核，并能够在现代GPU硬件上以最大吞吐量运行。
·2025-06-10 15:15

triton学习笔记3: 矩阵分块术

Puzzle10:TwoDimensionalConvolutionAbatched2Dconvolution.Usesoneprogramidaxis.BlocksizeB0representthebatchestoprocessoutofN0.ImagexissizeisHbyWwithonly1channel,andkernelkissizeKHbyKW...math::z_{i,j,l}=
·2025-06-03 14:53

triton学习笔记2: 循环优化术

Puzzles8:Longsoftmaxpuzzles8是计算batch的softmax，题目如下：Softmaxofabatchoflogits.Usesoneprogramblockaxis.BlocksizeB0representsthebatchofxoflengthN0.BlocklogitlengthT.ProcessitB1Float32[4,200]:x_max=x.max(1,k
·2025-05-30 13:16

facebook开源Triton编写GPU内核的编程模型速读：KernelLLM

KernelLLM一、引言KernelLLM是一个基于Llama3.1Instruct的大型语言模型，专为使用Triton编写GPU内核的任务而训练。
Open-source-AI·2025-05-24 13:06

AI编译器对比：TVM vs MLIR vs Triton在大模型部署中的工程选择

本文基于NVIDIAA100与GoogleTPUv4平台，通过BERT-base（110M）和GPT-2（1.5B）的实测数据，对比TVM、MLIR、Triton三大编译框架在动态shape支持、算子融合效率
学术猿之吻·2025-05-09 04:14

错误信息 ModuleNotFoundError: No module named ‘vllm._C‘解决方法（windows下暂未找到解决办法，待补充）

结合日志中的Triton警告，可能原因包括：•CUDA环境配置错误（版本不匹配或驱动异常）•vLLM安装时未正确编译C++扩展（常见于Windows系统）•
老兵发新帖·2025-05-07 13:09

windows的USB插拔事件日志

目的：セキュリティ強化_USB挿抜ログバッチファイル作成：監視機能↓WindowsでUSBを指す時にログ生成して出力するもの方案1：https://triton.casey.jp/portable/usblogview
小龍16·2025-05-05 14:43

tritonserver学习之九：tritonserver grpc异步模式

tritonserver学习之一：triton使用流程tritonserver学习之二：tritonserver编译tritonserver学习之三：tritonserver运行流程tritonserver
棉花糖_码农夜读·2025-05-03 09:01

《从GPT-4到“东数西算”：AI算力的全球格局与技术趋势》

例如OpenAI开源的Triton框架，通过自动优化GPU内核调度来逼近硬件峰值性能。
嘉图明·2025-04-30 05:09

triton 2.0.0 pip install失败

项目场景：triton==2.0.0pipinstall异常问题描述`ERROR:Couldnotfindaversionthatsatisfiestherequirementtriton==2.0.0ItriedPython3.10
CaoUp_40102716·2025-04-23 17:35

triton环境安装

一安装nvidia驱动基于centos7安装，曾经尝试了ubuntu16.04安装nvidia的驱动，发现非常麻烦，不推荐，推荐centos7安装，直接命令行就可以安装，相关教程可参考之间发布的博客二安装anaconda参考CentOS7安装Anaconda及简单配置_centosanaconda安装-CSDN博客https://blog.csdn.net/LJX_ahut/article/det
youzjuer·2025-04-23 15:51

【模型部署】使用onnxruntime部署yolo11n，提供fastapi接口

文章目录背景目录结构server.pyonnx_inference.pyDockerfile文件编写docker镜像构建运行并测试背景triton太臃肿，所以选择onnxruntime进行yolo模型部署
青春狗头少年不会梦到格温学姐·2025-04-22 04:12

贡献 Triton 算子库

1FlagGemsFlagGems是使用OpenAI推出的Triton编程语言实现的高性能通用算子库，旨在为大语言模型提供一系列可应用于PyTorch框架的算子，加速模型的推理与训练。
哦豁灬·2025-04-16 20:39

【5090d】配置运行和微调大模型所需基础环境【一】

Failedtoimporttransformers.integrations.bitsandbytesbecauseofthefollowingerror(lookuptoseeitstraceback):Nomodulenamed'triton.ops
Monee..·2025-04-13 21:53

AI日报 - 2025年3月8日

特斯拉机器人、xAI与Neuralink的终极计划▎商业动向|AMD发布Instella3B开源大模型，性能超越同类阿里巴巴发布START模型，股价上涨8.47%▎技术趋势|Tilelang内核代码性能超越Triton
訾博ZiBo·2025-04-08 12:23

[machine learning] Triton Server & TensorRT

一、TritonServer1.1架构介绍Triton是一个高性能的推理软件框架，它既支持GPU推理，又支持CPU推理，既能部署在server上，也能部署在端侧设备上。
进阶的小蜉蝣·2025-04-07 05:04

使用 AMD GPU 加速推理的投机采样

量化和蒸馏等压缩方法，以及诸如闪存注意力和Triton等硬件优化，已被提出在不同层面上减少计算成本。然而，这些方法要么在准确性上有所妥协，要么需要对模型实现进行重大改动。
109702008·2025-04-06 06:32

【Triton 教程】triton_language.num_programs

Triton是一种用于并行编程的语言和编译器。它旨在提供一个基于Python的编程环境，以高效编写自定义DNN计算内核，并能够在现代GPU硬件上以最大吞吐量运行。
HyperAI超神经·2025-03-27 08:38

Windows下安装triton

1、triton官方只支持Linux2、Windows下安装triton，只能通过whl安装，且必须使用严格对应python版本3、建议使用triton-windows的版本https://github.com
iearthshine·2025-02-23 13:56

python模块triton安装教程

Triton是一个用于高性能计算的开源库，特别适用于深度学习和科学计算。通过预编译的whl文件安装Triton可以简化安装过程，尤其是在编译时可能会遇到依赖问题的情况下。
2401_85863780·2025-02-15 21:40

Python｜Windows 系统安装 triton 的方法

问题现象若未安装，则在运行调用了该仓库的Python脚本时，会报错如下：ModuleNotFoundError:Nomodulenamed'triton'在Windows系统中，如果直接使用pip安装，
长行·2025-02-08 13:16

【Triton 教程】triton.autotune

Triton是一种用于并行编程的语言和编译器。它旨在提供一个基于Python的编程环境，以高效编写自定义DNN计算内核，并能够在现代GPU硬件上以最大吞吐量运行。
·2025-02-06 05:56

[python][whl]python模块triton的whl文件下载地址汇总

triton-2.0.0-cp310-cp310-win_amd64.whl下载地址：https://download.csdn.net/download/FL1623863129/88631360triton
Java后时代·2025-01-31 21:37

TorchServe环境构建+模型更新+新模型注册

接口调用3进阶功能3.1模型多版本管理3.2新模型注册1.背景由于技术路线调整，需求调整原本的模型推理服务——tensorflow-serving，经过初步调研，可替换的服务框架有：torchserve和triton
有来有去9527·2025-01-30 04:53

nvdia triton server运行pt文件

tritonserver默认都是tensorrt推理。但也会出现有操作不支持，导致无法转模型为engine的情况。可以选择直接运行pytorch的pt文件，以下为操作步骤。1.pytorch后端环境编译步骤原理是使用pytorchC++API运行pt文件模型。安装依赖项apt-getinstallpatchelfrapidjson-devpython3-dev构建NGC的PyTorch容器。例如，
滑稽的柴犬·2025-01-26 23:27

Windows 下安装 triton 教程

目录背景解决方法方法一：（治标不治本）方法二：（triton-windows）-安装MSVC和WindowsSDK-vcredist安装-whl安装-验证背景triton目前官方只有Linux版本，若未安装
yyywxk·2025-01-26 05:14

【过程记录】windows安装triton

windows安装triton记录问题原因解决办法问题在执行pipinstalltriton=2.0.0的时候遇到报错：没有对应的版本原因triton只适用于Linux操作系统，对于Windows不适用
靠才华吃土·2025-01-22 12:40

【Triton 教程】持久矩阵乘法 (Persistent Matmul)

Triton是一种用于并行编程的语言和编译器。它旨在提供一个基于Python的编程环境，以高效编写自定义DNN计算内核，并能够在现代GPU硬件上以最大吞吐量运行。
·2025-01-16 18:47

【大模型】triton inference server

前言：tritoninferenceserver常用于大模型部署，可以采用http或GRPC调用，支持大部分的backend，单GPU、多GPU都可以支持，CPU也支持。本文主要是使用tritoninferenceserver部署大模型的简单流程示例。目录1.整体流程2.搭建本地仓库3.服务端代码4.启动服务5.客户端调用1.整体流程搭建模型仓库模型配置服务端调用代码docker启动服务客户端调用
idiotyi·2024-09-15 05:47

PyTorch官方免CUDA加速推理，Triton时代要来？

但其他一些工作的出现正在向CUDA发起挑战，比如OpenAI推出的Triton，它在可用性、内存开销、AI编译器堆栈构建等方面具有一定的优势
诗者才子酒中仙·2024-09-14 04:56

windows系统下配置Mamba环境

我用的是visualstudio20191.在windows下构建Mamba使用环境：condacreate-nmambapython=3.10condaactivatemamba注：Mamba需要triton
ls077·2024-09-10 15:53

深度学习部署：Triton（Triton inference server）【旧称：TensorRT serving，专门针对TensorRT设计的服务器框架，后来变为Triton，支持其他推理后端】

triton作为一个NVIDIA开源的商用级别的服务框架，个人认为很好用而且很稳定，API接口的变化也不大，我从2020年的20.06切换到2022年的22.06，两个大版本切换，一些涉及到代码的工程变动很少
u013250861·2024-09-10 03:09

Linux 环境下本地测试stable diffusion v2.1出错

从huggingface上，把stabeldiffusion装到本地linux上面时，遇到三个错误：一、ErrorcaughtWas:Nomodulenamed"triton"直接安装也出错Errorcaughtwas
Branton_Zhenyuan·2024-02-12 10:45

wespeaker项目grpc-java客户端开发

非常重要的原始参考资料：链接:triton-inference-server/clientgithub/grpcjavaps：使用grpc协议的其它项目python/go可以参考github目录client
weixin_43870390·2024-02-07 03:18

tritonserver学习之一：triton使用流程

：tritonserver编译tritonserver学习之三：tritonserver运行流程tritonserver学习之四：命令行解析tritonserver学习之五：backend实现机制1、triton
liupenglove·2024-01-25 04:03

tritonserver学习之二：tritonserver编译

tritonserver学习之一：triton使用流程tritonserver学习之三：tritonserver运行流程tritonserver学习之四：命令行解析过程tritonserver学习之五：
liupenglove·2024-01-25 04:03

tritonserver学习之三：tritonserver运行流程

tritonserver学习之一：triton使用流程tritonserver学习之二：tritonserver编译tritonserver学习之四：命令行解析tritonserver学习之五：backend
liupenglove·2024-01-25 04:03

tritonserver学习之五：backend实现机制

tritonserver学习之一：triton使用流程tritonserver学习之二：tritonserver编译tritonserver学习之三：tritonserver运行流程tritonserver
liupenglove·2024-01-25 04:00

【BBuf的CUDA笔记】十三，OpenAI Triton 入门笔记一

0x0.前言2023年很多mlsys工作都是基于Triton来完成或者提供了Triton实现版本，比如现在令人熟知的FlashAttention，大模型推理框架lightllm，diffusion第三方加速库
just_sort·2024-01-23 13:27

triton教程2：跑resnet50

一、前言不知从何时起，resnet50就成了很多场景下的basemodel，以后我们想要在triton-server部署我们自己研发的模型，那么咱就可以从部署resnet50开始。二、
孤高丶逛侠·2024-01-14 11:13

triton教程1：前言、安装、跑官方例子与推荐视频

一、为啥用triton？
孤高丶逛侠·2024-01-14 11:40

Triton Inference Serve调研

1TritonInferenceServe简介Tritoninferenceserve是NVIDA开源的推理框架，官网TritonInferenceServer，具有如下特点：支持常见深度学习框架导出模型的推理，如TensorRT,TensorFlowGraphDef,TensorFlowSavedModel,ONNX,PyTorchTorchScriptandOpenVINO等格式。支持机器学习
georgeguo·2023-12-29 19:46

Triton + HF + Qwen 推理经验总结

1.简介Triton介绍参考：GitHub-triton-inference-server/tutorials:ThisrepositorycontainstutorialsandexamplesforTritonInferenceServer2
Charles_yy·2023-12-21 21:59

深度学习部署架构：以 Triton Inference Server（TensorRT）为例

什么是模型部署？模型训练只是DeepLearning的一小部分，如《HiddenTechnicalDebtinMachineLearningSystems》机器学习系统的技术债书中所说。现有几种搭建框架：Python：TF+Flask+Funicorn+NginxFrameWork：TFserving，TorchServe，ONNXRuntimeIntel：OpenVINO，NVNN，QNNPAC
禅与计算机程序设计艺术·2023-12-18 05:03

科研汪的日常 03 混乱

WesternBlot，再到切片和免疫荧光染片，刚开始还能记得清要用的东西放在了哪里，也记得清WesternBlot是用TBST(TBS+Tween20)来进行清洗，免疫荧光染片是用PBST(PBS+Triton
007木子·2023-11-27 04:46

Nautilus Chain 现已推出测试网“Triton ”，有哪些潜在的机会？

NautilusChain是ZebecChian的先行链，从特点上看，作为领先的EVM扩展解决方案，它是Web3中最快的EVM环境，将Solana的速度与以太坊的可靠性和分散性结合起来。NautilusChain也从VitalikButerin设计的L3视野出发，L2可以通过批处理交易来帮助扩展以太坊等L1链，从而分离共识层和执行层。NautilusChain作为一个L3链，将这一原理提升到更高的
金马1988·2023-10-22 00:49

Triton部署mmdeploy导出的TensorRT模型失败篇

Tritondemogitclone-br22.06https://github.com/triton-inference-server/server.gitcdserver/docs/examples
gy-7·2023-10-17 21:29
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他