tensorrt推理

Bengio新作Aaren：探索Transformer性能与RNN效率的融合

Aaren不仅能够并行训练，而且能够在推理时高效地更新新令牌，仅需要常数内存。实验表明，Aaren在四个流行的序列问题设置（强化学习、事件预测、时间序列分类和时间序列预测）的38个数据
AI记忆·2025-02-15 03:17

WhisperX：革命性的自动语音识别工具

该项目基于OpenAI的Whisper模型，通过引入批量推理、强制音素对齐和语音活动检测等技术，实现了高达70倍的实时转录速度，并提供了准确的单词级时间戳和说话人识别功能。Whis
孔秋宗Mora·2025-02-15 03:14

通义灵码全新上线模型选择功能，新增支持 DeepSeek-V3 和 DeepSeek-R1 模型

通义灵码能力再升级，支持推理模型选择今年1月，通义灵码AI程序员全面上线
阿里云云原生·2025-02-15 02:34

Deepseek到底有多牛？ChatGPT、DeepSeek等大语言模型助力科研应用

‌DeepSeek模型具有以下优势‌：‌●高性能推理能力‌：DeepSeek在推理能力上与国际领先的模型如OpenAI的GPT-4相媲美，能够解决复杂的数学难题、分析法律条文等‌。‌
小艳加油·2025-02-15 00:24

Kotlin 入门教程：基本数据类型

目录1.概览2.数据类型声明2.1显式类型声明2.2.隐式类型声明（类型推理）3.整型4.浮点数5.布尔值（Boolean）6.字符和字符串6.1字符（Char）6.2字符串（String）6.2.1声明
月入鱼饵·2025-02-14 23:50

一个AI应用的开发、上线流程解析

目录1.模型文件格式1.1CheckPoint(ckpt)文件格式1.2.pth文件格式1.3.mindir文件格式1.4.onnx文件格式2.推理（Inference）2.1.pth(PyTorch模型格式
終不似少年遊*·2025-02-14 17:03

DeepSeek从入门到精通：通用AI工具的技术实践指南

DeepSeek是一家专注于通用人工智能（AGI）的中国科技公司，其核心产品DeepSeek-R1是一个开源的推理模型，擅长处理复杂任务且支持免费商用。
星辰@Sea·2025-02-14 16:25

使⽤MATLAB进⾏⽬标检测

目录数据准备定义模型并训练用测试集评估性能推理过程⼀⾏代码查看⽹络结构⼀⾏代码转onnx结语⼈⽣苦短，我⽤MATLAB。
唐BiuBiu·2025-02-14 15:13

DeepSeek正重构人形机器人和具身大模型赛道！

中国人工智能公司DeepSeek（深度求索）以“低成本、高效率、强开放”的研发范式横空出世，火遍并震撼全球科技圈；DeepSeek展现出来的核心竞争力，除了低成本及推理能力，更重要的是开源模型能力追赶上了最新的闭源模型
Robot251·2025-02-14 10:38

大数据、云计算、人工智能等技术深度融合的智慧快消开源了。

基于多年的深度学习技术研究和业务应用为基础，集深度学习核心训练和推理框架、基础模型库、端到端开发套件、丰富的工具组件于一体，是中国首个自主研发、功能完备、开源开放的产业级深度学习平台。基
AI服务老曹·2025-02-14 10:37

tensorrt推理 onxx转engine代码（python），cyclegan网络推理（python、C++）

将onnx文件导出为engine，FP16格式​​importtensorrtastrtimportpycuda.driverascudaimportpycuda.autoinit#加载ONNX文件onnx_file_path
maobin_1·2025-02-14 10:04

模型实战（19）之 从头搭建yolov9环境+tensorrt部署+CUDA前处理 -＞ 实现目标检测

从头搭建yolov9环境+tensorrt部署实现目标检测yolov9虚拟环境搭建实现训练、推理与导出导出onnx并转为tensorrt模型Python\C++-trt实现推理，CUDA实现图像前处理文中将给出详细实现源码
明月醉窗台·2025-02-14 09:59

云原生AI Agent应用安全防护方案最佳实践（上）

当下，AIAgent代理是一种全新的构建动态和复杂业务场景工作流的方式，利用大语言模型（LLM）作为推理引擎。
佛州小李哥·2025-02-14 08:56

Ollama与Vllm使用对比与优劣

Ollama和vLLM是两个用于优化大型语言模型（LLM）推理的框架，它们在性能、资源利用率、部署复杂性等方面各有优劣。
魔王阿卡纳兹·2025-02-14 08:55

计算机视觉（Computer Vision，CV）四大基本任务--分类、检测、定位、分割

目标分割常用数据集常见网络结构前言计算机视觉（ComputerVision，CV）是一门研究如何让机器具备“看”的能力的学科，以人或动物的视觉能力为参照，通过计算机对视觉数据（图像、视频等）的处理、学习、推理判断
明月光舞·2025-02-14 05:29

DeepSeek与Web3：科技融合的新纪元

作为新一代LLM（大型语言模型），DeepSeek不仅在推理质量和成本上展现出优势，还重新定义了去中心化智能代理（AIAgent）的发展方向。
TechubNews·2025-02-14 04:25

华为 MindStudio 安装指南

它支持模型训练、推理、算子开发、性能优化等AI任务，并依赖CANN（ComputeArchitectureforNeuralNetworks）作为计算架构基础。
丰年稻香·2025-02-14 03:01

更上层楼！仅用2GB资源，让最火的DeepSeek-R1在本机上奔跑！

DeepSeek-R1模型的发布，让我们可以更好地使用开源大语言模型运行推理任务。现在，R1模型可以通过DeepSe
LinkTime_Cloud·2025-02-14 03:31

OpenAI 神话崩塌！DeepSeek-R1升至全球风格控制类第一，国内开源大模型集体给奥特曼上了一课！...

距离深度求索推理大模型DeepSeek-R1发布已经过去约一周时间。
LinkTime_Cloud·2025-02-14 03:31

【AI论文】OmniHuman-1: 重新思考一阶段条件式人体动画模型的扩展升级

为此，我们为这些混合条件引入了两种训练原则，以及相应的模型架构和推理策略。这些设计使OmniHuman能够充分利
东临碣石82·2025-02-13 23:06

【AI论文】使用大型推理模型进行竞技编程

摘要：我们的研究表明，将强化学习应用于大型语言模型（LLMs）能显著提升复杂编码和推理任务的性能。
东临碣石82·2025-02-13 23:06

自学人工智能大模型，满足7B模型的训练和微调以及推理，预算3万，如何选购电脑

在这个预算范围内，以下是推荐的配置：1.关键硬件配置(1)GPU(显卡)推荐显卡：NVIDIARTX4090(24GBVRAM)或者RTX3090（24GBVRAM）理由：7B模型推理：24GB显存足够跑
岁月的眸·2025-02-13 23:03

通义灵码全新上线模型选择功能，新增支持 DeepSeek-V3 和 DeepSeek-R1 模型

通义灵码能力再升级，支持推理模型选择今年1月，通义灵码AI程序员全面上线
TONGYI_Lingma·2025-02-13 22:54

【必看】凭啥？DeepSeek如何用1/179的训练成本干到GPT-4o 98%性能

尽管初期计算开销较大，但添加少量冷启动数据后，训练稳定性和模型推理能力大幅提升。此外，DeepSeek还采用了组相对策略优化（GRPO）算法替代
大F的智能小课·2025-02-13 21:51

DeepSeek R1：开启AI推理新时代，强在哪里？

DeepSeekR1：开启AI推理新时代阅读时长：19分钟发布时间：2025-02-13近日热文：全网最全的神经网络数学原理（代码和公式）直观解释欢迎关注知乎和公众号的专栏内容LLM架构专栏知乎LLM专栏知乎
·2025-02-13 20:19

DeepSeek使用手册，其中一份是清华大学出品

DeepSeek（深度求索）是一款由杭州深度求索人工智能基础技术研究有限公司开发的人工智能平台，专注于提供高效易用的AI模型训练与推理能力。
cpa007·2025-02-13 20:45

获取 OpenAI o1-preview/o1-Mini API key 进行 API 调用的详细教程

如何使用OpenAI推理模型：o1-preview/o1-Mini模型的API调用在快速发展的人工智能领域，OpenAI推出了o1系列模型（草莓），包括o1-preview和o1-Mini。
·2025-02-13 20:17

Tritonserver 在得物的最佳实践

一、Tritonserver介绍Tritonserver是Nvidia推出的基于GPU和CPU的在线推理服务解决方案，因其具有高性能的并发处理和支持几乎所有主流机器学习框架模型的特点，是目前云端的GPU
·2025-02-13 16:03

DeepSeek与Web3：科技融合的新纪元

作为新一代LLM（大型语言模型），DeepSeek不仅在推理质量和成本上展现出优势，还重新定义了去中心化智能代理（AIAgent）的发展方向。
·2025-02-13 15:02

AI 终极十问！DeepSeek 如何颠覆开发者认知？ | DeepSeek 十日谈

这类模型便被称之为推理模型，当下热议的DeepSeekR1以及之前OpenAI发布的o1都是典型的代表。以一个简单的数学问题为例，“如果一列火车以60英里每小时的速度行驶，行驶3小时后，它会走多远？”
AI科技大本营·2025-02-13 13:29

今晚直播，DeepSeek真的有意识了吗？｜DeepSeek十日谈

你是否惊讶于DeepSeek的分析过程，好奇它到底是「推理」还只是模拟人类思考的假象？这里不禁思考：AI是否真的有意识？
CSDN资讯·2025-02-13 13:27

张慧敏 | DeepSeek-R1是怎样炼成的？

原创张慧敏苇草智酷2025年02月01日12:12作者|张慧敏山西大学理论物理硕士、日本富山大学工学博士近日，中国新创AI公司DeepSeek发布了他们的推理模型DeepSeek-R1，引发了全球科技圈的震动
人机与认知实验室·2025-02-13 10:27

今日AI和商界事件(2025-02-08)

今日AI领域的重大事件主要包括以下几个方面：一、DeepSeek引发的行业震动事件概述：DeepSeek作为近期崛起的AI模型，以其低成本、高性能的推理能力引发了广泛关注。
LS_learner·2025-02-13 09:51

DeepSeek-V2 论文解读：混合专家架构的新突破

DeepSeek-V2:AStrong,Economical,andEfficientMixture-of-ExpertsLanguageModel目录一、引言二、模型架构（一）多头部潜在注意力（MLA）：重塑推理效率
进一步有进一步的欢喜·2025-02-13 09:49

硅基流动多模型工作流应用平台，免费2000万Token来了

硅基流动是一家专注于大规模AI计算的技术公司,提供高性能LLM推理和训练解决方案,助力企业高效部署AI应用。目前注册可获的2000万Token，可以使用将近60种文字对话、语音、图像生成等主流大模型。
yuntianming3906·2025-02-13 05:53

如何从零构建具身智能AI系统？

通过这份循序渐进的指南，学习构建能够独立感知、推理和行动的自主AI系统。在人工智能领域，具身智能AI系统正在重新定义自动化和决策流程。这些系统旨在自主运行，模仿人类的推理和行动能力。
硅基创想家·2025-02-13 05:53

DeepSeek 使用小技巧

目录前言DeepSeek简介DeepSeek的特点DeepSeek的功能DeepSeek的应用场景如何使用DeepSeekDeepSeek的推理模型推理模型与通用模型的对比快思慢想：效能兼顾全局视野提示语策略差异关键原则前言笔者此前也有更新一篇
終不似少年遊*·2025-02-13 01:20

学习系列二：常用目标检测的格式转换脚本文件txt,json等

labelme打的标签json格式转可训练的txt格式三、yolo的目标检测txt格式转coco数据集标签的json格式四、xml格式转yolo数据集标签的txt格式五、根据yolo的目标检测训练的最好权重推理图片六
小啊磊_Vv·2025-02-12 21:23

使用 Llama.cpp 和 llama-cpp-python 快速部署本地 LLM 模型

你将学到如何安装依赖、加载模型、调整参数以获得最佳性能，以及如何结合LangChain处理推理任务。
hgSdaegva·2025-02-12 20:16

DeepSeek-Ollama实现本地化无烦恼

它支持各种LLM运行器，如Ollama和OpenAI兼容的API，并内置了RAG推理引擎，使其成为强大的AI部署解决方案。star72
c_zyer·2025-02-12 20:11

DeepSeek模型架构及优化内容

为了优化推理成本.67B模型使⽤分组查询注意⼒（GQA）⽽不是传统的多头注意⼒（MHA）.超参数设置优化器：采⽤adam
开出南方的花·2025-02-12 19:39

如何在VSCode中免费使用DeepSeek R1：本地大模型编程助手全攻略

1.1开源的推理王者1.2性能实测对比二、三步搭建本地AI编程环境2.1硬件准备指南2.2三大部署方案详解方案一：LMStudio（新手友好）方案二：Ollama（Docker玩家首选）方案三：Jan（
tamak·2025-02-12 19:38

最通俗易懂的方式，由浅入深地讲讲DeepSeek（深度求索）

简单说，DeepSeek是一家专注做通用人工智能（AGI）的中国公司，目标就是让AI能像人类一样理解、推理、解决复杂问题。
Jing_saveSlave·2025-02-12 19:07

上海站 | 2025 Seeed x LeRobot 具身智能黑客松报名开启！

SeeedxLeRobot具身智能黑客松现邀请所有对在机器人领域训练模仿学习策略，并实时进行推理部署感兴趣的人，共同创造具有影响力的创新解决方案。
·2025-02-12 18:01

人工智能能否超过人类智能

论人工智能能否超过人类智能首先是智能的量纲问题：是逻辑、推理、抽象、想象、语言、情感、自我意识还是其它。
CaiGbro·2025-02-12 17:53

普惠AI 如何在 Anolis OS 8 上部署生产可用的 DeepSeek 推理服务

背景介绍DeepSeek-R1DeepSeek-R1在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大提升了模型推理能力。
·2025-02-12 17:52

DeepSeek-R1蒸馏技术：让小模型“继承”大模型的推理超能力

最近有不少朋友来询问Deepseek的核心技术，陆续针对DeepSeek-R1论文中的核心内容进行解读，并且用大家都能听懂的方式来解读。当大模型成为“老师”，小模型也能变“学霸”想象一下，一位经验丰富的数学老师（大模型）将自己解题的思维过程一步步拆解，手把手教给学生（小模型）。学生通过模仿老师的思路和技巧，最终也能独立解决复杂的题目——这就是“”模型蒸馏（Distillation）“”的核心思想。
马拉AI·2025-02-12 15:34

pytorch深度学习模型推理和部署、pytorch&ONNX&tensorRT模型转换以及python和C++版本部署

目录1.采用pytorch进行推理2.采用onnx进行推理2.1pytorch转换为onnx2.2onnx推理3.采用tensorrt进行推理（python环境）3.1onnx转engine文件3.2tensorrt
机械心·2025-02-12 10:40

OpenAI重磅更新：发布目前最强推理模型ChatGPT-o1，新鲜测试出炉，草莓快要成熟了

这次更新标志着OpenAI在人工智能推理能力上的重大突破，推出了其最新的大语言模型——o1-preview和o1-mini。这一更新揭开了已经预热接近一年的“Q*/草莓项目”的神秘面纱。
机械心·2025-02-12 10:39

昇腾，Ascend，NPU，mindie，镜像，部署vllm：第4篇，尝试多模态大模型部署（Qwen2-vl）

（当然是在昇腾环境下）提示：需要把这篇文章先看一遍昇腾，mindie，镜像，部署vllm：第2篇，启动mindieservice_daemon服务，支持对Qwen2.5的7B版本的推理提示：本文章的撰写思路是
几道之旅·2025-02-12 10:36
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他