TensorRT推理加速第9页

DeepSeek开源周：面向大模型训练的三个工具包

这些工具包括DualPipe、EPLB以及Profile-data，它们分别从不同的角度解决了万亿参数模型训练中的算力瓶颈问题，为行业带来了前所未有的加速和效率提升。

花生糖@·2025-03-12 15:28

云原生服务网格：微服务通信的智能中

GoogleAnthos实现跨云服务治理统一，Envoy代理处理Cilium的eBPF加速提升70%吞吐。

桂月二二·2025-03-12 15:58

C++位运算：数据底层的二进制魔法

空间优化通过位掩码技术，可用单个整型变量存储32个布尔状态（每位代表一个状态）constintFLAG_A=1<<0;//00000001constintFLAG_B=1<<1;//00000010算法加速快速幂

卫青~护驾！·2025-03-12 14:26

【QwQ-32B-Preview】阿里通义QwQ登场MATH测试超OpenAI o1,开源AI推理新王,为数不多可以与OpenAI o1媲美的模型之一

阿里通义千问今天（11月28日）发布《QwQ:思忖未知之界》博文，推出了QwQ-32B-Preview实验性研究模型，在数学和编程领域，尤其在需要深度推理的复杂问题上，具备卓越的AI推理能力。

Yukuii_0v0·2025-03-12 14:26

DeepSeek开源第一弹！突破H800性能上限，FlashMLA重磅开源

FlashMLA通过优化MLA解码和分页KV缓存，能够提高LLM（大语言模型）推理效率，尤其是在H100/H800这样的高端GPU上发挥出极致性能。

开源项目精选·2025-03-12 14:54

微软的OmniParser简介

介绍AI代理可以通过一系列思维过程分解高度模糊的问题，类似于人类的推理，从而处理这些问题。这些代理可以使用各种工具（包括程序、API、网络搜索等）来执行任务并寻找解决方案。

RA AI衍生者训练营·2025-03-12 14:54

使用 PyOpenGL 进行 2D 图形渲染总结

在开发需要硬件加速且需要在不同平台上运行的复杂2D或3D应用程序时，它是首选平台。

无水先生·2025-03-12 12:14

在整个大模型LoRA微调中，哪些方法可以提升和优化模型训练后推理效果？

环境：LoRA微调问题描述：在整个大模型LoRA微调中，哪些方法可以提升和优化模型训练后推理效果？

玩人工智能的辣条哥·2025-03-12 11:38

从0到1入门Docker（七）配置国内加速器

配置国内加速器上篇文章内容是Docker引擎的安装，今天这篇文章来说一下配置国内加速器从0到1入门Docker（六）Docker引擎的安装_buhytbji的博客-CSDN博客学习Docker推荐大家可以看动力哥的视频

农夫山泉有点甜ye·2025-03-12 11:31

P1784 数独(搜索与回溯)

数独是根据9×9盘面上的已知数字，推理出所有剩余空格的数字，并满足每一行、每一列、每一个粗线宫内的数字均含1−9，不重复。

I AM_SUN·2025-03-12 10:59

从需求文档到测试点：基于 OCR 和智能接口的高效图片信息提取与分析

为了帮助测试工程师高效、精准地提取图片信息，并结合智能分析技术实现测试点推理，本文将分享一套完整的技术解

Python测试之道·2025-03-12 10:55

Oracle数据库深度优化实战指南：从SQL到架构的全维度调优

全表扫描灾难案例2.3绑定变量陷阱解决方案索引优化策略3.1索引失效七大场景3.2函数索引实战应用实例参数优化4.1内存管理核心参数4.2连接风暴抑制方案架构设计优化5.1分区表设计陷阱5.2物化视图加速案例统计信息管理

AAEllisonPang·2025-03-12 09:22

pytest-xdist 进行多进程并发测试！

为了加速测试过程，特别是对于一些可以并行执行的测试用例，pytest-xdist提供了一种强大的工具，可以在多个进程中并发运行测试，从而显著提高测试效率。

小码哥说测试·2025-03-12 09:19

AI系统架构

关键组成计算硬件GPU（如NVIDIAA100、H100）TPU（GoogleTensorProcessingUnit）NPU（如华为昇腾、寒武纪等）CPU（用于轻量级推理任务）

flying robot·2025-03-12 07:32

Faster R-CNN原理详解以及Pytorch实现模型训练与推理

阿_旭·2025-03-12 05:51

跳表的C语言实现

它通过引入多级索引来加速查找过程，类似于多级索引的有序链表。跳表的平均时间复杂度为O(logn)，在某些场景下可以替代平衡树。以下是跳表的基本实现思路和一个简单的C语言实现示例。

sekaii·2025-03-12 05:47

DeepSeek该选蒸馏版还是满血版

针对不同版本的DeepSeek，需要从多个维度综合分析：1.模型规模与基础能力671B模型在理论上具备更强的底层推理能力：更大参数量意味着更强的模式识别、逻辑推理和知识储备能力，尤其在跨领域、开放域任务中优势显著

飞翔的FOX·2025-03-12 04:35

【xinference部署大模型超详细教程 gemma-it为例子】

inference文档地址你的点赞和收藏是我持续分享优质内容的动力哦~加速source/etc/network_turbo#仅限autodl平台pipconfigsetglobal.index-urlhttps

放飞自我的Coder·2025-03-12 02:50

OPPO机器学习算法岗（AI智能体）内推

专注于以端设备为中心的AI智能体研究与应用，研究方向包括但不限于智能体与多智能体框架、大模型推理与规划、大模型工具使用等。

飞300·2025-03-11 23:19

人工智能混合编程实践：C++调用Python ONNX进行YOLOv8推理

人工智能混合编程实践：C++调用PythonONNX进行YOLOv8推理前言相关介绍Python简介C++简介ONNX简介YOLOv8简介前提条件实验环境项目结构C++调用PythonONNX进行YOLOv8

FriendshipT·2025-03-11 22:48

算力安全创新驱动未来趋势endofsentence

当前算力架构正经历从集中式向分布式演进，通过异构加速芯片、动态资源调度算法及绿色能效优化，显著提升算力基础设施的可扩展性与可靠性。

智能计算研究中心·2025-03-11 22:42

H800实战应用深度解析endofsentence

下表展示了H800在不同场景下的性能表现对比：场景类型训练速度提升推理延迟降低能效比提升自然语言处理35%22%40%计算机视觉28%18%33%推荐系统41%29%37%资深系统架构师指出："H800

智能计算研究中心·2025-03-11 22:12

DeepSeek高效AI创作成本革新endofsentence

其混合专家架构采用动态路由机制，实现参数利用率提升40%以上，在保持模型容量的同时将推理成本降低68%。在代码生成任务中，DeepSeekCoder在HumanEval基准测试中达到83.1%的准确

智能计算研究中心·2025-03-11 22:12

H100架构解析与性能优化策略

本文将从核心架构创新与典型场景调优两个维度展开：首先解析第三代TensorCore的稀疏计算加速机制、FP8混合精度支持特性及其对矩阵运算的优化效果；其次，针对显存子系统中HBM3堆栈布局、L2缓存分区策略以及数据预取算法的协同优化进行拆解

智能计算研究中心·2025-03-11 21:36

大模型全军覆没，中科院自动化所推出多图数学推理新基准 | CVPR 2025

关注前沿科技量子位挑战多图数学推理新基准，大模型直接全军覆没？！事情是这样的。

·2025-03-11 20:10

10 大中文医学数据集汇总：涵盖神农中医药、中医药古籍、医学推理、医学问答……

医疗人工智能的快速发展离不开高质量数据集的支持。从疾病诊断到药物研发，再到个性化医疗，数据集在推动机器视觉、大模型等应用于医学领域中发挥着不可或缺的作用。医学数据集的形式多样，涵盖了不同维度和领域的数据资源。例如，在疾病诊断领域，像RJUA-QA这样的问答数据集推动了复杂医学知识的自动化应用；而在中医药领域，神农中医药数据集整合了传统中医药文献、临床案例和药方数据。针对于此，本文整理了医学领域的1

·2025-03-11 20:07

【TVM教程】为 Mobile GPU 自动调优卷积网络

ApacheTVM是一个深度的深度学习编译框架，适用于CPU、GPU和各种机器学习加速芯片。

·2025-03-11 19:35

DeepSeek赋能机器人革命：从推理引擎到行业落地的全栈技术实践

——解析大模型如何重塑机器人产业的智能化未来引言：机器人产业的技术范式转移在2025年全球机器人市场规模突破2000亿美元的关键节点，DeepSeek凭借其创新的"推理优先"技术架构，正在重构机器人产业的智能化路径

量子纠缠BUG·2025-03-11 19:52

AI应用基于DJL开发WEB应用对鞋分类进行预测和推理------AI

packagecom.alatus.djl.app;importai.djl.MalformedModelException;importai.djl.translate.TranslateException;importcom.alatus.djl.service.InterferenceService;importcom.alatus.djl.service.TrainService;impo

旧约Alatus·2025-03-11 18:49

RoboVQA：机器人多模态长范围推理

本文提出一种可扩展、自下而上且本质多样化的数据收集方案，该方案可用于长期和中期的高级推理，与传统的狭窄自上而下的逐步收集相比，其吞吐量提高2.2倍。

三谷秋水·2025-03-11 18:49

我与DeepSeek读《大型网站技术架构》（3）

关键策略：前端优化：CDN加速静态资源、合并压缩JS/CSS、浏览器缓存。服务端优化：缓存（Redis/Memcached）、异步处理（消息队列）

诺亚凹凸曼·2025-03-11 18:11

如果，你想找 AI大模型相关的工作，这三个建议你一定要看！

01各种大厂小厂创业团队和AI擦边的面试难度，由难到简单，依次是：大模型算法（⭐⭐⭐⭐⭐）模型部署加速（⭐⭐⭐⭐）RAG等相关技术（⭐⭐⭐）纯应用（⭐⭐）Prompt工程师等其他自媒体（⭐）会简单应用就行

我爱学大模型·2025-03-11 14:45

HarmonyNext实战案例：基于ArkTS的高性能分布式机器学习应用开发

通过分布式机器学习，开发者可以充分利用多设备的计算资源，实现复杂模型的训练与推理。本文将深入探讨如何使用ArkTS12+语法开发一个高性能的分布式机器学习应用，涵盖从基础概念到高级技巧的全面讲解。

·2025-03-11 11:52

成功案例丨开发时间从1小时缩短到3分钟：如何利用历史数据训练AI模型，预测设计性能？

（以下简称Hero）致力于通过将人工智能（AI）和机器学习技术融入有限元分析（FEA）流程，以加速产品开发周期。

Altair澳汰尔·2025-03-11 11:45

Raspberry Pi图形组件深入解析与应用示例

此目录不仅定义了树莓派硬件优化的图形库和驱动，也提供了丰富的配置示例和具体实现方案，涵盖了从基础绘图、3D渲染到视频加速及窗口管理系统。

嵌入式Jerry·2025-03-11 11:14

如何在DigitalOcean的H100 GPU服务器上运行DeepSeek R1 模型

其中一个最关键的能力就是“推理”，也就是用合乎逻辑、讲得通的方式思考问题。以前，大语言模型的表现比较单一。

DO_Community·2025-03-11 10:44

基于llama_cpp 调用本地模型（llama）实现基本推理

零基础实践本地推理模型基本应用：基于llama_cpp的本地模型调用。本文先安装llama_cpppython库，再编写程序，利用其调用llama-2-7b-chat.Q4_K_M.ggu模型。

月光技术杂谈·2025-03-11 10:40

Python机器学习实战：构建序列到序列(Seq2Seq)模型处理翻译任务

Python机器学习实战：构建序列到序列(Seq2Seq)模型处理翻译任务1.背景介绍1.1问题的由来翻译是跨语言沟通的重要桥梁，随着全球化进程的加速，翻译需求日益增长。

AGI大模型与大数据研究院·2025-03-11 09:03

通过 Ollama 本地部署 DeepSeek-r1:1.5b 模型后，用 Python 调用推理并生成基于 pytest + PO 设计模式的 Playwright 自动化测试文件

Ollama提供的本地推理服务默认可通过HTTPAPI访问，地址通常为：ht

Python测试之道·2025-03-11 09:00

DeepSeek + Cline：编程如何加速引擎

DeepSeek与Cline的结合为编程工作流提供了显著的加速能力，这种组合通过AI辅助规划、代码生成与优化、实时调试等功能，大幅提升开发效率。

meisongqing·2025-03-11 08:58

OpenBayes 教程上新 | 性能比肩满血版 DeepSeek-R1，QwQ-32B 一键部署教程上线

上周，阿里云突发大招，强势开源了全新推理模型通义千问QwQ-32B。在多个关键基准测试上，其以32B的参数量，超越了OpenAI-o1-mini，比肩671B参数的满血版DeepSeek-R1。

·2025-03-11 07:43

Click Event Simulation：无需浏览器触发动态数据加载

利用多线程技术加速数据采集，提高效率。前置知识基本的Python编程知识HTTP协议与请求头、Cookie的概念多线程编程基础（如线程、队列的使用）代理IP的使用原理二、按步骤拆解操作1.环境准备

亿牛云爬虫专家·2025-03-11 06:10

llama.cpp框架下GGUF格式及量化参数全解析

前言：在人工智能领域，语言模型的高效部署和推理一直是研究热点。随着模型规模的不断扩大，如何在有限的硬件资源上实现快速、高效的推理，成为了一个关键问题。

Black_Rock_br·2025-03-11 06:40

AI 驱动的软件测试革命：从自动化到智能化的进阶之路

引言：软件测试的智能化转型浪潮在数字化转型加速的今天，软件产品的迭代速度与复杂度呈指数级增长。传统软件测试依赖人工编写用例、执行测试的模式，已难以应对快速交付与高质量要求的双重挑战。

綦枫Maple·2025-03-11 06:08

python mongo异步操作_让python调用mongo读写速度加速10倍的方法

1.把mongo读写封装成api2.在api初始化时保持数据库长链接；并且用线程每2分钟遍历一次所有的表并count一次importsysimporttimeimportpymongoimportjsonimportlogimporttracebackimportthreading//库名test，表名test_tableserver_list=['test-mongos.all.serv:636

weixin_39867125·2025-03-11 05:36

LLM论文笔记 20: How to think step-by-step: A mechanistic understanding of chain-of-thought reasoning

Arxiv日期：2024.5.16机构：IIT关键词CoT本质LLM推理本质核心结论1.CoT推理的功能组件尽管不同阶段的推理任务具有不同的推理需求，模型内部的功能组件几乎是相同的（共享而非独享）不同的神经算法实际上是由类似归纳头

Zhouqi_Hua·2025-03-11 03:10

C# Winform做动画卡顿怎么办？

Winform用的GDI+，像全屏动画这种卡的稀巴烂，任务管理器看进程如果GPU没动静那就是渣，没加速。可以使用OpenGL或者DirectX这样有GPU加速就不卡了。

肖无疾·2025-03-11 02:05

LLM Weekly（2025.02.17-02.23）

网络新闻Grok3Beta——推理代理的时代。Grok发布了Grok3Beta，通过强化学习、扩展计算和多模态理解提供卓越的推理能力。

UnknownBody·2025-03-11 01:59

《深度解析DeepSeek-M8：量子经典融合，重塑计算能效格局》

DeepSeek-M8的“量子神经网络混合架构”，宛如一把钥匙，开启了经典算法与量子计算协同推理的全新大门，为诸多复杂问题的解决提供了前所未有的思路。

程序猿阿伟·2025-03-11 01:56

vllm多卡部署Qwen2.5-72B-Instruct-GPTQ-Int4

双卡v10032G部署结果如下，推理时长16s3卡，tensor_parallel_size=3，tensor并行的数量一定要能被attentionheads整除4卡，tensor_parallel_size

Yanc_L·2025-03-10 20:54

推荐频道

TensorRT推理加速