深度学习模型推理加速第2页

AWS AppStream 2.0：开启云端应用交付新范式（实战解决方案剖析）

导言：数字化转型中的"最后一公里"挑战当企业加速上云进程时，CAD设计软件、财务系统等专业工具受制于终端性能、数据安全与跨平台难题。

AWS官方合作商·2025-03-10 09:06

RoPE——Transformer 的旋转位置编码

在自然语言处理领域，Transformer是现代深度学习模型的基础，而位置编码（PositionEmbedding）则是Transformer处理序列数据的关键模块之一。

机智的小神仙儿·2025-03-10 09:34

Process-based Self-Rewarding Language Models 论文简介

然而，传统的自奖励范式在数学推理任务中存在局限性，甚至可能在迭代训练中导致模型性能下降。

ZHOU_CAMP·2025-03-10 08:31

[arxiv论文解读]LlamaFactory：100+语言模型统一高效微调

下面是对文档内容的详细解释：摘要（Abstract）背景：大型语言模型（LLMs）在多种应用中展现了卓越的推理能力，但需要有效的微调方法来适应下游任务。问题：现有的高效微调方法缺乏一个系统化

强化学习曾小健·2025-03-10 07:22

Deepseek可以通过多种方式帮助CAD加速工作

脚本制作：利用Deepseek与CAD结合，可以制作脚本来加速工作流程。例如，使用Deepseek生成的以

蠟筆小新工程師·2025-03-10 07:18

开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势-Docker-OpenResty（三）

一、前言目前，大语言模型已升级至Qwen2.5版本。无论是语言模型还是多模态模型，均在大规模多语言和多模态数据上进行预训练，并通过高质量数据进行后期微调以贴近人类偏好。另外，使用Docker实现便捷测试成为一种高效的解决方案。通过将模型及其运行环境封装在Docker容器中，开发者可以确保模型在不同环境下的行为一致性，避免由于环境差异导致的不可预见的错误。Docker的轻量级特性使得测试可以迅速部署

开源技术探险家·2025-03-10 06:43

【vLLM 教程】使用 TPU 安装

vLLM是一款专为大语言模型推理加速而设计的框架，实现了KV缓存内存几乎零浪费，解决了内存管理瓶颈问题。

·2025-03-10 05:07

YOLOv7-Tiny：轻量化实时目标检测的革新实践

相比标准YOLOv7，其参数量减少约60%（仅6.02M），计算量降至13.2GFLOPs，在保持较高检测精度的同时，推理速度提升至68FPS（NVIDIAV100）。

追寻向上·2025-03-10 03:21

《DeepSeek-V3：动态温度调节算法，开启推理新境界！》

这项算法犹如一把神奇的钥匙，巧妙地开启了推理速度与精度动态平衡的大门，为大语言模型的发展开辟了新的道路。温度，在大语言模型的世界里，是一个极为关键的参数，它掌控着模型输出的随机性。

·2025-03-10 00:01

2024年最新PyTorch深度学习项目实战100例数据集_python 深度学习项目演练

本专栏适用人群：深度学习初学者，刚刚接触PyTorch的用户群体，专栏将具体讲解如何快速搭建深度学习模型用自己的数据集实现深度学习小项目，快速让新手小白能够对基于深度学习方法有个基本的框架认

2401_84585440·2025-03-09 22:08

使用DeepSeek来构建LangGraph Agent

随着DeepseekR1的发布，我们不得不把目光聚焦在这个能赶超多个顶流大模型的模型身上，它主要是其在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大提升了模型推理能力。

乔巴先生24·2025-03-09 21:59

《DeepSeek+Langchain落地实操:RAG知识增强检索和智能体实战开发》

它的设计理念在于简化和加速利用大型语言模型（LLM）和对话模型构建应用程序的过程。这个框架提供了一套全面的工具、组件和接口，旨在简化基于大型语言模型和对话模型的应用程序开发过程。

AI周红伟·2025-03-09 21:25

分布式计算入门（PySpark处理NASA服务器日志）

PySpark3.NASA服务器日志数据集介绍3.1数据背景3.2数据格式与挑战4.PySpark基础与分布式日志处理4.1PySpark基本架构4.2日志数据加载与解析4.3数据清洗与内存优化4.4GPU加速与

闲人编程·2025-03-09 19:16

科技早报 | B站崩了、小红书崩了上热搜；OpenSSH漏洞预警：无需用户交互，可提权至 root | 最新快讯

这一合作标志着双方将在量子技术与通信行业的深度融合上展开实质性合作，共同加速相关技术成果转化和市场拓展。消息称谷歌TensorG5芯片已流片，预计采用3nm制摘要：谷歌下一代Tens

最新科技快讯·2025-03-09 19:11

『大模型笔记』强烈推荐OpenAI官方：推理模型最佳实践！

AI大模型前沿研究·2025-03-09 18:56

人工智能引领技术革命：ChatGPT与深度学习的突破性进展

特别是在自然语言处理（NLP）领域，OpenAI的ChatGPT凭借深度学习技术的持续突破，展现了AI在理解、推理、对话生成等方面的惊人进步。

撒旦骑路西法，大战吕布·2025-03-09 16:42

使用 llama.cpp 框架进行 RWKV 模型的推理

欢迎来到RWKV推理文档的世界！在这里，我们将一起探索如何使用llama.cpp框架进行RWKV模型的推理，仿佛在进行一场科技的冒险之旅。准备好了吗？让我们一起揭开神秘的面纱吧！

步子哥·2025-03-09 16:39

Ubuntu下搭建本地的gogs(git管理工具)

Ubuntu下搭建本地的gogs(git管理工具)1.首先安装docker容器：sudoapt-getinstalldockerdocer-cedocker-engine2.docker配置镜像加速：镜像加速鉴于国内网络问题

太极__·2025-03-09 16:39

深入探索Deeplearning4j（DL4J）：Java深度学习的全面指南

DL4J支持多种深度学习模型，包括卷积神经网络（CNN）、循环神经网络（RNN）、长短期记忆网络（LSTM）等。自2014年首次发布以来，DL4J已经成为Java深度学习领域的

软件职业规划·2025-03-09 15:07

电机的声音数据进行AI分析

对电机的声音数据进行分析，尤其是当数据来源于加速度传感器时，涉及到的不仅仅是声音分析，还包含了振动分析。这类问题通常可以归类于机械故障诊断或预测性维护领域。

鹿屿二向箔·2025-03-09 15:06

【开题报告】基于Springboot+vue智能停车场管理系统（程序+源码+论文) 计算机毕业设计

系统程序文件列表开题报告内容研究背景随着城市化进程的加速，车辆数量急剧增加，停车难问题已成为各大城市面临的严峻挑战。

计算机程序_设计·2025-03-09 15:04

深度解析DeepSeek：从技术架构到实战应用

在2025年人工智能领域竞争白热化的今天，DeepSeek以其超低训练成本（仅为GPT-4o的1/20）和业界领先的推理能力，成为全球开发者关注的焦点。

YY...yy·2025-03-09 15:33

RustDesk开源远程桌面工具部署【图文详解】

目录1.服务端安装1.1服务器环境1.2安装docker1.3配置docker加速器1.4安装docker-compose2.客户端安装3.映射或防火墙配置4.客户端配置1.服务端安装1.1服务器环境[

岚天start·2025-03-09 13:49

【AI大模型应用开发】从CoT到ToT，再到ReAct，提升大模型推理能力的方式探索（含代码）

今天我们主要学习下当下提高大模型推理能力的几个主要技术，从CoT（ChainofThought）到TOT（TreeofThought），再到ReAct。

同学小张·2025-03-09 12:47

python搭建NPL模型的详细步骤和代码

****二、数据准备****三、文本预处理****1.清理文本****四、特征工程****1.TF-IDF****2.Word2Vec****五、搭建NLP模型****1.逻辑回归****2.LSTM深度学习模型

百锦再@新空间代码工作室·2025-03-09 11:33

DeepSeek R1-32B医疗大模型的完整微调实战分析（全码版）

单卡24GB│├──1.2软件依赖││├─PyTorch2.1.2+CUDA││└─Unsloth/ColossalAI│└──1.3模型加载│├─4bit量化加载│└─FlashAttention2加速

Allen_LVyingbo·2025-03-09 11:33

【DuodooTEKr 】多度科技以开源之力，驱动企业数字化转型

开源技术作为数字化转型的基石，不仅能打破技术壁垒、降低企业成本，更能通过协作创新加速产业智能化进程。

邹工转型手札·2025-03-09 10:00

kokoro 82M参数的声音模型kokoro-onnx，支持中文

kokoro大约是官网：github.comonnx推理官网：GitHub-thewh1teagle/kokoro-onnx:TTSwithkokoroandonnxruntime可以参考这个文档使用：

skywalk8163·2025-03-09 10:58

通领科技冲刺北交所

高质量增长奔赴产业新征程日前，通领科技已正式启动在北交所的IPO进程，期望借助资本市场的力量，加速技术升级，推动全球化战略布局。

FIN6668·2025-03-09 08:26

DeepSeek开源周：全面革新AI基础设施技术的盛宴

这些项目横跨计算优化、通信加速、并行策略、存储系统等多个关键维度，为AI领域的发展注入了强大的动力，引发了广泛的行业关注。

大刘讲IT·2025-03-09 06:54

深度解析SSD2351核心板：硬核视频处理+工业级可靠性设计

芯片技术细节：视频处理能力：IVE引擎支持高斯滤波、膨胀/腐蚀等图像预处理；IPU支持人脸识别、运动检测及Transformer网络推理；显示接口支持MIPIDSI2560x1600@60fps，适配工业

明远智睿嵌入式方案商·2025-03-09 05:16

分布式 IO ：开启垃圾分类机械臂自动化新篇章

随着城市化进程的加速和垃圾产生量的不断攀升，传统的人工垃圾分类方式面临着效率低下、成本高昂以及准确率难以保证等诸多挑战。

明达技术·2025-03-09 03:10

AI芯片概述-分类、应用、技术（APU、CPU、DPU、GPU、NPU和TPU）及厂家

二、AI芯片分类1.Training(训练)2.Inference(推理)三、AI芯片应用领域四、AI芯片技术路线五、APU、CPU、DPU、GPU、NPU和TPU六、AI芯片厂家一、AI芯片是什么？

一码当前·2025-03-09 00:27

物联网感知层常用感应设备

SensirionSHT4x系列光照传感器▸应用：智能路灯自动调光、植物工厂补光系统气体传感器▸类型：MQ-2（可燃气体）、CO₂传感器（如SenseAirK30）▸应用：化工厂安全监测、室内空气质量检测二、动态感知类加速度计

小赖同学啊·2025-03-09 00:25

开源订货系统哪个好三大订货系统源码推荐

在数字化转型加速的今天，企业对订货系统的需求日益增长。一款优质的订货系统源码不仅能提升供应链效率，还能通过二次开发满足个性化业务需求。

shangtao168·2025-03-09 00:54

Qwen1.5-7B-实现RAG应用详细步骤

PyTorch：用于运行深度学习模型。Transformers：HuggingFace提供的库，支持加载和运行预训练模型。FAISS：用于向量检索的高效库。

大数据追光猿·2025-03-08 23:01

中国团队发布通用型AI Agent产品Manus；GPT-4.5正式面向Plus用户推出；阿里发布并开源推理模型通义千问QwQ-32B...|游戏智眼日报

中国团队发布通用型AIAgent产品Manus，性能超越OpenAI日前，一支来自中国的团队正式对外发布通用型AIAgent产品Manus。据团队介绍，Manus在GAIA基准测试中取得了SOTA（State-of-the-Art）的成绩，显示其性能超越OpenAI的同层次大模型。从发布的视频演示来看，Manus在接到用户指令后可以直接操作电脑完成一系列报告撰写、表格制作等工作，并在最后导出符合用

游戏智眼·2025-03-08 22:11

(9-2)MM-Vet多模态大模型评估系统：项目架构

9.2项目架构MM-Vet的项目架构由多模态数据集、推理脚本和评估工具三部分构成，针对大模型的综合能力进行全面评估。

码农三叔·2025-03-08 21:35

镜像世界的崛起：视频孪生技术与动态三维重构如何改变行业格局

随着全球数字化转型加速，视频孪生技术正成为智慧城市、智能交通、安防监控和虚拟现实等领域的颠覆性力量。

云栖道人·2025-03-08 20:09

Jetson系列: tensorrt-python推理yolov5（一）

目录一.onnx模型导出二.TensorRT模型本地序列化三.算法整体Pipline架构四.算法整体Pipline实现一.onnx模型导出在使用tensorrt进行加速之前需要将自己的torch模型转为

weixin_55083979·2025-03-08 20:08

LLMs：LLMs大语言模型评估的简介(两标+六性+九维，大模型排行榜多种)，两类基准—通用任务的基准(单任务【BLEU/ROUGE-MT-Bench/Chatbot Arena】、多任务【Super

大语言模型评估的简介(两标(NLUGR指标/REBT)+六性(理解性+生成性{PPL}+多样性+泛化性+能耗性+可解释性)+九维(2大能力域【理解/生成】+3性【丰富性/多样性/适应性】+4大子任务【逻辑推理

一个处女座的程序猿·2025-03-08 19:54

新手必看！如何快速上手DeepSeek？

相较于其他AI直接给出答案，DeepSeek能显示它的完整逻辑推理，真的很“人”化！为了让更多朋友能够快速了解上手，因此，✅让DeepSeek帮我整合了它的使用指南，正好大家也能感受。

逆旅行天涯·2025-03-08 19:12

内容中台赋能数字化内容管理智能升级

智能元数据引擎架构解析现代智能元数据引擎通过三层模型实现数据治理的范式突破：底层采用动态本体建模技术，支持多源异构数据整合；中间层部署语义推理框架，结合知识图谱构建能力实现上下文感知；应用层则通过动态工作流配置驱动业务场景适配

清风徐徐de来·2025-03-08 19:40

DeepSeek + 沉浸式翻译打造智能翻译助手

需要申请APIKey支持与OpenAISDK兼容的调用方式可用模型deepseek-chat：已升级为DeepSeek-V3，通用对话模型deepseek-reasoner：最新推出的DeepSeek-R1推理模型调用示

世味煮成茶.·2025-03-08 19:34

【深度学习模型高效部署】tensorRT_Pro深度解读：部署深度学习模型的高效方案

以下内容将对tensorRT_Pro项目做一个系统的介绍，包括其核心价值、主要功能、应用案例以及关键的示例代码（附详细解释），帮助你快速了解并上手如何基于TensorRT在NVIDIAGPU上实现高性能推理

云博士的AI课堂·2025-03-08 18:50

使用docker来安装nacos

第一篇已经介绍了如何安装docker服务2.拉取nacos镜像2.1搜索有哪些nacos镜像>dockersearchnacos注意：此操作可能会出现无法从dockerhub获取镜像的问题，这时可以配置更多的加速镜像地址

一品_人生·2025-03-08 17:56

研究发现，LLM基于数据的内在含义进行表示，并以其主导语言推理

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！订阅：https://rengongzhineng.io/【本周AI新闻:Deepseek崛起背后：AI智能代理时代正式到来？】https://w

新加坡内哥谈技术·2025-03-08 16:21

YOLOv12改进策略【注意力机制篇】| 引入MobileNetv4中的Mobile MQA，轻量化注意力模块提高模型效率（二次改进A2C2f）

MobileNetv4中的MobileMQA模块是用于模型加速，减少内存访问的模块，相比其他全局的自注意力，其不仅加强了模型对全局信息的关注，同时也显著提高了模型效率。

Limiiiing·2025-03-08 15:21

主流低代码平台对比分析

一、引言随着数字化转型的加速推进，企业对于快速构建应用程序的需求日益增长。

阿三0404·2025-03-08 13:43

深度剖析QwQ模型：技术、应用与前景展望

研究背景与目的1.2研究意义1.3研究方法与创新点二、QwQ模型的基本概述2.1定义与概念2.2发展历程2.3模型架构与原理2.3.1整体架构2.3.2关键技术与原理三、QwQ模型的性能表现3.1数学推理能力

萧十一郎@·2025-03-08 13:59

推荐频道

深度学习模型推理加速