GPU推理加速第3页

wordpress使用CorePress主题设置项总结

宝塔面板设置软件商店中安装的软件有：（宝塔网站加速3.1）（Nginx1.18.0）（MySql5.6.50）（PHP-5.6）（phpMyAdmin4.4）（Python项目管理器1.9）（又拍云存储

linlinlove2·2025-03-01 13:07

AI大模型-提示工程学习笔记21-图提示 (Graph Prompting)

1.图提示的核心思想(1)传统提示的局限性(2)GraphPrompting的解决方案2.GraphPrompting的工作流程(1)图构建(2)图选择/子图提取(3)图编码(4)提示构建(5)LLM推理与生成

9命怪猫·2025-03-01 12:30

单卡挑战千亿模型！深度求索MoE架构实战指南：从理论到开源工具全解析

引言：为什么需要单GPU训练千亿参数模型？随着大模型参数规模突破千亿级别，训练成本与算力需求呈指数级增长。传统密集架构（DenseModel）在单卡训练中面临显存不足、计算效率低等问题。

小诸葛IT课堂·2025-03-01 11:27

开源AI：驱动人工智能发展的新引擎

开源的现状与规模三、AI开源对技术创新的推动3.1促进技术交流与共享3.2降低技术研发成本3.3提高技术透明度与可解释性3.4案例分析：以DeepSeek为例四、AI开源对产业发展的影响4.1重塑产业竞争格局4.2加速产业应用落地

萧十一郎@·2025-03-01 11:50

苹果AI功能，GPU内存瓶颈，大气预测模型，Chrome内置Gemini

智源社区刚刚！苹果发布AppleIntelligence，官宣免费接入ChatGPT，Siri迎来重磅更新大模型竞速赛鸣枪开跑后，苹果似乎已经脱离了第一梯队，曾经的行业风向标并没有像其他大厂那样频繁地宣讲AI，加之缺乏能够参与竞争的「明星产品」，其一度被贴上了「落后」的标签。但其实熟悉苹果的网友都知道，这是一家「重落地」的公司，更加擅长的是把创新技术工程化，实现「工程创新」。也正因如此，在生成式A

一支烟一朵花·2025-03-01 08:59

Ubuntu+GPU+python编程环境

本文安装之前，参考了如下链接的大体思路：https://blog.csdn.net/rogerchen1983/article/details/90272877不过中间还是遇到一些小问题，花了点时间都解决掉了。(1)Ubuntu系统这次安装Ubuntu的时候，最新版本是20.04，当然要安装最新的了，不过由于要对双系统作出分区安排，还是花了一些时间整理windows下的资料，腾出干净的空间出来。然

liwenkaitop·2025-03-01 07:25

计算机视觉与机器学习之文档解析与向量化技术加速多模态大模型训练与应用——文件向量化大模型！

目录前言1、TextIn文档解析技术1.1、文档解析技术1.2、目前存在的问题1.2.1、不规则的文档信息示例1.3、合合信息的文档解析1.3.1、合合信息的TextIn文档解析技术架构1.3.2、版面分析关键技术Layout-engine1.3.3、文档树提取关键技术Catalog-engine1.3.4、双栏1.3.5、非对称双栏1.3.6、双栏+表格1.3.7、无线表格1.3.8、合并单元格

知世不是芝士·2025-03-01 04:57

Amazon SageMaker 批量转换中的 JSON 处理技巧

背景介绍AmazonSageMaker提供了强大的批量转换功能，允许我们对大量数据进行推理。这在处理大规模数据集时非常有用。然而，当我们尝试将批量策略从SingleRecord切换到MultiRec

t0_54coder·2025-03-01 03:50

人类驾驶的人脑两种判断模式（反射和预判）--＞自动驾驶两种AI模式

另一种模式是物理时空图式推理模式，判断是基于预判预测，人脑把物理世界的物理动态时空规则（规律）图像已经编码为脑内符号（语言或图式）系统，通过预判预测的思维链推理过程（语言符号或物理时空图式的推理运算，映射推理出了物理世界的后续时空图像

liron71·2025-03-01 02:14

DeepSeek技术全景解析：架构创新与行业差异化竞争力

深度优化的MoE架构：结合256个路由专家与1个共享专家，实现稀疏激活机制（每个Token仅激活8个专家），在代码生成任务中推理速度提升40%。混合模态支持：支持文本、代码、数学符号

二进制coder·2025-03-01 01:40

DeepSeek入门：安装与配置

，以下是不同版本的硬件要求：DeepSeek-R1-1.5B：CPU：最低4核（推荐Intel/AMD多核处理器）内存：8GB+硬盘：3GB+存储空间（模型文件约1.5-2GB）显卡：非必需（纯CPU推理

梦落青云·2025-03-01 01:08

大模型研究：DeepSeek三个版本（初级中级高级）资源要求说明

DeepSeek-LLM6.7B三个版本模型所需硬件资源的介绍：DeepSeek-LLM6.7B最小最基础版本1.内存（RAM）非量化运行时，由于模型参数数量相对较少，大约需要13GB-14GB的系统内存来加载模型和进行基本推理

程序猿学长·2025-03-01 01:08

DeepSeek 最新发布 DeepEP：一款用于 MoE 模型训练和推理的开源 EP 通信库

然而，这种方法也引入了一些挑战，尤其是在GPU之间的通信方面。在MoE模型中，对于任何给定的token，只有一部分专家是活跃的，因此在设备之间高效地交换数据至关重要。

强哥之神·2025-03-01 01:37

一文了解：部署 Deepseek 各版本的硬件要求

我们先看一下DeepSeek的部分通用版本（如下图），然后再介绍一下最近火热的R1推理版本的各规格的硬件要求。最后，会给出R1的各主流版本的资源参考列表（文末）。模型名参数大小文件格式标签公司

强哥之神·2025-03-01 00:04

继清华大学DeepSeek资料后，北京大学也出了内容主攻提示词和应用场景

以下是文件的主要内容摘要：1.DeepSeek-R1模型详解技术特性：DeepSeek-R1是一款专注于复杂推理任务的推理模型，擅长数学、编程和自然语言推理任务。

心灵宝贝·2025-03-01 00:04

MySQL索引全面解析：从原理到实战，一文掌握高效查询的终极秘籍

引言MySQL索引是数据库性能优化的核心武器，但许多开发者对索引的理解仅停留在“加速查询”的层面。你是否遇到过以下问题？明明加了索引，查询依然慢如蜗牛？

小诸葛IT课堂·2025-03-01 00:03

2025 AI展望：Scaling Law新叙事加速AI变革

我们正身处一场技术革命的历史开端，以ChatGPT为标志的这轮AI科技浪潮是算法和软件诞生以来人类科技最重要的技术变革，由此开启了以智能为核心的第四次工业革命。这次AI变革是由以ScalingLaw为底层逻辑的基础模型驱动，其整体的发展脉络由基础模型的技术逻辑主导。进入2025年，我们清晰地看到，ScalingLaw本身仍然成立，但以堆算力以及一味追求扩大模型尺寸的迭代路径已经被打破。同时，基础模

阿里巴巴淘系技术团队官网博客·2025-02-28 23:25

谁说消费级硬件不能玩 DeepSeek - R1 微调？手把手教你进阶AI玩家

一、大规模人工智能模型的微调DeepSeek最新的R1模型在推理性能方面树立了新的标杆，在保持开源的同时，可与专有模型相媲美。DeepSeek-R1的蒸

硅基创想家·2025-02-28 22:51

谈谈DeepSeek-v3在算力约束下的出色工作

谈谈DeepSeek-v3在算力约束下的出色工作原创渣Bzartbot2024年12月28日22:52上海寒冷的周末,加完班挤点时间读个论文吧.Deepseek-v3仅用了2048块H800GPU就超越了

强化学习曾小健·2025-02-28 22:19

Anaconda配置tensorflow-gpu教程

最近在入门tensorflow深度学习，配置环境吃了不少苦头，写个完整的教程首先得在自己主机上装cuda（我之前就是主机上没装cuda,只在虚拟环境里面装了，结果jupyter里面怎么调都识别不到GPU

rubisco214·2025-02-28 22:19

DeepSeek五天开源5大杀器实测：训练成本砍半+推理速度起飞，算法圈已疯（附删库跑路教程）

FlashMLA让推理速度飙升40%，DeepEP根治MoE通信癌，FP8核弹库DeepGEMM暴力提效，DualPipe+EPLB把GPU榨到一滴不剩，3FS化身数据闪电侠！

AI仙人掌·2025-02-28 22:18

一文看懂 Claude 3.7 Sonnet，为什么是第一个融合推理模式的 AI 模型

Claude3.7Sonnet是Anthropic最新发布的AI模型，发布过程中，最突出最吸引眼球的特点是首个“融合推理”模型。什么是融合推理模型？

董董灿是个攻城狮·2025-02-28 22:45

开源创意点亮生态未来第二届OpenHarmony创新应用挑战赛圆满收官

随着万物互联时代的加速到来,开源已成为驱动全球数字化进程的核心引擎。

·2025-02-28 21:08

DeepSeek 部署中的常见问题及解决方案

解决：使用国内镜像源（如清华源）加速安装，确保依赖版本与DeepSeek要求一致410。环境变量设置错误问题：因环境变量未正确配置导致功能异常。解决：

程序老猫·2025-02-28 20:36

重磅活动！3.14，与数智领袖共探 NoETL 指标平台最佳实践

AloudataCAN以强大的指标定义和查询加速能力，直连数仓公共层明细数据，自动化代持宽表与汇总表开发，实现了NoSQL指标定义、NoETL指标开发、统一指标管理，一举解决了指标“开发周期长、口径不统一

·2025-02-28 20:34

如何通过 CDN 加速网络？全网最全！！！

PythonCDN加速测速示例通过以下Python脚本，我们可以测试不同CDN节点的响应时间，选择最优的节点进行加速：importtimeimportrequests#CDN节点列表cdns=['https

職場上的造物主·2025-02-28 19:32

DeepSeek开源周Day1：FlashMLA引爆AI推理性能革命！

作为专为Hopper架构GPU（H800/H100）优化的高效解码内核，该项目一经发布便引爆社区：上线45分钟斩获400+Star，3小时突破2.

歌刎·2025-02-28 18:48

开源文生视频模型：通义万相2.1-文生视频-14B 详情介绍与使用

目录Wan2.1简介关键特性SOTA性能支持消费级GPU多任务处理视觉文本生成强大的视频VAE最新消息

zhangjiaofa·2025-02-28 17:17

科技武装到牙齿：小米SU7 Ultra对比SU7的全面进化论

SU7SU7Ultra1、硬件差异动力系统SU7Ultra：搭载超级三电机系统（V8s×2+V6s），综合马力1548PS，零百加速1.98秒（部分资料显示2.1秒），最高时

PM简读馆·2025-02-28 17:10

秒验三网合一，打破运营商壁垒的用户增长加速器

秒验三网合一，打破运营商壁垒的用户增长加速器在移动互联网用户增长见顶的当下，注册转化率每提升1%都可能带来百万级商业价值。传统手机验证码需用户手动输入、等待短信，且常因运营商通道延迟导致流失。

·2025-02-28 16:29

2024 开放原子开发者大会活动回顾｜瀚高 IvorySQL 开源数据库在国产软件的开源实践

大会汇聚开源领域一线开发者和知名学者共同探讨开源领域所面临的关键性挑战问题、研究方向和技术难题，推动跨学科的研究和应用，加速开源文化的广泛传播，推进开源生态可持续性繁荣发展。

·2025-02-28 16:26

中值滤波结合快速排序算法优化传感器数据预处理

适用场景：实时传感器数据处理（如红外、超声波、加速度计等），窗口大小N=5（可根据需求调整）。优势：时间复杂度从O(N²)（冒泡排序）优化至O(N)（快速排序部分排序）。

Gui林·2025-02-28 15:30

【AI论文】SongGen：用于文本到歌曲生成的单阶段自回归Transformer模型

现有方法通常采用多阶段生成流程，导致训练和推理过程繁琐。在本文中，我们提出了SongGen，一个完全开源的单阶段自回归Transformer模型，专为可控歌曲生成而设计。

东临碣石82·2025-02-28 15:58

微软发布 Phi-4 迷你模型,适合本地部署ChatBot

Phi-4-mini-instruct是一个轻量级的开放模型，它建立在合成数据和经过筛选的公开网站基础上，重点关注高质量、推理密集的数据。该模型属于Phi-4模型系列，支持128K标记上下文长度。

吴脑的键客·2025-02-28 13:43

Android性能测试总结

1.性能测试目的优化应用程序，提高用户使用体验2.性能测试指标CPU主要关注CPU使用率，CPU使用率过高会导致ANR、Crash、设备发热等问题长时间情况下，CPU占有率应≤85%GPU主要关注GPU

·2025-02-28 13:13

stm32 DMA步进电机控制

但是如果使用IO复用，定时器的比较翻转输出，用DMA把加速表的数据传输到捕获比较寄存器的方式控制电机，这样就可以大大减少中断的数量.步进电机控制原理给步进电机发一个脉冲（一个高电平，一个低电平），步进电机走一个步距角

xy0942·2025-02-28 12:07

Elasticsearch：使用阿里云 AI 服务进行向量化和重新排名

阿里云人工智能搜索是一种将高级人工智能功能与Elasticsearch工具相结合的解决方案，利用QwenLLM/DeepSeek-R1系列提供高级推理和分类模型。

·2025-02-28 11:17

实现一个 RDMA 用户态驱动程序

实际上，高性能、易维护、易定制的网络基础设施对于提升AI训练、推理的效率是至关重要的一环。

·2025-02-28 11:17

Java中字符流和字节流的区别

字符流：借助BufferedReader和BufferedWriter，它们在处理字符数据时，会将数据先缓存起来，减少与底层数据源或目标的交互次数，从而加速操作。

刘小炮吖i·2025-02-28 10:52

AI加速回归测试：如何用大模型预测哪些模块最容易出问题

用ChatGPT做软件测试回归测试是软件开发过程中必不可少的环节，尤其是在持续集成和快速迭代的开发环境下。随着软件系统变得日益复杂，传统的回归测试面临着显著的挑战：测试覆盖面广、执行周期长、资源消耗大，而测试人员又常常无法准确预测哪些模块会出现问题。为了提高回归测试的效率和精准性，AI，特别是大模型技术的引入，为回归测试的智能化提供了前所未有的机遇。通过大模型的预测能力，测试团队能够更加高效地识别

测试者家园·2025-02-28 09:46

【有啥问啥】深入了解 FlashMLA：Hopper GPU 的高效 MLA 解码内核

深入了解FlashMLA：HopperGPU的高效MLA解码内核简介在人工智能(AI)领域，特别是大型语言模型(LLM)领域，对计算效率和速度的需求持续增长。

有啥问啥·2025-02-28 09:12

Llama.cpp 服务器安装指南（使用 Docker，GPU 专用）

硬件：NVIDIAGPU（例如RTX4090）。内存：16GB+系统内存，GPU需12GB+显存（RTX4090有24GB）。存储：15GB+可用空间（用于源码、镜像和模型文件）。

田猿笔记·2025-02-28 09:37

驱动开发系列39 - Linux Graphics 3D 绘制流程（二）- 设置渲染管线

一：概述Intel的Iris驱动是Mesa中的Gallium驱动，主要用于IntelGen8+GPU（Broadwell及更新架构）。

黑不溜秋的·2025-02-28 08:02

神经网络中的Nesterov Momentum

NesterovAcceleratedGradient(NAG)，也称为NesterovMomentum，是一种改进版的动量优化算法，旨在加速梯度下降过程中的收敛速度，并提高对最优解的逼近效率。

化作星辰·2025-02-28 08:31

DeepSeek R1 简单指南：架构、训练、本地部署和硬件要求

DeepSeek推出的LLM推理新策略DeepSeek最近发表的论文DeepSeek-R1中介绍了一种创新的方法，通过强化学习（RL）提升大型语言模型（LLM）的推理能力。

爱喝白开水a·2025-02-28 07:52

Empowering LLMs with Logical Reasoning: 从“语言大师”到“逻辑大师”的进化之路

然而，当我们试图让它们回答逻辑推理问题时，却发现它们的表现常常令人失望。比如，某顶尖LLM在回答以下问题时出现了自相矛

步子哥·2025-02-28 07:19

深度解析：大模型开源的真与假

目录大模型企业开闭源策略各异开源大模型的定义与现状开源内容的局限性通常开放的内容实际未开放的关键内容法律与商业模式的约束开源许可证的重要性大模型的定制许可证及其限制性条款商业公司对开源大模型的策略和目的建立生态系统吸引开发者提升品牌形象保持竞争优势技术创新和改进技术与协助开发的挑战训练和推理过程的资源需求差异微调和衍生模型的技术实现及其局限性开源大模型在协作开发中的局限总结大模型的发展开启了

rs勿忘初心·2025-02-28 05:39

AI提示词终极秘籍：用「COT+分步法」让ChatGPT智商暴涨300%

当别人能用一句话得到媲美资深研究员的分析报告，而你的查询却得到敷衍回答时，很可能是因为缺少两个AI思维激活器：✅COT（ChainofThought）：让AI学会像人类一样分步推理✅Step-by-Step

曦紫沐·2025-02-28 05:08

游戏语音趋势解析，社交互动有助于营造沉浸式体验

语音交互的新架构出现2024年标志着对话语音AI取得了突破，出现了结合STT→LLM→TTS模型来聆听、推理和回应对话的协同语音系统。

网易数智·2025-02-28 03:22

vite构建打包性能优化

客户端打包开启第二步：部署服务端开启三、静态文件按类型分包四、超大静态资源拆分(代码分割)第一种：提高静态资源的容量大小第二种：合并路由打包第三种：最小拆分打包五、打包分析插件六、组件按需导入七、图片资源压缩八、CDN加速我的博客原文

富朝阳·2025-02-28 03:19

推荐频道

GPU推理加速