GPU推理加速第7页

基于IMX6ULL的安防监控项目

mjpg-streamer库实现在远端网页可以查看实时监控图像；利用cgi与html交互实现控制命令的下发和监控数据上传，用户可以在网页端控制硬件，比如LED灯，蜂鸣器等，同时可以在网页端直观查看ICM20608获取的加速度

暗夜之眼007·2025-03-15 13:54

模型量化 (Model Quantization) 算法 (Model Quantization Algorithms)

1模型量化的必要性：降低模型大小、加速推理、减少资源消耗随着深度学习模型的日益复杂和庞大，其在资源受限的设备（如移动端、嵌入式设备）上的部署面临着巨大的挑战。

（initial）·2025-03-15 13:24

基于ChatGPT和GoogleScholar的文章总结器

它能够自动抓取GoogleScholar上的研究文章，并利用OpenAI的GPT模型进行摘要生成，同时支持多语言输出，帮助打破语言障碍，加速科研进程。

莫达菲尼·2025-03-15 12:42

webgl threejs 云渲染(服务器渲染、后端渲染)解决方案

云渲染和流式传输共享三维模型场景1、本地无需高端GPU设备即可提供三维项目渲染云渲染和云流化媒体都可以让3D模型共享变得简单便捷。

allenjiao·2025-03-15 11:06

开源应用驱动企业新质生产力：Websoft9以EPP+AI+知识库助您领跑未来

开源应用驱动企业新质生产力：Websoft9以EPP+AI+知识库助您领跑未来在数字化转型加速的今天，企业新质生产力的核心已从传统资源投入转向技术驱动的效率革命。

·2025-03-15 10:26

嵌入式AI必备技能2-模型的压缩与加速

嵌入式AI必备技能2-模型的压缩与加速引言随着嵌入式AI设备的广泛应用，模型的计算效率和存储需求成为核心挑战。由于嵌入式系统通常资源受限，传统的深度学习模型往往难以直接部署。

奥德彪123·2025-03-15 10:30

海量数据查询加速：Presto、Trino、Apache Arrow

1.引言在大数据分析场景下，查询速度往往是影响业务决策效率的关键因素。随着数据量的增长，传统的行存储数据库难以满足低延迟的查询需求，因此，基于列式存储、向量化计算等技术的查询引擎应运而生。本篇文章将深入探讨Presto、Trino、ApacheArrow三种主流的查询优化工具，剖析其核心机制，并通过案例分析展示它们在实际业务中的应用。2.Presto：分布式SQL查询引擎2.1Presto介绍Pr

晴天彩虹雨·2025-03-15 08:12

佑驾创新获得大众、奥迪定点

据其官方内容显示，两家品牌拥有广泛的用户基础和强大的品牌影响力，此次合作将进一步提升公司的市场覆盖率，同时也加速智能座舱技术的迭代升级。有知情业内人士透露，该合资品牌、豪华品牌为大众、奥迪。

高工智能汽车·2025-03-15 07:00

智驾赋能新质生产力，开启“全感知时代”

在各行各业的高端技术前沿领域，设备智能化、自动化、无人化升级进程正不断加速。然而，环境感知与实时决策能力，始终是横亘在技术飞跃之路上的关键阻碍。

高工智能汽车·2025-03-15 07:29

榜单首发！高阶智驾「爆发」进行时，本土TOP10供应商抢市场

一些车企加速补齐功能，而更多的车企则是瞄准更大规模的走量市场。

高工智能汽车·2025-03-15 07:29

认知科学：解决复杂问题的5个关键策略

这些策略包括：模式识别规则抽取推理和逻辑推理知识表示和知识图谱多模态处理我们将在接下来的部分中详细讨论这些策略，并提供代码实例和数学模型公

AI天才研究院·2025-03-15 06:25

a16z Speedrun：加速科技与娱乐的未来

引言a16z（AndreessenHorowitz）作为硅谷最具影响力的风投公司之一，一直致力于支持那些打破常规、创造新可能性的创始人。随着科技和娱乐领域的融合日益加深，a16z推出了Speedrun计划，旨在帮助前沿科技和娱乐领域的初创公司快速成长。专注于推动游戏、AI、3D、流媒体、平台、游戏技术、XR等领域的创新。a16z联合创始人马克·安德森（MarcAndreessen）在speedru

花生糖@·2025-03-15 06:55

人工智能：重塑未来生活与工作的科技力量

最初，AI的研究主要集中在逻辑推理、机器学习和自然语言处理等领域，目标是使机器能够模拟人类的智能行为。尽管在早期的探索中，AI遭遇了诸多挑战和瓶颈，但其发展潜力逐渐被认可，并在随后几十年中得到了迅速的

Geektec·2025-03-15 06:54

Anthropic 的模型

Anthropic的模型（特别是Claude系列）之所以在性能和推理能力上表现强劲，可以从技术设计、研究理念、训练方法以及应用优化等多个方面进行详细分析。

调皮的芋头·2025-03-15 06:50

DeepSeek R1有什么不同

订阅：https://rengongzhineng.io/深度思考实验室（DeepSeek）最近发布了全新的推理模型R1，声称该模型不仅性能超越目

新加坡内哥谈技术·2025-03-15 06:18

构建centos7镜像调用外部gpu

sudovi/etc/docker/daemon.json{"runtimes":{"nvidia":{"path":"/usr/bin/nvidia-container-runtime","runtimeArgs":[]}}}/*{"registry-mirrors":["https://9cpn8tt6.mirror.aliyuncs.com"]}{"runtimes":{"nvidia":{

周子青·2025-03-15 05:10

无网络entos7报错ImportError: /lib64/libm.so.6: version `GLIBC_2.27‘ not found更新glibc

最近在尝试使用sklearn的升级版cuml，因为是一台没有连接互联网的gpu机器，所以构建cuml环境过程很坎坷，需要各种将各种whl包在线下载后上传到服务器中。

夏离·2025-03-15 05:40

Centos安装GPU驱动,使用100元显卡玩转deepseek

步骤1:安装NVIDIA驱动程序1.1安装显卡驱动编译工具yuminstallgccmakekernel-devel1.2安装显卡驱动依赖包yuminstallvulkan-loader1.3下载驱动安装https://www.nvidia.cn/drivers/details/220730/chmodu+xNVIDIA-Linux-x86_64-550.54.15.run./NVIDIA-Lin

white.tie·2025-03-15 04:07

Gemma 3 发布：最强单 GPU/TPU 可运行模型，性能超 Llama-405B！

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！订阅：https://rengongzhineng.io/GoogleDeepMind再次掀起AI界的狂潮，正式推出Gemma3——一款轻量级但性

新加坡内哥谈技术·2025-03-15 04:35

DeepSeek开源：FlashMLA深度解析：Hopper架构上的大模型推理革命

2025年2月24日，DeepSeek以「开源周」首日发布的FlashMLA技术，重新定义了Hopper架构GPU在AI推理领域的性能极限。

花生糖@·2025-03-15 03:55

数据目录：数字化转型的导航引擎与核心基建

本文从定义、分类、构建逻辑切入，结合华为等企业实践，剖析数据目录如何驱动数据治理、加速业务创新，并为不同阶段的数字化转型提供可落地的实施路径。关键字：数据目录、数字化转型、元数据管理、数据治理、智

领码科技·2025-03-15 03:22

【JS性能优化黑魔法】从8秒到0.8秒的奇迹の逆袭（祖传代码大改造）—— 让老板跪下喊爸爸的极致优化指南

)=>{cartItems.forEach(item=>{item.style.top=`${Math.sin(Date.now())*10}px`;//持续触发回流});},16);//老司机优化（GPU

vvvae1234·2025-03-15 01:08

LLM推理和优化（1）：基本概念介绍

一、LLM推理的核心过程：自回归生成LLM（如DeepSeek、ChatGPT、LLaMA系列等）的推理本质是自回归生成：从初始输入（如[CLS]或用户prompt）开始，逐token预测下一个词，直到生成结束符

AndrewHZ·2025-03-14 23:50

网络安全还值得学习吗？

市场需求：随着互联网的普及和数字化转型的加速，网络安全问题日益凸显。企业、政府和个人对网络安全的需求不断增长，这导致了网络安全专业人才的稀缺。因此，从市场需求的角度来看，网络安全专业具有较大

黑客呀·2025-03-14 23:19

【Python】multiprocessing 模块：多进程并行计算

Pythonmultiprocessing模块Python的multiprocessing模块用于多进程并行计算，可以充分利用多核CPU进行任务加速，突破PythonGIL（全局解释器锁）的限制，提高程序执行效率

彬彬侠·2025-03-14 23:18

H100解锁生成式AI算力新纪元

内容概要英伟达H100GPU以Hopper架构为核心，重新定义了生成式AI的算力边界。

智能计算研究中心·2025-03-14 22:43

Batch Normalization理解

BatchNormalization理解BatchNormalization：批归一化我们在图像预处理过程中通常会对图像进行标准化处理，这样能够加速网络的收敛，如下图所示，对于Conv1来说输入的就是满足某一分布的特征矩阵

zhimengxiang·2025-03-14 22:13

1章5节：大模型术语解读与从生成到推理的演进

DAT｜R科学与人工智能·2025-03-14 22:08

云原生周刊：基于 KubeSphere LuBan 架构打造DeepSeek 插件

·2025-03-14 22:37

边缘计算Edge Computing

OverviewEdgecomputingpushesapplications,dataandcomputingpower(services)awayfromcentralizedpointstothelogicalextremesofanetwork.Edgecomputingtakesadvantageofmicroservicesarchitec

福梦·2025-03-14 22:07

ROS机器人边缘计算：EdgeComputing与ROS

这种模块化设计使得开发人员可以更容易地重用和共享代码，从而加速了机器人软件的开发过程。1.2边缘计算

AI天才研究院·2025-03-14 22:36

从零到一：Transformer模型的原理与实战之旅

1.2自注意力机制的核心1.3Transformer的结构2.实战：构建Transformer模型2.1任务目标2.2环境准备2.3数据准备2.4模型构建2.5模型训练3.推理实战：完整示例与输出结果3.1

樽酒ﻬق·2025-03-14 21:06

3-002： MySQL 中使用索引一定有效吗？如何排查索引效果？

1.索引失效的常见原因虽然索引可以加速查询，但在某些情况下，MySQL可能不会使用索引，甚至使用索引反而更慢。以下是一些常见导致索引失效的原因：①查询条件使用了!=或30时仍能利用索引。

盖盖衍上_染染熊_代码集·2025-03-14 20:56

MySQL 的索引数量是否越多越好

加速排序（

Zero_pl·2025-03-14 20:25

HiPixel开源AI驱动的图像超分辨率的原生macOS 应用程序，使用 SwiftUI 构建并利用 Upscayl 强大的 AI 模型

二、软件特征具有SwiftUI界面的原生macOS应用程序使用AI模型进行高质量图像放大通过GPU加速实现快速处理支持各种图像格式用于自动处理新添加图像的文件夹监控现代、直观的用户界面三、为什么选择HiPixel

2301_78755287·2025-03-14 19:43

如何通过自动化测试提升DevOps效率？

它通过减少人工干预、加速反馈循环和提高测试覆盖率，直接推动了DevOps效率的提升。本文将从理论到实践，系统阐述如何通过自

测试渣·2025-03-14 19:39

仍未接入DeepSeek，字节有自己的计划！

君不见，腾讯接入DeepSeek后，短期内股价疯涨两次，这是由于DeepSeek强化了AI产品的竞争力，大家认为DeepSeek的技术与腾讯的用户基础结合，能碰撞出AI应用变现加速的火花。

蜂耘·2025-03-14 18:04

【vLLM 学习】使用 TPU 安装

vLLM是一款专为大语言模型推理加速而设计的框架，实现了KV缓存内存几乎零浪费，解决了内存管理瓶颈问题。

HyperAI超神经·2025-03-14 17:26

芯片时钟树结构（H-tree,Fishbone,FlexH,Mesh等）的对比、应用实例及未来趋势

本文将深入解析H-tree、Fishbone、FlexHtree及Clockmesh四种主流时钟树结构的技术特性，结合服务器芯片、GPU及AI芯片的实战案例，并探讨主流EDA工具对CTS

赛卡·2025-03-14 16:46

AI大模型推理加速：技术与实践详解

然而，大模型的推理速度却成为其落地应用的瓶颈。本文将详细探讨AI大模型推理加速的技术手段和实践经验，并结合具体案例进行分析。

AI大模型学习者·2025-03-14 15:43

推理大模型：技术解析与未来趋势全景

1.推理大模型的定义推理大模型（ReasoningLLMs）是专门针对复杂多步推理任务优化的大型语言模型，具备以下核心特性：输出形式创新展示完整逻辑链条（如公式推导、多阶段分析）任务类型聚焦擅长数学证明

时光旅人01号·2025-03-14 15:10

已解决：conda install报错Solving environment: failed with initial frozen solve. Retrying with fle

文章目录写在前面问题描述报错原因分析解决思路解决办法1.检查依赖关系2.更新Conda3.清除缓存4.创建新环境5.手动指定版本6.使用`mamba`加速安装7.显示详细日志总结写在前面在使用Conda

几何心凉·2025-03-14 14:35

【AI论文】TPDiff：时序金字塔视频扩散模型

基于这一洞见，我们提出了TPDiff，一个统一的框架，用于提高训练和推理效率。通过将扩散过程分为几个阶段，我们的框架在扩散过程中逐步增加帧率，仅在最后阶段采用全帧率，从而优化计算效率。

东临碣石82·2025-03-14 14:31

十种处理权重矩阵的方法及数学公式

1.权重归一化（WeightNormalization）目的：通过分离权重向量的范数和方向来加速训练。

阳光明媚大男孩·2025-03-14 13:26

Android电量与流量优化

传感器使用：加速度计、陀螺仪等传

Ya-Jun·2025-03-14 12:47

Stable Diffusion/DALL-E 3图像生成优化策略

分块推理（TiledDiffusion）：将图像分割为512×512区块，逐块生成后无缝拼接，支持4096×40

云端源想·2025-03-14 12:16

【扩散模型Diffusion Model系列】1-一篇文章带你快速入门扩散模型Diffusion Model，个人入门学习路线+优质学习博客资料

RectifiedFlow和FlowMatching二、模型结构传统派LDMUNet:StableDiffusion维新派MMDiT：StableDiffusion3/Flux三、加速采样多走一步，再比较

Leafing_·2025-03-14 12:14

GPU底层优化的关键语言（深入解析PTX）；PTX相比汇编语言的核心优势

PTX作为英伟达GPU的底层语言，既是性能优化的利器，也是打破生态垄断的突破口。其“类汇编”特性赋予开发者对硬件的极致控制权，但高昂的开发成本与生态依赖仍制约其普及。

AI-AIGC-7744423·2025-03-14 11:13

英伟达的ptx是什么？ptx在接近汇编语言的层级运行？

它是CUDA编程模型中，主机代码与实际在GPU上执行的机器码之间的桥梁。开发者编写的CUDAC/C++等高级语言代码，在编译过程中

AI-AIGC-7744423·2025-03-14 11:43

android 32位crc,android arm64硬件实现加速crc32算法

故在android下，可借助这些指令实现代码加速。如何判断自己的手机是否支持crc32呢？

Luo Patrick·2025-03-14 11:09

推荐频道

GPU推理加速