推理

深入解析vLLM：加速大模型推理的高效框架

深入解析vLLM：加速大模型推理的高效框架引言在现代深度学习应用中，大型语言模型（如GPT、GLM、LLaMA、Qwen等）的推理速度和资源利用率成为关键挑战。
秋声studio·2025-01-27 00:34

nvdia triton server运行pt文件

tritonserver默认都是tensorrt推理。但也会出现有操作不支持，导致无法转模型为engine的情况。可以选择直接运行pytorch的pt文件，以下为操作步骤。
滑稽的柴犬·2025-01-26 23:27

【释放算力潜能】基于华为鲲鹏920 + 昇腾310B的VPX架构主板

一款高性能VPX架构主板——采用华为鲲鹏920处理器与昇腾310BAI加速模块的创新设计，专为边缘计算、AI推理、高性能计算和国防工业等领域打造。
国产化嵌入式平台解决方案·2025-01-26 22:19

Langchain[6]-LangGraph:异步和流、图可视化、多智能体协作、LCEL代码生成

Langchain[6]-LangGraph:异步和流、图可视化、多智能体协作、LCEL代码生成1.异步和流因为任何大模型在推理的时候，都会有一定的时间延迟，这是由大模型的底层架构决定的，所以在很多应用
汀、人工智能·2025-01-26 09:47

Direct Preference Optimization (DPO): 一种无需强化学习的语言模型偏好优化方法

论文地址：https://arxiv.org/pdf/2305.182901.背景与挑战近年来，大规模无监督语言模型（LM）在知识获取和推理能力方面取得了显著进展，但如何精确控制其行为仍是一个难题。
Yuleave·2025-01-26 09:12

智能推理的革命：DeepSeek-R1 深度解析其算法与实现

然而，尽管现有的模型在许多任务上表现出色，它们在深度推理和逻辑思维方面仍有显著的提升空间。
步子哥·2025-01-26 04:26

《从传统到智能：大模型交换机的变革之路》

以下是关于它的详细介绍：特点高带宽和低延迟：大模型的训练和推理通常需要处理大量的数据，高带宽可以确保数据在各个计算节点之间快速传输，低延迟则能减少数据传输过程中可能出现的瓶颈，提高训练和推理的效率。
烁月_o9·2025-01-26 03:23

paddleseg推理预测文件解析predict.py

1预测命令格式predict.py脚本是专门用来可视化预测案例的，命令格式如下所示：pythonpredict.py\--configconfigs/quick_start/bisenet_optic_disc_512x512_1k.yml\--model_pathoutput/iter_1000/model.pdparams\--ima
weightOneMillion·2025-01-26 03:52

基于大语言模型构建本地个人AI助理

在构建本地专属的个人AI助理时，我们需要处理多个方面的技术需求，确保其在多模态数据处理、实时查询、灵活推理、知识图谱更新等方面具备高效性、实时性和可扩展性。
由数入道·2025-01-26 00:58

自然语言处理（NLP）-总览图学习

文章目录自然语言处理（NLP）-总览图学习1.一张总览图的学习1.语音学（Phonology）2.形态学（Morphology）3.句法学（Syntax）4.语义学（Semantics）5.推理（Reasoning
汤姆和佩琦·2025-01-25 16:24

大模型GUI系列论文阅读 DAY4：《PREDICT: Multi-Agent-based Debate Simulation for Generalized Hate Speech Detecti》

PREDICT包括两个阶段：（1）PRE（基于视角的推理）
feifeikon·2025-01-25 15:50

NVIDIA L40s、A10、A40、A100、A6000横评，哪个GPU 更适合 AI 推理任务？

AI推理是指已经训练好的模型对新数据进行预测的过程。与训练阶段相比，推理通常对GPU的要求有所不同，更注重于能效比、延迟以及并发处理能力。
DO_Community·2025-01-25 09:37

YOLOV11改进1-检测头篇

.训练3.1原结构训练3.2更改后的模型三.效果对比1.原始结构2.修改后的结果3.详细对比总结前言    目标检测领域里，小目标一直是一个难点问题，虽然我们可以用YOLO+SAHI的方式进行滑动窗口推理以提升准确率
~啥也不会~·2025-01-25 08:00

InternLM: LMDeploy 量化部署进阶实践

大模型缓存推理本章的前半部分主要讲量化，包括KV-Cache量化、权重量化、激活值量化。
dilvx·2025-01-25 06:42

全场景深度思考模型发布：囊括三大推理能力，解锁医疗循证模式

该模型是国内目前唯一同时具备语言、视觉和搜索三大领域推理能力的模型。
·2025-01-25 06:28

NVIDIA-TensorRT-Python推理

1,前言NVIDIATensorRT进行模型推理的Python实现。TensorRT是一个高性能的深度学习推理优化器和运行时，它能够为深度学习模型提供低延迟和高吞吐量的推理能力。
呆呆珝·2025-01-25 05:07

NCNN推理

它由腾讯优图实验室开发，旨在提供高效的神经网络推理能力，特别是在资源受限的环境中，如智能手机和嵌入式系统。
呆呆珝·2025-01-25 05:07

transformer编码器解码器图解

以下是对图中每个步骤的详细解释，结合生活场景来说明每一步的意义和推理过程。编码器部分（左边）输入嵌入（InputEmbedding）：步骤：将输入序列中的每个单词转换为固定维度的向量表示。
Ai玩家hly·2025-01-24 21:08

RLHF技术应用探析：从安全任务到高阶能力提升

在增强模型高阶能力方面，虽然显示出提升逻辑推理和代码生成能力的潜力，但仍处于探索阶段，面临数据集缺乏等挑战。在风格转换方面，RLHF能够实现更细粒度的表达方式控制，对提升模型实用性具有重要
XianxinMao·2025-01-24 19:48

# AI计算模式 神经网络模型 深度神经网络 多层感知机 卷积神经网络 循环神经网络 长短期记忆网络 图像识别、语音识别、自然语言 轻量化模型和模型压缩 大模型分布式并行

原先单CPU可进行模型的训练与推理，如今需要使用GPU、TPU等设备，并通过分布式并行的
EwenWanW·2025-01-24 16:59

LLaMA Pro是什么 相比于lora full freeze有什么区别 怎么使用

LLaMAPro在代码理解、数学推理和语言理解等任务上表现出色，特别适合需要持续学习和多任务处理的场景。2.LLaMAP
Ven%·2025-01-24 16:58

【vLLM 学习】使用 OpenVINO 安装

vLLM是一款专为大语言模型推理加速而设计的框架，实现了KV缓存内存几乎零浪费，解决了内存管理瓶颈问题。
·2025-01-24 16:08

CSGHub 快速部署指南

此种部署方法非常适合概念验证和测试，使用户能够立即访问CSGHub的核心功能（包括模型，数据集管理、Space应用创建以及模型的推理和微调（需要GPU））。本文将带您一步步完成部署。什
·2025-01-24 16:02

语言模型的价值定位与技术突破：从信息处理到创新认知

在模型计算机制方面，推理能力的实现包括chain-of-thought和自适应计算两种范式，而内部计算过程研究将成为未来重点。
XianxinMao·2025-01-24 14:09

YOLOv10改进，YOLOv10添加ASFF检测头（自适应空间特征融合），添加小目标检测层（四头检测）+CA注意机制，全网首发

它学习了在空间上过滤冲突信息以抑制不一致的方法，从而提高了特征的尺度不变性，并引入了几乎免费的推理开销。#理论介绍目标检测在处理不同尺度的目标时，常采用特征金字塔结构。
挂科边缘·2025-01-24 13:06

WiseAD：基于视觉-语言模型的知识增强型端到端自动驾驶

随着视觉语言模型(VLM)的快速发展，人类通用知识和令人印象深刻的逻辑推理能力的出现，推动人们对将VLM应用于高级自动驾驶任务（如场景理解和决策）的兴趣日益浓厚。
硅谷秋水·2025-01-24 07:41

人工智能和云计算带来的技术变革：人工智能实现自动化营销的方式

1.1人工智能简介人工智能是一种计算机科学的分支，旨在让计算机具有人类智能的能力，如学习、推理、感知、语言理解等。人工智能的目标是让计算机能够理解自然语言、解
AI天才研究院·2025-01-24 06:39

详细介绍 NVIDIA GeForce RTX 系列，各显卡配置参数（长期更新 - 2024.12）

主要面向游戏玩家和普通用户，同时也被广泛用于深度学习推理和训练等计算密集型任务。主要GPU产品有：50Series、40Series、30Series、20Series、10Series。
JiaWen技术圈·2025-01-24 06:02

认知的形式化：数学是建立在明确的公设定理体系之上的高级语言形态

认知形式化，数学语言，公设理体系，高级语言，人工智能，逻辑推理，算法设计1.背景介绍在当今数据爆炸和人工智能飞速发展的时代，如何有效地理解和处理信息成为了一个至关重要的课题。
AI架构设计之禅·2025-01-24 02:35

自学成才之路，DeepSeek R1 论文解读

亮点一：告别“刷题班”，纯“实战”也能练出推理大神！我们平时学习，是不是经常要“刷题”？做大量的练习题，才能巩固知识，提高解题能力。
智识世界Intelligence·2025-01-24 01:24

Alluxio在数据索引和模型分发中的核心价值与应用

这些任务通常涉及从用户行为数据和社交网络数据中提取大量信息，进行模型训练和推理。这一过程需要强大的数据分发能力，尤其是在多个服务器同时拉取同一份数据时，更是考验基础设施的性能。
·2025-01-23 22:34

SOTA（state - of - the - art）的多模态推理

SOTA多模态推理的基本概念多模态推理是指在处理和融合多种不同类型数据（如文本、图像、声音等模态）的基础上进行的推理过程。SOTA（state-of-the-art）则表示在当前该领域中的最优水平。
百态老人·2025-01-23 19:18

SGLang安装教程，部署你的大模型，性能比vllm好，实现张量并行，数据并行，加快推理速度，亲测效果好。

目前大模型部署工具主要是vllm，最近出现了SGLang，很多新开源大模型都支持SGLang的部署推理，例如deepseek-R1，Qwen2.5，Mistral，GLM-4，MiniCPM3，InternLM2
张登杰踩·2025-01-23 17:03

高效使用Alibaba Cloud PAI EAS进行AI模型推理

技术背景介绍在当今的AI模型开发中，高效的推理服务是将训练好的模型投入实际应用的关键环节。
sagvWSRJHMNEB·2025-01-23 08:30

FunASR语言识别的环境安装、推理

安装环境及pytorch官网：pytorch下载地址3、安装funasr之前，确保已经安装了下面依赖环境:python代码调用（推荐）4、模型下载5、启动funasr服务二、客户端连接2.1html连接三、推理识别模型
山山而川_R·2025-01-23 08:55

大语言模型原理与工程实践：案例介绍

大语言模型原理与工程实践：案例介绍作者：禅与计算机程序设计艺术近年来，随着深度学习技术的快速发展，大语言模型（LargeLanguageModel，LLM）在自然语言处理领域取得了突破性进展，展现出强大的文本生成、理解和推理能力
AI大模型应用之禅·2025-01-23 06:37

python 随机数 随机种子

目录神经网络推理随机种子gpu新版：神经网络推理随机种子gpu：神经网络推理随机种子含npu：numpy.full创建相同矩阵python生成n个随机整数python随机数种子，每次获取相同的随机数随机在区间
AI算法网奇·2025-01-23 04:53

基于C++和ONNX Runtime的YOLOv5目标检测实战

本文将详细介绍如何使用C++结合ONNXRuntime推理引擎来部署YOLOv5模型，实现高效的目标检测。
浪浪山小白兔·2025-01-22 18:01

RK3568笔记二十九：RTMP推流

基于RK3568的RTMP推流测试，此代码是基于勇哥的github代码修改的，源码地址MontaukLaw/3568_rknn_rtmp:rk3568的推理+推流(github.com)感兴趣的可以clone
殷忆枫·2025-01-22 18:00

大模型GUI系列论文阅读 DAY3续4：《TREE SEARCH FOR LANGUAGE MODEL AGENTS》

然而，语言模型的一个主要局限在于：它们主要针对自然语言理解和生成进行了优化，在解决现实世界的计算机任务时，难以应对多步推理、规划以及环境反馈的利用。
feifeikon·2025-01-22 17:23

AI系统架构原理与代码实战案例讲解

早期的研究主要集中在符号推理、专家系统等领域，取得了一些突破，例如机器定理证明、西洋跳棋程序等。1.1.2人工智能的黄金时期上世纪80年代，随着专家系统的兴起，人工智能进入了一个黄金时期。
AI天才研究院·2025-01-22 16:15

极客说｜Phi-4 模型的 4 位量化与 vLLM 高速推理

Phi-4的模型参数量是14B，这使它在推理的时候比较耗费内存。因此如果我们想要在边缘端运行，需要对它进行量化。量化的手段很多，此前也介绍过，
·2025-01-22 16:00

多头潜在注意力（MLA）是怎么来的，什么原理，能用简单的示例解释么

多头潜在注意力（Multi-HeadLatentAttention，简称MLA）是一种改进的注意力机制，旨在提高自然语言处理（NLP）模型的推理效率和性能。
百态老人·2025-01-22 14:55

AI人工智能深度学习算法：高并发场景下深度学习代理的性能调优

它可以接收来自客户端的请求，将请求数据输入到深度学习模型中进行推理，并将推理结
AI天才研究院·2025-01-22 14:54

大模型的部署方法三：使用Xinference部署

Xinference是一个分布式推理框架，它支持一键部署各种模型，包括大型语言模型（LLMs）。
大模型微调部署·2025-01-22 05:15

如何有效控制 KV 缓存的内存占用，优化推理速度？

使用KV缓存技术的目的是在生成过程中计算过去tokens的键和值张量时，将这些张量存储（“缓存”）在GPU内存中，从而避免在每个生成步骤中重新计算这些tokens的键和值张量。KV缓存是一种妥协：我们以内存的消耗换取计算量的减少。在这篇文章中，我们将了解KV缓存的容量有多大、会带来哪些挑战，以及面对这些挑战最常用的应对策略是什么。01KV缓存的容量有多大？这相当简单：对于每个batch中每个序列的
m0_70960708·2025-01-22 04:13

LLama 架构一览

KVCache推理加速llama、l
Debroon·2025-01-22 04:08

月之暗面今日发布k1.5多模态思考模型

这一模型在基准测试成绩方面展现出了非凡的性能，它实现了SOTA（state-of-the-art）级别的多模态推理和通用推理能力。
百态老人·2025-01-22 01:51

深入解析CANN算子开发：TBE与AI CPU算子类型及其开发方法全指南

深入解析CANN算子开发：TBE与AICPU算子类型及其开发方法全指南在现代AI计算领域中，高效的算子开发对于优化深度学习模型的推理与训练至关重要。
快撑死的鱼·2025-01-21 20:09

科技早报｜OpenAI的人工智能模型销售收入超过微软类似业务；荣耀中国区CMO辟谣将采用麒麟芯片 | 最新快讯

与此前的版本相比，新模型在文本生成、语言理解、知识问答、逻辑推理、数学能力、代码能力、多模态能力等七大能力上都有提升。例如，讯飞星火可以根据用户的语言描述，结合空间和常识推断描述对象所在的位置。
最新科技快讯·2025-01-21 16:34
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他