因果推理

【llm对话系统】大模型 RAG 之回答生成：融合检索信息，生成精准答案

这个过程不仅仅是简单的文本拼接，更需要LLM对检索结果进行理解、推理和整合，才能输出准确、流畅且符合用户需求的答案。

kakaZhui·2025-01-30 10:09

大模型问答机器人的智能化程度

大模型、问答机器人、智能化程度、自然语言处理、深度学习、Transformer模型、知识图谱、推理能力、对话系统1.背景介绍近年来，人工智能技术取得了飞速发展，特别是深度学习的兴起，为自然语言处理（NLP

AI大模型应用之禅·2025-01-30 09:35

有道子曰推理模型“子曰-o1”发布即开源，14B小参数复现OpenAI o1强推理效果

根据我搜索到的资料，网易有道于2025年1月22日正式发布了国内首个输出分步式讲解的推理模型“子曰-o1”，并宣布其开源。

百态老人·2025-01-30 08:55

子曰-o1：网易有道开源国内首个分步式讲解推理模型，支持K12数学教学

微信公众号｜搜一搜：蚝油菜花快速阅读功能：子曰-o1是国内首个分步式讲解推理模型，支持K12数学教学。技术：采用14B轻量级架构，专为消费级显卡设计，能在低显存设备上稳定运行。

蚝油菜花·2025-01-30 08:52

网易有道开源 “子曰 - o1” 推理模型

网易有道开源的“子曰-o1”推理模型支持消费级显卡，主要通过以下技术实现：轻量级模型设计：“子曰-o1”采用14B参数规模，相比许多对硬件配置要求高的大型推理模型，选择了较小的参数规模，从基础上降低了对硬件的性能需求

timer_017·2025-01-30 07:19

Hugging Face挑战DeepSeek，AI开源竞赛升级！

订阅：https://rengongzhineng.io/DeepSeek的R1推理模型刚刚引发全球轰动，开源AI界的“顶流”HuggingFac

新加坡内哥谈技术·2025-01-30 05:03

Torchserve服务开发

Torchserve介绍0.1.背景0.2.API类型1.开发使用1.0.环境部署1.1.handler开发1.1.1.context参数1.1.2.data参数1.2.handler调试2.配置文件3.batch推理

qq_27844739·2025-01-30 04:26

TorchServe环境构建+模型更新+新模型注册

2.1jdk环境搭建2.2python环境搭建2.3启动服务2.3.1注册模型2.3.2模型查看2.3.3接口调用3进阶功能3.1模型多版本管理3.2新模型注册1.背景由于技术路线调整，需求调整原本的模型推理服务

有来有去9527·2025-01-30 04:53

DeepSeek简介

作为国内首个全面对标GPT-4技术架构的AI大模型，DeepSeek系列涵盖从7B到超千亿参数的完整模型矩阵，在数学推理、代码生成、多轮对话等核心能力上达到国际领先水平。

RobinDevNotes·2025-01-29 20:52

逆向工程入门 (二)：获取评论/点赞微博的 API

根据我在其中详述的过滤POST方法来抓包互动请求的API接口，可以较容易地推理出评论/点赞微博的API接口。

dreadp·2025-01-29 18:05

大模型部署工具 llama.cpp 介绍与安装使用

1.大模型部署工具llama.cpp大模型的研究分为训练和推理两个部分。训练的过程，实际上就是在寻找模型参数，使得模型的损失函数最小化，推理结果最优化的过程。

大模型柳儿·2025-01-29 18:03

Llama.cpp与Python的完美结合：快速入门指南

本文将介绍如何在Python中使用llama-cpp-python，并结合LangChain框架进行推理操作。通过本指南，您将逐步掌握如何安装、配置和使用Llama模型。

nseejrukjhad·2025-01-29 17:29

火出圈的DeepSeeK R1详解

模型特性DeepSeek-R1是一款创新的AI推理模型，具有多项独特特性：高性能推理能力：在数学、代码和自然语言推理等任务上表现出色，性能对标OpenAIo1正式版。

清风AI·2025-01-29 17:58

实时数据处理与模型推理：利用 Spring AI 实现对数据的推理与分析

通过集成SpringAI，我们不仅可以高效地获取实时数据，还可以将这些数据输入到AI模型中进行推理与分析，以便生成实时的业务洞察。

drebander·2025-01-29 11:54

为大模型提供webui界面的利器：Open WebUI 完全本地离线部署deepseek r1

它支持各种LLM运行程序，如Ollama和OpenAI兼容的API，内置RAG推理引擎，使其成为一个强大的AI部署解决方案。安装使用pip进行安装：pipinstallopen-w

skywalk8163·2025-01-29 11:53

Depth Anything V2：单目深度估计的更强基线

这个框架显著提升了细节处理能力和鲁棒性，相比于基于深度学习的方法，它提供了更快的推理速度、更少的参数量以及更高的深度预测精度。本项

武朵欢Nerissa·2025-01-29 08:57

数据挖掘的常用算法

通过对大数据高度自动化地分析,做出归纳性的推理,从中挖掘出潜在的模式,可以帮助企业、商家、用户调整市场政策、减少风险、理性面对市场,并做出正确的决策。目前,在很多领域尤其

北柠陌寒0207·2025-01-29 07:48

数学与机器学习：共舞于智能时代的双璧

数学，作为自然科学的皇后，以其严谨的逻辑和精确的推理，为机器学习提供了坚实的理论基础。机器学习算法的设计、优化和应用，都离不开数学的支持。无论是线性代数、概率统计，还是微积分、最优

每天五分钟玩转人工智能·2025-01-29 03:18

深入解析ncnn::Net类——高效部署神经网络的核心组件

最近在学习ncnn推理框架，下面整理了ncnn::Net的使用方法。在移动端和嵌入式设备上进行高效的神经网络推理，要求框架具备轻量化、高性能以及灵活的扩展能力。

又吹风_Bassy·2025-01-29 03:13

AI会不会是一个大泡沫

1月20日，深度求索正式发布推理大模型DeepSeek-R1。推出后不久，R1就凭借其开源的性质、大幅下降的售价和训练成本获得了

人机与认知实验室·2025-01-28 23:38

DeepSeek R1：中国AI黑马的崛起与挑战

文章目录技术突破：从零开始的推理能力进化DeepSeekR1-Zero：纯RL训练的“自我觉醒”DeepSeekR1：冷启动与多阶段训练的平衡之道实验验证：推理能力的全方位跃升基准测试：超越顶尖闭源模型蒸馏技术

码事漫谈·2025-01-28 16:13

C++ 与机器学习：构建高效推理引擎的秘诀

随着深度学习模型逐渐从研究走向生产环境，推理能力成为部署中的关键环节。模型的推理引擎需要以极低的延迟快速处理输入数据，同时最大化地利用硬件资源。

salsm·2025-01-28 15:07

从简单到深刻的认知发展

认知发展，人工智能，深度学习，神经网络，机器学习，自然语言处理，计算机视觉1.背景介绍认知发展是人类从简单到复杂的思维方式演进的过程，它涉及感知、记忆、语言、推理和决策等多个方面。

AI架构设计之禅·2025-01-28 15:04

2025年1月27日人工智能与科技新闻：DeepSeek震撼全球科技市场

技术创新与突破全新语言处理架构：提升AI理解和生成能力超越传统模型的认知能力：实现更精准的自然语言推理多模态交互：支持文本、图像、语音等多维

海棠AI实验室·2025-01-28 15:03

使用onnxruntime-web 运行yolov8-nano推理

ONNX（OpenNeuralNetworkExchange）模型具有以下两个特点促成了我们可以使用onnxruntime-web直接在web端上运行推理模型，为了让这个推理更直观，我选择了试验下yolov8

CHEN_RUI_2200·2025-01-28 14:27

手撕Diffusion系列 - 第八期(end) - Diffusion推理

手撕Diffusion系列-第八期(end)-Diffusion推理目录手撕Diffusion系列-第八期(end)-Diffusion推理DDPM原理图DDPM反向去噪DIffusion推理代码Part1

小菜鸟博士·2025-01-28 13:52

软件测试学习路线

软件测试基础知识内容软件测试职业以及发展定位软件测试的概述&原则软件测试的策略及详细讲解软件测试的生命周期软件测试工作流程软件需求分析制作详解软件测试计划的编写软件测试用例的常用方法–等价类，边界值软件测试用例的常用方法–因果图

IT菇凉·2025-01-28 04:23

YOLOv9改进，YOLOv9检测头融合ASFF（自适应空间特征融合），全网首发

它学习了在空间上过滤冲突信息以抑制不一致的方法，从而提高了特征的尺度不变性，并引入了几乎免费的推理开销。#理论介绍目标检测在处理不同尺度的目标时，常采用特征金字塔结构。

挂科边缘·2025-01-28 02:32

RTX 4090D和A10和T4显卡差别、价格对比

NVIDIAA10:专为数据中心和企业应用设计，优化了AI推理、深度学习、虚拟桌面基础设施(VDI)以及多实例GPU（多用户共享显卡

张3蜂·2025-01-27 22:05

知识图谱自动构建:从海量非结构化数据中提取知识

1.背景介绍1.1知识工程的演进长期以来，知识工程领域一直致力于将人类知识以结构化的方式进行表达和存储，以便于计算机系统进行理解和推理。早期的知识库系统依赖于专家手工构建，费时费力且难以扩展。

AI天才研究院·2025-01-27 21:32

嵌入式工程师必学（99）：直流电路定理

线性度属性LinearityProperty线性是描述因果之间线性关系的元素的属性。它是均匀性和可加性特性的组合。齐次性属性要求，如果输入（激励）乘以一个常数，则输出（响应）乘以相同的常数。

芯片-嵌入式·2025-01-27 19:17

【有啥问啥】大模型赋能智能座舱：重塑未来出行体验

这些变化不仅赋予了智能座舱更强的学习与推理能力，还为用户带来了前所未有的个性化服务体验。让我们一起走进几位普通车主的故事，看看他们的生活因智能座舱而发生了怎样的改变。

有啥问啥·2025-01-27 19:13

拨开迷雾：人工智能核心领域与大模型的演进逻辑！新手放心进，保证通俗易懂！！

传统人工智能注重规则设计和逻辑推理，而现代人工智能通过机器学习

小南AI学院·2025-01-27 18:37

【vLLM 学习】使用 OpenVINO 安装

vLLM是一款专为大语言模型推理加速而设计的框架，实现了KV缓存内存几乎零浪费，解决了内存管理瓶颈问题。

HyperAI超神经·2025-01-27 11:21

《DeepSeek R1：开源大模型的破局者》

2025年1月20日晚，一家来自中国的人工智能初创公司——DeepSeek（深度求索），如同一颗耀眼的新星，划破了AI世界的夜空，发布了其最新推理模型DeepSeek-R1正式版。

空云风语·2025-01-27 08:59

对话小羊驼vicuna

预训练模型下载5.llama、alpaca、vicuna的前世今生6.对话Vicuna（1）llama-2-7b-hf（2）vicuna-7b-delta-v0（3）vicuna-7b-v0（4）执行推理

Always_Shine·2025-01-27 01:44

AGI与量子引力的研究前景

答案：人工通用智能（AGI）是指具有与人类智能相似的能力的人工智能系统，能够理解、学习、推理、感知和应对各种复杂环境。

AI天才研究院·2025-01-27 01:10

Firefly-LLaMA2-Chinese - 开源中文LLaMA2大模型

文章目录关于模型列表&数据列表训练细节增量预训练&指令微调数据格式&数据处理逻辑增量预训练指令微调模型推理权重合并模型推理部署关于github:https://github.com/yangjianxin1

伊织产研·2025-01-27 00:07

Meta Llama 3 使用 Hugging Face 和 PyTorch 优化 CPU 推理

原文地址：meta-llama-3-optimized-cpu-inference-with-hugging-face-and-pytorch了解在CPU上部署Meta*Llama3时如何减少模型延迟2024年4月19日万众期待的Meta第三代Llama发布了，我想确保你知道如何以最佳方式部署这个最先进的（SoTA）LLM。在本文中，我们将重点讨论如何执行只权重量化（WOQ）来压缩8B参数模型并改

lichunericli·2025-01-27 00:37

vLLM-prefix浅析（System Prompt，大模型推理加速）

原文：vLLM-prefix浅析（SystemPrompt，大模型推理加速）简介本文浅析了在大模型推理加速方面一个非常优秀的项目vLLM的一个新特性Prefix。

javastart·2025-01-27 00:06

Qwen1.5：使用VLLM加速推理模型（包含：OpenAI如何调用）

如何安装和配置VLLM库在开始使用VLLM库之前，首先需要确保安装正确的版本。以下指南将帮助你完成安装和配置。安装VLLM库根据你的需求选择合适的版本进行安装。如果你只需要基本功能，可以安装版本0.3。使用以下命令安装：pipinstallvllm==0.3如果你需要使用GPTQ-int8量化模型，那么应该安装0.4或更高版本：pipinstallvllm>=0.4启动模型服务在安装完毕后，可以通

写bug如流水·2025-01-27 00:06

深入解析vLLM：加速大模型推理的高效框架

深入解析vLLM：加速大模型推理的高效框架引言在现代深度学习应用中，大型语言模型（如GPT、GLM、LLaMA、Qwen等）的推理速度和资源利用率成为关键挑战。

秋声studio·2025-01-27 00:34

nvdia triton server运行pt文件

tritonserver默认都是tensorrt推理。但也会出现有操作不支持，导致无法转模型为engine的情况。可以选择直接运行pytorch的pt文件，以下为操作步骤。

滑稽的柴犬·2025-01-26 23:27

【释放算力潜能】基于华为鲲鹏920 + 昇腾310B的VPX架构主板

一款高性能VPX架构主板——采用华为鲲鹏920处理器与昇腾310BAI加速模块的创新设计，专为边缘计算、AI推理、高性能计算和国防工业等领域打造。

国产化嵌入式平台解决方案·2025-01-26 22:19

Langchain[6]-LangGraph:异步和流、图可视化、多智能体协作、LCEL代码生成

Langchain[6]-LangGraph:异步和流、图可视化、多智能体协作、LCEL代码生成1.异步和流因为任何大模型在推理的时候，都会有一定的时间延迟，这是由大模型的底层架构决定的，所以在很多应用

汀、人工智能·2025-01-26 09:47

Direct Preference Optimization (DPO): 一种无需强化学习的语言模型偏好优化方法

论文地址：https://arxiv.org/pdf/2305.182901.背景与挑战近年来，大规模无监督语言模型（LM）在知识获取和推理能力方面取得了显著进展，但如何精确控制其行为仍是一个难题。

Yuleave·2025-01-26 09:12

智能推理的革命：DeepSeek-R1 深度解析其算法与实现

然而，尽管现有的模型在许多任务上表现出色，它们在深度推理和逻辑思维方面仍有显著的提升空间。

步子哥·2025-01-26 04:26

《从传统到智能：大模型交换机的变革之路》

以下是关于它的详细介绍：特点高带宽和低延迟：大模型的训练和推理通常需要处理大量的数据，高带宽可以确保数据在各个计算节点之间快速传输，低延迟则能减少数据传输过程中可能出现的瓶颈，提高训练和推理的效率。

烁月_o9·2025-01-26 03:23

paddleseg推理预测文件解析predict.py

1预测命令格式predict.py脚本是专门用来可视化预测案例的，命令格式如下所示：pythonpredict.py\--configconfigs/quick_start/bisenet_optic_disc_512x512_1k.yml\--model_pathoutput/iter_1000/model.pdparams\--ima

weightOneMillion·2025-01-26 03:52

基于大语言模型构建本地个人AI助理

在构建本地专属的个人AI助理时，我们需要处理多个方面的技术需求，确保其在多模态数据处理、实时查询、灵活推理、知识图谱更新等方面具备高效性、实时性和可扩展性。

由数入道·2025-01-26 00:58

推荐频道