强化学习（RL）学习分享

解读 DeepSeek 关键 RL 算法 GRPO

DeepSeekGRPO：面向超大规模RLHF的梯度正则化策略优化算法引言在当下人工智能蓬勃发展的浪潮里，DeepSeek无疑是一颗耀眼的明星，频繁出现在各类科技前沿讨论中，热度持续攀升。从惊艳的模型表现，到不断拓展的应用场景，DeepSeek正以强劲之势重塑着行业格局。大家不难发现，无论是复杂的自然语言处理任务，还是充满挑战的智能推理难题，DeepSeek都能展现出卓越的性能。而这斐然成绩的背后

进一步有进一步的欢喜·2025-02-26 08:16

深度求索：解析DeepSeek R1与V3模型的技术差异

DeepSeekR1与V3模型的技术差异引言模型定位与核心能力DeepSeekV3应用场景及示例DeepSeekR1应用场景及示例模型架构与训练方法DeepSeekV3的架构特点DeepSeekR1的强化学习策略性能表现与基准测试

walkskyer·2025-02-26 05:53

OpenAI: 人工智能领域的领军企业

自成立以来,OpenAI在自然语言处理、计算机视觉、强化学习等多个人工智能领域取得了突破性进展,推出了一系列广受关注的AI模型和产品。OpenAI的发展历程OpenAI由埃隆·马斯克、山姆

2401_87458718·2025-02-26 02:35

基于“蘑菇书”的强化学习知识点（十三）：第三章的代码：MonteCarlo.ipynb及其涉及的其他代码的更新以及注解（gym版本＞= 0.26）（一）

第三章的代码：MonteCarlo.ipynb及其涉及的其他代码的更新以及注解（gym版本＞=0.26）（一）摘要摘要本系列知识点讲解基于蘑菇书EasyRL中的内容进行详细的疑难点分析！具体内容请阅读蘑菇书EasyRL！对应蘑菇书附书代码——MonteCarlo.ipynb在MonteCarlo.ipynb目录下面创建envs文件夹，然后下载racetrack.py和track.txt放到envs

墨绿色的摆渡人·2025-02-26 01:32

DeepSeek强化学习（Reinforcement Learning）基础与实践

引言强化学习（ReinforcementLearning,RL）是机器学习的一个重要分支，专注于训练智能体（Agent）在环境中通过试错来学习最优策略。

Evaporator Core·2025-02-25 23:44

机器学习笔记——特征工程

本笔记介绍机器学习中常见的特征工程方法、正则化方法和简要介绍强化学习。

好评笔记·2025-02-25 22:37

论文学习3：深度学习增强的光声成像（PAI）的最新进展（综述）

2.DL方法的原理介绍DL的子集：监督学习、无监督学习和强化学习。详细说明代表性DL架构：卷积神经网络（CNN）、U-形神经网络（U-Net）和

superace7911·2025-02-25 15:50

ProgramHan·2025-02-25 09:05

深度学习与搜索引擎优化的结合：DeepSeek的创新与探索

目录引言1.传统搜索引擎的局限性2.深度学习在搜索引擎中的作用3.DeepSeek实现搜索引擎优化的关键技术3.1神经网络与搜索引擎优化3.2自然语言处理与查询理解3.3深度强化学习与搜索结果排序4.DeepSeek

m0_74825634·2025-02-25 01:37

用人类反馈微调大模型，InstructGPT 让 GPT-3 脱胎换骨

接着，我们收集模型输出的排名数据集，使用人类反馈强化学习对这个经过监督学习训练的模型进

·2025-02-24 23:50

DeepSeek 和 Qwen 模型快速部署指南

模型大小总参数量6710亿(671B),MoE架构,每个token激活370亿参数总参数量与V3相当,基于DeepSeek-V3-Base,采用类似的MoE架构训练方法包含预训练、监督微调(SFT)和强化学习

moton2017·2025-02-24 18:47

Android仿人人客户端（v5(2)

@OverrideprotectedvoidsetupView(){mTopNavbar=(TopNavbar)findViewById(R.id.rl_top_navbar);mWebView=(WebView

2401_87555477·2025-02-24 04:42

深度强化学习算法在金融交易决策中的优化应用【附数据】

金融数据分析与建模专家金融科研助手|论文指导|模型构建✨专业领域：金融数据处理与分析量化交易策略研究金融风险建模投资组合优化金融预测模型开发深度学习在金融中的应用擅长工具：Python/R/MATLAB量化分析机器学习模型构建金融时间序列分析蒙特卡洛模拟风险度量模型金融论文指导内容：金融数据挖掘与处理量化策略开发与回测投资组合构建与优化金融风险评估模型期刊论文✅具体问题可以私信或查看文章底部二维码

算法与数据·2025-02-24 01:22

机器学习基础

了解机器学习的基本概念，如监督学习、无监督学习、强化学习、模型评估指标（准确率、召回率、F1分数等）。

dringlestry·2025-02-23 21:50

通俗理解Test time Scaling Law、RL Scaling Law和预训练Scaling Law

一、ScalingLaw解释1、预训练阶段的ScalingLaw（打地基阶段）通俗解释：就像建房子时，地基越大、材料越多、施工时间越长，房子就能盖得越高越稳。核心：通过堆资源（算力、数据、模型参数）让AI变得更聪明。具体含义：在预训练阶段（比如训练GPT这种大模型），模型的表现取决于三个核心因素：模型参数（房子的“大小”）：神经元越多，模型越“聪明”。数据量（砖头的“数量”）：喂给模型的文本越多，

老A的AI实验室·2025-02-23 16:12

人工智能：从基础到前沿

2.2人工智能的历史2.3人工智能的分类3.机器学习3.1机器学习概述3.2监督学习3.3无监督学习3.4强化学习4.深度学习4.1深度学习概述4.2神经网络基础4.3卷积神经网络（CNN）4.4循环神经网络

顾漂亮·2025-02-23 12:15

深入浅出机器学习：概念、算法与实践

目录引言机器学习的基本概念什么是机器学习机器学习的基本要素机器学习的主要类型监督学习（SupervisedLearning）无监督学习（UnsupervisedLearning）强化学习（ReinforcementLearning

倔强的小石头_·2025-02-23 11:43

ε-贪心算法：在探索与利用之间寻找平衡

ε-贪心算法：在探索与利用之间寻找平衡在强化学习领域，智能体需要在环境中采取行动以最大化累积奖励。这个过程涉及到两个关键的决策因素：探索（exploration）和利用（exploitation）。

Chen_Chance·2025-02-23 09:22

C++：使用 SFML 创建强化学习迷宫场景

在强化学习中，迷宫通常作为一种环境，供智能体（Agent）在其中进行探索和学习。通过设计合适的环境，我们可以训练模型让其通过迷宫找到最优路径。

煤炭里de黑猫·2025-02-22 16:10

DeepSeek赋能智能交通流量预测与优化：告别拥堵的未来

DeepSeek凭借其强大的时空预测模型和强化学习框架，为交通流量预测和信号优化提供了全新的解决方案。它能够整合多源数据，包括地磁传感

人工智能专属驿站·2025-02-22 13:19

DeepSeek的架构设计

临港等多地超算中心构建混合集群，10万+GPU卡规模（含H100/A100等），通过自研RDMA网络实现μs级延迟能效优化:采用液冷+余热回收技术，PUE<1.1，算力密度达50kW/机柜故障自愈:基于强化学习的节点健康预测系统

程序猿000001号·2025-02-22 06:24

什么是语料清洗、预训练、指令微调、强化学习、内容安全；什么是megatron，deepspeed，vllm推理加速框架

什么是语料清洗、预训练、指令微调、强化学习、内容安全目录什么是语料清洗、预训练、指令微调、强化学习、内容安全语料清洗预训练指令微调强化学习内容安全什么是megatron，deepspeed，vllm推理加速框架语料清洗语料清洗是对原始文本数据进行处理的过程

ZhangJiQun&MXP·2025-02-21 19:45

机器学习课程的常见章节结构

以下是机器学习课程的常见章节结构，结合了搜索结果中的信息：1.机器学习基础知识机器学习的定义与分类监督学习、无监督学习、半监督学习、强化学习机器学习的产生与发展机器学习的历史与现代应用经验误差与过拟合过拟合与欠拟合的概念及解决方案评估方法与性能度量交叉验证

zhangfeng1133·2025-02-21 14:24

Linux技术学习分享-Vim 编辑器与 Shell 命令脚本【1.5】

3.3命令行的通配符大家可能都遇到过提笔忘字的尴尬，作为Linux运维人员，我们有时候也会遇到明明一个文件的名称就在嘴边但就是想不起来的情况。如果就记得一个文件的开头几个字母，想遍历查找出所有以这个关键词开头的文件，该怎么操作呢？又比如，假设想要批量查看所有硬盘文件的相关权限属性，一种方式是这样的：[root@linuxprobe~]#ls-l/dev/sdabrw-rw----.1rootdis

BinaryStarXin·2025-02-21 10:22

机器学习(一) 本文(3万字) | 机器学习概述 |

机器学习）1.1特点1.2对象1.3目的1.4方法1.5步骤2.基本分类2.1监督学习2.1.1输入空间、特征空间和输出空间2.1.2概率分布2.1.3假设空间2.1.4问题的形式化2.2无监督学习2.3强化学习

小酒馆燃着灯·2025-02-21 08:05

（九万字）面向2025年BOSS直聘人工智能算法工程师高频面试题解析

面向2025年BOSS直聘人工智能算法工程师高频面试题解析1.机器学习（ML）理论解析机器学习是让计算机从数据中学习规律的一套方法论，包含监督学习、无监督学习和强化学习等范式。

快撑死的鱼·2025-02-20 17:15

DeepSeek与ChatGPT：AI语言模型的全面对决

为不同需求场景提供选择参考：一、核心技术对比维度DeepSeekChatGPT架构设计混合专家系统（MoE）+自研深度优化架构Transformer架构（GPT-3.5/4系列）训练策略万亿token中文语料预训练+领域强化学习多语言混合训练

金枝玉叶9·2025-02-20 12:01

muzero 算法原理

Muzero算法是一种通用的强化学习算法，它可以在没有预先设定策略的情况下进行学习。它通过模拟整个游戏进程来自我学习，并通过回报函数来评估每一步的决策。

战神哥·2025-02-20 11:45

DeepSeek技术跟踪和本地部署实践

春节期间，我也紧跟技术潮流，跟踪学习了并部署了一下DeepSeek，应该说DeepSeek是中国人在AI领域一次技术创新，甚至超越，给各大AI公司提供了一条全新的赛道，其推出的强化学习等技术提醒大家AI

一望无际的大草原·2025-02-19 16:46

AI架构师必知必会系列：强化学习在金融领域的应用

文章目录AI架构师必知必会系列：强化学习在金融领域的应用1.背景介绍1.1问题的由来1.2研究现状1.3研究意义1.4本文结构2.核心概念与联系1.强化学习交易系统的总体架构2.强化学习模型训练流程3.

AI天才研究院·2025-02-19 09:45

基于基于强化学习(Q-Learning)用于底层动态频谱接入(DSA)认知无线电网络的资源分配研究（Matlab代码实现）

欢迎来到本博客❤️❤️博主优势：博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。⛳️座右铭：行百里者，半于九十。本文目录如下：目录⛳️赠与读者1概述一、动态频谱接入（DSA）的基本原理与挑战1.DSA的核心机制2.关键挑战二、Q-Learning在DSA资源分配中的应用框架1.算法原理2.典型应用场景三、关键参数与模型设计1.状态空间定义2.动作空间设计3.奖励函数设计四、研究进展与优化方法1.

长安程序猿·2025-02-19 07:01

【自学笔记】机器学习基础知识点总览-持续更新

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录机器学习重点知识点总览一、机器学习基础概念二、机器学习理论基础三、机器学习算法1.监督学习2.无监督学习3.强化学习四、机器学习处理流程五

Long_poem·2025-02-19 02:23

deepseek和ChatGPT 4o比较

后训练+RL/RLHFDeepSeekR1等推理模型是在通用模型的基础上进行“特训”（后训练+SFT/RL/RLHF），使其不仅知道得多还用得好

调皮的芋头·2025-02-19 02:46

强化学习：原理、概念与代码实践

一、引言强化学习（ReinforcementLearning）作为机器学习的一个重要分支，旨在通过智能体（agent）与环境的交互，学习到最优的行为策略，以最大化长期累积奖励。

AndrewHZ·2025-02-19 01:07

如何训练LLM“思考”（像o1和DeepSeek-R1一样, 高级推理模型解析

2024年9月，OpenAI发布了它的o1模型，该模型基于大规模强化学习训练，赋予了它“高级推理”能力。不幸的是，他们是如何做到这一点的细节从未被公开披露。

果冻人工智能·2025-02-18 22:06

SFT（监督微调）和RLHF（基于人类反馈的强化学习）的区别

SFT（监督微调）和RLHF（基于人类反馈的强化学习）的区别STF（SupervisedFine-Tuning）和RLHF（ReinforcementLearningfromHumanFeedback）

钟小宇·2025-02-18 18:11

评测系统的神经架构搜索优化

评测系统的神经架构搜索优化关键词评测系统神经架构搜索优化强化学习人工智能摘要本文将探讨评测系统的神经架构搜索优化这一主题。

AI天才研究院·2025-02-18 13:50

强化学习原理与代码实战案例讲解

1.背景介绍1.1什么是强化学习？强化学习（ReinforcementLearning,RL）是机器学习的一个重要分支，它关注的是智能体（Agent）如何在环境中通过与环境交互来学习最优的行为策略。

AI天才研究院·2025-02-18 05:53

强化学习在连续动作空间的应用：DDPG与TD3

1.背景介绍1.1强化学习简介强化学习（ReinforcementLearning，简称RL）是一种机器学习方法，它通过让智能体（Agent）在环境（Environment）中与环境进行交互，学习如何根据观察到的状态

AI天才研究院·2025-02-18 00:02

翻译Deep Learning and the Game of Go（14）第十二章采用actor-critic方法的强化学习

本章包括:利用优势使强化学习更有效率用actor-critic方法来实现自我提升AI设计和训练Keras的多输出神经网络如果你正在学习下围棋，最好的改进方法之一是让一个水平更高的棋手给你复盘。

idol_watch·2025-02-17 22:16

【DeepSeek】一文详解GRPO算法——为什么能减少大模型训练资源？

GRPO，一种新的强化学习方法，是DeepSeekR1使用到的训练方法。

FF-Studio·2025-02-17 20:19

golang-context包学习分享

上下文Contextcontext.Context是Go语言中独特的设计，在其他编程语言中我们很少见到类似的概念。上下文与Goroutine有比较密切的关系。上下文context.Context是用来设置截止日期、同步信号，传递请求相关值的结构体。context.Context是Go语言在1.7版本中引入标准库的接口，该接口定义了四个需要实现的方法，其中包括：Deadline—返回context.

徐先森胆大心细颜值高·2025-02-17 09:42

揭秘DeepSeek内幕：清华教授剖析AI模型技术原理

在本文中，清华大学长聘副教授将深入剖析DeepSeekR1背后的大规模强化学习技术及其基本原理，并进一步展望大模型技术未来的发展方向。

大模型.·2025-02-16 19:23

DeepSeek正重构具身大模型和人形机器人赛道！

2024年1月20日，公司发布全球首个完全通过强化学习训练的专注于推理任务的高性能语言模型DeepSeek-R1

Robot251·2025-02-16 17:12

DeepSeek-R1-Zero 与 DeepSeek-R1 的异同与优劣分析

DeepSeek-R1-Zero与DeepSeek-R1的异同与优劣分析一、相同点核心训练方法：两者均基于强化学习（RL），采用GroupRelativePolicyOptimization（GRPO）

AI生成曾小健·2025-02-16 04:34

《深度Q网络优化：突破高维连续状态空间的束缚》

在人工智能的发展历程中，深度Q网络（DQN）作为强化学习与深度学习融合的关键成果，为解决复杂决策问题开辟了新路径。

·2025-02-15 18:22

DQN的原理和代码实现

文章目录1.概述2.DQN的训练步骤2.1初始化2.2训练循环2.3终止条件2.4评估3.代码示例1.概述深度Q网络（DeepQ-Network,DQN）是强化学习中的一种重要算法，由GoogleDeepMind

SmallerFL·2025-02-15 15:23

DQN原理和代码实现

参考：王树森《强化学习》书籍、课程、代码1、基本概念折扣回报：Ut=Rt+γ⋅Rt+1+γ2⋅Rt+2+⋯+γn−t⋅Rn.U_t=R_t+\gamma\cdotR_{t+1}+\gamma^2\cdotR

KPer_Yang·2025-02-15 14:20

强化学习在机器人控制中的应用：从理论到实践

强化学习在机器人控制中的应用：从理论到实践大家好，我是你们熟悉的人工智能与Python领域自媒体创作者Echo_Wish。今天我们来聊聊一个炙手可热的话题——强化学习在机器人控制中的应用。

Echo_Wish·2025-02-15 13:08

X-R1 项目代码文件的详细剖析并精读rewards、grpo、x_grpo_trainer（src/x_r1）

这个项目名为[X-R1](https://github.com/dhcode-cpp/X-R1)，是一个基于强化学习的训练框架，旨在构建一个易于使用、低成本的训练框架，以加速ScalingPost-Training

仙人掌_lz·2025-02-15 12:34

推荐频道