PPO

强化学习入门到不想放弃-1

本来想写到深度学习里的，但是线下和别人聊RLHF，和PPO,DPO的时候，我发现大家一脑袋问号，其实也正常，深度学习里面数学的东西没那么多，入门容易一点，强化学习（现在也都谈强化深度学习，或者深度强化学习了
周博洋K·2024-02-20 06:29

一文打通RLHF的来龙去脉

RLHF的发展历程2.强化学习2.1强化学习基本概念2.2强化学习分类2.3PolicyGradient2.3.1addabaseline2.3.2assignsuitablecredit2.4TRPO和PPO
orangerfun·2024-02-04 02:55

深度强化学习-策略梯度及PPO算法-笔记（四）

策略梯度及PPO算法策略梯度PolicyGradient基础知识策略梯度的计算细节TipsTip1：AddaBaselineTip2：AssignSuitableCredit策略梯度优化的技巧Reinforce
wield_jjz·2024-01-25 14:03

RLHF代码

summarize_rlhf/reward_model/reward_model.pyhttps://github.com/CarperAI/trlx/blob/main/trlx/models/modeling_ppo.py
银晗·2024-01-25 08:21

PPO学习

openai用tf实现的真的看不懂，大佬的世界…PPO的详细细节1.奖励模型和策略的价值头将query和response的连接作为输入奖励模型和策略的价值头不仅仅查看响应。
银晗·2024-01-25 08:47

【挑战全网最易懂】深度强化学习 --- 零基础指南

使用行为价值方法连续场景，使用概率分布方法实时反馈连续场景：使用概率分布+行为价值方法强化学习六要素设计奖励函数设计评论家策略学习与优化算法路径深度Q网络DQN演员-评论家算法：多智能体强化学习核心框架PPO
Debroon·2024-01-19 14:17

深度强化学习算法PPO训练CartPole

PPO代码部分，训练离散动作1.导入必须要的包importtorchimporttorch.nnasnnimporttorch.nn.functionalasfimporttorch.optimasoptimfromtorch.distributionsimportCategoricalfromcollectionsimportdequeimportrandomimportmatplotlib.p
槑槑紫·2024-01-17 06:27

强化学习_PPO算法实现Pendulum-v1

目录PPO算法AC输出连续动作On-policy->Off-policyImportantsamplingIssueofImportanceSamplingAddConstraintPPO代码实现PPO
¥骁勇善战¥·2024-01-17 06:54

PPO实战

哈哈初学，复现龙龙老师的实例！state：是平衡小车上的杆子，观测状态由4个连续的参数组成：推车位置[-2.4，2.4]，车速[-∞，∞]，杆子角度[～-41.8°，～41.8°]与杆子末端速度[-∞，∞]。游戏结束：当极点与垂直方向的夹角超过15度时，或者推车从中心移出2.4个单位以上向推车施加+1或-1的力来控制系统杆保持直立的每个时间步长都提供+1的奖励代码分析经验池缓存批训练条件：Tran
你会知道我是谁·2024-01-17 06:54

PPO 跑CartPole-v1

gym-0.26.2cartPole-v1参考动手学强化学习书中的代码,并做了一些修改代码importgymimporttorchimporttorch.nnasnnimporttorch.nn.functionalasFimportnumpyasnpimportmatplotlib.pyplotaspltfromtqdmimporttqdmclassPolicyNet(nn.Module):de
NoahBBQ·2024-01-17 06:52

PPO算法实现的37个实现细节（3/3）9 details for continuous action domains

RousslanFernandJulien;Raffin,Antonin;Kanervisto,Anssi;Wang,Weixun博客地址：https://iclr-blog-track.github.io/2022/03/25/ppo
小帅吖·2024-01-16 01:06

PPO算法实现的37个实现细节（2/3）9 Atari-specific implementation details

RousslanFernandJulien;Raffin,Antonin;Kanervisto,Anssi;Wang,Weixun博客地址：https://iclr-blog-track.github.io/2022/03/25/ppo
小帅吖·2024-01-16 01:36

PPO算法实现的37个实现细节（1/3）13 core implementation details

RousslanFernandJulien;Raffin,Antonin;Kanervisto,Anssi;Wang,Weixun博客地址：https://iclr-blog-track.github.io/2022/03/25/ppo
小帅吖·2024-01-16 01:35

Proximal Policy Optimization

参考链接：ProximalPolicyOptimization(PPO)算法原理及实现！
神奇的托尔巴拉德·2024-01-11 12:33

10、InstructGPT：Training language models to follow instructions with human feedback

InstructGPT在GPT-3上用强化学习做微调，内核模型为PPO-ptxGPT-1比BERT诞生略早几个月。
C--G·2024-01-11 06:34

LLaMA Efficient Tuning

文章目录LLaMAEfficientTuning安装数据准备浏览器一体化界面单GPU训练train_bash1、预训练pt2、指令监督微调sft3、奖励模型训练rm4、PPO训练ppo5、DPO训练dpo
小田_·2024-01-10 07:22

强化学习：PPO

PPO简介我们在之前的项目中介绍了基于价值的强化学习算法DQN,基于策略的强化学习算法REINFORCE,基于价值和策略的组合算法Actor-Critic.对于基于策略分方法：参数化智能体的策略，并设计衡量策略好坏的目标函数
人工智能MOS·2024-01-04 06:58

【自然语言处理】【大模型】 ΨPO：一个理解人类偏好学习的统一理论框架

AGeneralTheoreticalParadiamtoUnderstandLearningfromHumanPreferences》论文地址：https://arxiv.org/pdf/2310.12036.pdf相关博客【自然语言处理】【大模型】ΨPO：一个理解人类偏好学习的统一理论框架【强化学习】PPO
BQW_·2024-01-01 05:47

【ChatGPT 默认强化学习策略】PPO 近端策略优化算法

PPO近端策略优化算法PPO=概率比率裁剪+演员-评论家算法演员-评论家算法：多智能体强化学习核心框架概率比率裁剪：逐步进行变化的方法PPO目标函数的设计重要性采样KL散度PPO=概率比率裁剪+演员-评论家算法论文链接
Debroon·2023-12-31 17:38

强化学习的优化策略PPO和DPO详解并分析异同

目录PPO（ProximalPolicyOptimization）工作原理实现步骤DPO（DistributedProximalPolicyOptimization）工作原理实现步骤相同点不同点1、PPO
samoyan·2023-12-30 19:21

GNN+RL：Flexible Job-Shop Scheduling via Graph Neural Network and Deep Reinforcement Learning

本文的GNN是HGNN，RL用的PPO算法。主要是看懂GNN和RL如何连接起来以及如何训练的。
qq_38480311·2023-12-30 13:46

基于深度强化学习算法的仿真到实践教程

我的毕业论文主要是使用DQN，PPO，SAC仿真，然后放到车上跑（效果不太好）。DQN和PPO是离散控制，SAC是连续控制。
方小生–·2023-12-30 07:43

DPO讲解

PPO算法的pipeline冗长，涉及模型多，资源消耗大，且训练极其不稳定。
transformer_WSZ·2023-12-29 17:45

GPT系列综述

InstructGPT在GPT-3上用强化学习做微调，内核模型为PPO-ptx，下面的论文会详细分析。ChatGPT沿用了InstructGPT，但是数据大了好几个量级。G
AmberlikeNLP·2023-12-29 13:16

PPO算法与DDPG算法的比较

一、PPO算法1.actor网络Actor网络输出在给定状态sts_tst下采取每个动作的概率分布，通常使用一个神经网络表示：[πθ(at∣st)][\pi_\theta(a_t|s_t)][πθ(at
还有你Y·2023-12-27 11:09

【强化学习】PPO：近端策略优化算法

近端策略优化算法《ProximalPolicyOptimizationAlgorithms》论文地址：https://arxiv.org/pdf/1707.06347.pdf一、置信域方法(TrustRegionMethods)设πθold\pi_{\theta_{old}}πθold是先前参数为θold\theta_{old}θold的策略网络，πθ\pi_{\theta}πθ则是当前待优化的策
BQW_·2023-12-25 11:32

Mac上检测服务器的端口是否开放的终端指令

3.nmapnmap-ppo
MUMUFENG·2023-12-22 00:06

RLHF中的PPO算法过程微观拆解

文章目录PPO算法宏观描述PPO算法微观拆解流程图1.Rollout:根据LM生成文本简介输入输出代码2.Evaluate:对生成的轨迹（文本）进行评估简介输入输出3.OldPolicySampling
非英杰不图·2023-12-20 23:37

深度强化学习之：PPO训练红白机1942

本篇是深度强化学习动手系列文章，自MyEncyclopedia公众号文章深度强化学习之：DQN训练超级玛丽闯关发布后收到不少关注和反馈，这一期，让我们实现目前主流深度强化学习算法PPO来打另一个红白机经典游戏
人工智能与算法学习·2023-12-18 12:19

如何选择深度强化学习算法：MuZero/SAC/PPO/TD3/DDPG/DQN/等算法

在强化学习的子领域（多智能体、分层强化学习、逆向强化学习也会以它们为基础开发新的算法）：离散动作空间推荐：DuelingDoubleDQN（D3QN）连续动作空间推荐：擅长调参就用TD3，不擅长调参就用PPO
汀、人工智能·2023-12-18 12:18

【李宏毅深度强化学习笔记】2、Proximal Policy Optimization算法(PPO)

【李宏毅深度强化学习笔记】1、策略梯度方法（PolicyGradient）【李宏毅深度强化学习笔记】2、ProximalPolicyOptimization(PPO)算法（本文）【李宏毅深度强化学习笔记
qqqeeevvv·2023-12-18 12:15

深度强化学习：（七）PPO

一、TRPOTRPO算法是Shulman博士为了解决普通的策略梯度算法无法保证性能单调非递减而提出来的方法。也就是说，普通的策略梯度算法无法解决更新步长的问题，对于普通的策略梯度方法，如果更新步长太大，则容易发散；如果更新步长太小，即使收敛，收敛速度也很慢。Shulman并不从策略梯度的更新步长下手，而是换了一个思路：更换优化函数。通过理论推导和分析，Shulman找到一个替代损失函数（Surro
Warship_·2023-12-18 12:44

深度强化学习（DRL）简介与常见算法（DQN，DDPG，PPO，TRPO，SAC）分类

简单介绍深度强化学习的基本概念，常见算法、流程及其分类（持续更新中），方便大家更好的理解、应用强化学习算法，更好地解决各自领域面临的前沿问题。欢迎大家留言讨论，共同进步。（PS：如果仅关注算法实现，可直接阅读第3和4部分内容。）1.强化学习ReinforcementLearning（RL）：强化学习强化学习属于机器学习的一种，不同于监督学习和无监督学习，通过智能体与环境的不断交互（即采取动作），进
行至为成·2023-12-18 12:44

【深度强化学习】TRPO、PPO

策略梯度的缺点步长难以确定，一旦步长选的不好，就导致恶性循环步长不合适→策略变差→采集的数据变差→（回报/梯度导致的）步长不合适步长不合适\to策略变差\to采集的数据变差\to（回报/梯度导致的）步长不合适步长不合适→策略变差→采集的数据变差→（回报/梯度导致的）步长不合适一阶信息不限制步长容易越过局部最优，而且很难回来TRPO置信域策略优化思想：步子不要太大，应该保证更新在某个邻域内∣∣θ−θ
x66ccff·2023-12-18 12:13

RLlib七：github上的代码示例

attention_net将RL代理（默认值：PPO）与AttentionNet模型结合使用的示例，这对于状态很重要但不明确属于观察的一部分的环境非常有用。
星行夜空·2023-12-17 02:01

拆解大语言模型 RLHF 中的PPO算法

为什么大多数介绍大语言模型RLHF的文章，一讲到PPO算法的细节就戛然而止了呢？要么直接略过，要么就只扔出一个PPO的链接。然而LLMxPPO跟传统的PPO还是有些不同的呀。
Python算法实战·2023-12-15 22:26

[cleanrl] ppo_continuous_action源码解析

1import库（略）importosimportrandomimporttimefromdataclassesimportdataclassimportgymnasiumasgymimportnumpyasnpimporttorchimporttorch.nnasnnimporttorch.optimasoptimimporttyrofromtorch.distributions.normali
ka5cas·2023-12-15 17:33

深度学习回顾：七种网络

一、说明本文揭开CNN、Seq2Seq、FasterR-CNN和PPO，以及transformer和humg-face—编码和创新之路。对于此类编程的短小示例，用于对照观察，或做学习实验。
无水先生·2023-12-03 12:25

停止正在运行的docker容器及docker容器删除

ONTAINERIDIMAGECOMMANDCREATEDSTATUSPORTSNAMESffc1792471daregistry.cn-shanghai.aliyuncs.com/tcc-public/super-mario-ppo
我超有耐心的·2023-11-29 18:27

Unity-ML-Agents-配置文件解读-PushBlock.yaml

20与19的PushBlock.yaml一样：https://github.com/Unity-Technologies/ml-agents/blob/develop/config/ppo/PushBlock.yaml
天寒心亦热·2023-11-24 18:00

PPO算法（附pytorch代码）

这里写目录标题一、PPO算法（1）简介（2）On-policy？
还有你Y·2023-11-23 01:17

强化学习--多维动作状态空间的设计

一、离散动作注意：本文均以PPO算法为例。
还有你Y·2023-11-23 01:13

基于PPO自定义highway-env场景的车辆换道决策

白车）在同一车道行驶，自车初速度为27m/s，前车以22m/s的速度匀速行驶，两车相距80m：目标：自车通过换道，超越前车2.代码实现这里的强化学习采用的是基于stable-baseline3所集成的PPO
Colin_Fang·2023-11-21 01:40

论文笔记--Baichuan 2: Open Large-scale Language Models

OpenLarge-scaleLanguageModels1.文章简介2.文章概括3文章重点技术3.1预训练3.1.1预训练数据3.1.2模型架构3.2对齐3.2.1SFT3.2.2RewardModel(RM)3.2.3PPO3.3
Isawany·2023-11-13 11:15

RLHF讲解

RLHF包含了两个至关重要的步骤：训练RewardModel用RewardModel和SFTModel构造RewardFunction，基于PPO算法来训练LLMfrozenRMfrozenSFTModelActorπΦRL
transformer_WSZ·2023-11-13 06:55

【强化学习】结合Python实战深入分析原理

【文末送书】今天推荐一本强化学习领域优质Python算法书籍，揭密ChatGPT关键技术PPO和RLHF。
秋说·2023-11-10 10:09

PPO算法是什么？

ppo称作近邻策略优化算法，是典型的Actor-critic算法，即以两个网络为输入，并可以同时更新两者参数；在RLHF中我们更关注actor网络的更新方式，其损失函数由三部分构成，分别是：1，新旧状态输出比
张牧之的AI课·2023-11-09 06:17

【强化学习】16 ——PPO（Proximal Policy Optimization）

文章目录前言TRPO的不足PPO特点PPO-惩罚PPO-截断优势函数估计算法伪代码PPO代码实践参考前言TRPO算法在很多场景上的应用都很成功，但是我们也发现它的计算过程非常复杂，每一步更新的运算量非常大
yuan〇·2023-11-05 13:25

【强化学习】17 ——DDPG（Deep Deterministic Policy Gradient）

文章目录前言DDPG特点随机策略与确定性策略DDPG：深度确定性策略梯度伪代码代码实践前言之前的章节介绍了基于策略梯度的算法REINFORCE、Actor-Critic以及两个改进算法——TRPO和PPO
yuan〇·2023-11-05 13:46

强化学习（RL）的学习笔记

1.前言（1）PPO的优点PPO（ProximalPolicyOptimization）算法相比其他强化学习方法有几个显著优点：稳定性和鲁棒性：PPO通过限制策略更新的幅度来避免训练过程中的大幅波动，这增加了算法的稳定性和鲁棒性
songyuc·2023-11-04 03:25
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他