再一次被本科生吊打！清华本科生开源强化学习平台天授！
Java面试笔试面经、Java技术每天学习一点
Java面试
关注不迷路
开源最前线（ID：OpenSourceTop） 猿妹编译
项目地址：https://github.com/thu-ml/tianshou
深度强化学习（deep RL）近年来取得了令人瞩目的进步，就说2020年至今，就有多个深度学习框架相继开源，清华的Jittor、旷视的MegEngine、华为的Mindspore，国内首个开源深度学习框架PaddlePaddle等。近日，清华大学又新开源了强化学习平台天授。
这个项目的主要创建者是Jiayi Weng与Minghao Zhang，他们都是清华的本科生。Jiayi Weng今年6月份本科毕业，在此之前作为本科研究者与清华大学苏航、朱军等老师开展强化学习领域的相关研究。Minghao Zhang目前是清华大学软件学院的本科二年级学生，同时还修了数学专业。
是的，你没听错，就是本科生，是不是感觉又一次被吊打了呢？不过这两个人实力可都是杠杠的，就说Jiayi Weng，小升初的暑假就开始写代码。高二作为全国青少年信息学奥林匹克竞赛（NOI）选手进入省队。高中时期就开始钻研微积分、线性代数，大二上学期就加入了朱军教授领导的TSAIL实验室，大三暑假期间更是去到加拿大图灵奖获得者Bengio教授的实验室，深入开展了RL和NLP的研究。
而且这个项目取名为“天授”，这一词语源自《史记》，意为“取天所授而非学自人类”，刻画了强化学习通过与环境进行交互自主学习，而不需要像监督学习一样需要大量人类标注数据。
天授是什么？
天授（Tianshou）是纯基于 PyTorch 代码的强化学习框架，与目前现有基于TensorFlow 的强化学习库不同，天授的类继承并不复杂，API 也不是很繁琐。支持的 RL 算法包括：
Policy Gradient (PG)
Deep Q-Network (DQN)
Double DQN (DDQN) with n-step returns
Advantage Actor-Critic (A2C)
Deep Deterministic Policy Gradient (DDPG)
Proximal Policy Optimization (PPO)
Twin Delayed DDPG (TD3)
Soft Actor-Critic (SAC)
为什么要选择天授
速度快：天授是一个轻量级的高速强化学习平台。是在笔记本电脑（i7-8750H + GTX1060）上进行的测试。在CartPole-v0任务上，它仅需3秒就可以训练一个倒立摆（CartPole）。
上图为天授与各大知名 RL 开源平台在 CartPole 与 Pendulum 环境下的速度对比。所有代码均在配置为 i7-8750H + GTX1060 的同一台笔记本电脑上进行测试。
可复现性：天授有其单元测试。每一次单元测试除了基本功能的测试之外，还包括针对所有算法的完整训练过程，也就是说一旦有一个算法没办法 train 出来结果，单元测试不能通过。据我们所知，得益于天授快速的训练机制，天授是目前唯一一个采用这种标准进行单元测试的强化学习框架
模块化：天授将算法分解为四个部分：
init：策略初始化。
process_fn：处理函数，从回放缓存中处理数据。
call：根据观测值计算操作
learn：从给定数据包中学习
接口灵活：用户可以定制各种各样的 training 方法。提供示例，方便用户根据自己的需要进行二次开发
如何使用天授？
这是深度Q网络的一个示例。您还可以在test / discrete / test_dqn.py运行完整的脚本。
首先，导入一些相关的软件包：
import gym, torch, numpy as np, torch.nn as nn
from torch.utils.tensorboard import SummaryWriter
import tianshou as ts
定义一些超参数：
task = 'CartPole-v0'
lr = 1e-3
gamma = 0.9
n_step = 3
eps_train, eps_test = 0.1, 0.05
epoch = 10
step_per_epoch = 1000
collect_per_step = 10
target_freq = 320
batch_size = 64
train_num, test_num = 8, 100
buffer_size = 20000
writer = SummaryWriter('log/dqn') # tensorboard is also supported!
环境配置：
# you can also try with SubprocVectorEnv
train_envs = ts.env.VectorEnv([lambda: gym.make(task) for _ in range(train_num)])
test_envs = ts.env.VectorEnv([lambda: gym.make(task) for _ in range(test_num)])
建立网络：
class Net(nn.Module):
def __init__(self, state_shape, action_shape):
super().__init__()
self.model = nn.Sequential(*[
nn.Linear(np.prod(state_shape), 128), nn.ReLU(inplace=True),
nn.Linear(128, 128), nn.ReLU(inplace=True),
nn.Linear(128, 128), nn.ReLU(inplace=True),
nn.Linear(128, np.prod(action_shape))
])
def forward(self, s, state=None, info={}):
if not isinstance(s, torch.Tensor):
s = torch.tensor(s, dtype=torch.float)
batch = s.shape[0]
logits = self.model(s.view(batch, -1))
return logits, state
env = gym.make(task)
state_shape = env.observation_space.shape or env.observation_space.n
action_shape = env.action_space.shape or env.action_space.n
net = Net(state_shape, action_shape)
optim = torch.optim.Adam(net.parameters(), lr=lr)
设置策略和收集器：
policy = ts.policy.DQNPolicy(net, optim, gamma, n_step,
use_target_network=True, target_update_freq=target_freq)
train_collector = ts.data.Collector(policy, train_envs, ts.data.ReplayBuffer(buffer_size))
test_collector = ts.data.Collector(policy, test_envs)
训练：
result = ts.trainer.offpolicy_trainer(
policy, train_collector, test_collector, epoch, step_per_epoch, collect_per_step,
test_num, batch_size, train_fn=lambda e: policy.set_eps(eps_train),
test_fn=lambda e: policy.set_eps(eps_test),
stop_fn=lambda x: x >= env.spec.reward_threshold, writer=writer, task=task)
print(f'Finished training! Use {result["duration"]}')
保存/加载策略：
torch.save(policy.state_dict(), 'dqn.pth')
policy.load_state_dict(torch.load('dqn.pth'))
以35帧率观察模型表现：
collector = ts.data.Collector(policy, env)
collector.collect(n_episode=1, render=1 / 35)
collector.close()
查看保存在tensorboard中的结果：
tensorboard --logdir log/dqn
你可以在Github和PyPI上找到天授的最新版本和其他资料。最后附上相关地址：
PyPI：https://pypi.org/project/tianshou/
Github天授主页：https://github.com/thu-ml/tianshou