pytorch报错ValueError: too many values to unpack (expected 4)

最近在复现莫烦老师的DQN玩倒立摆游戏，运行中断并报错为：s_, r, done, info = env.step(a) ValueError: too many values to unpack (expected 4)。
由于再三确认我的代码和老师的一摸一样，我也不知道问题出在哪里。
该网站提醒了我，ValueError: too many values to unpack 的意思是接受返回值不符。
为了确认是否是返回值数量的问题，我将原s_, r, done, info = env.step(a) 代码改写为 s_ = env.step(a) print(len(s_))，degug后得到len(s_) = 5。
可以确认是返回值的问题，由于我的时间有限就没有去纠结多出来的那个值的含义。
我将原s_, r, done, info = env.step(a)改写为s_, r, done, info, _ = env.step(a)。
更改后的代码可以正常运行。