easy-rl/codes

Eng|中文

写在前面

本项目用于学习RL基础算法，尽量做到: 注释详细，结构清晰。

代码结构主要分为以下几个脚本：

• model.py 强化学习算法的基本模型，比如神经网络，actor，critic等
• memory.py 保存Replay Buffer，用于off-policy
• plot.py 利用matplotlib或seaborn绘制rewards图，包括滑动平均的reward，结果保存在result文件夹中
• env.py 用于构建强化学习环境，也可以重新自定义环境，比如给action加noise
• agent.py RL核心算法，比如dqn等，主要包含update和choose_action两个方法，
• main.py 运行主函数

其中model.py,memory.py,plot.py 由于不同算法都会用到，所以放入common文件夹中。

运行环境

python 3.7.9、pytorch 1.6.0、gym 0.18.0

使用说明

本repo使用到的环境说明，在各算法目录下也有README说明

算法进度

算法名称	相关论文材料	备注	进度
On-Policy First-Visit MC			OK
Q-Learning			OK
SARSA			OK
DQN	DQN-paper		OK
DQN-cnn	DQN-paper	与DQN相比使用了CNN而不是全链接网络	OK
DoubleDQN		效果不好，待改进	OK
Hierarchical DQN	Hierarchical DQN
PolicyGradient			OK
A2C			OK
PPO	PPO paper	PPO算法实战	OK
DDPG	DDPG Paper		OK
TD3	Twin Dueling DDPG Paper

Refs

RL-Adventure-2

RL-Adventure

https://www.cnblogs.com/lucifer1997/p/13458563.html