Datawhale开源黑板报20240121期

[Sm1les]

💥 最新动态：

JoyRL更新：
【功能支持】

1. 增加CNN网络
2. 网络优化为branch layer和merge layer，以便于支持多头输入
3. 增加Qlearning和Sarsa算法
   4.优化动作空间，以便于支持多个动作头输出
   5.优化PPO，现支持多进程和off policy版本
   6.优化PPO计算回报的方法，并移动到data handler中数据
   7.优化exps_trucation_size过大时堵塞learner学习的问题
   【Bug相关】
4. 修复on policy的bufferque中(Qlearning, PPO)训练样本频繁丢失的bug
5. 【TOCheck】DQN训练LunarLander-v2至300回合左右reward骤降loss陡升，减少max_step可缓解，仍需要check是否修复
   3.n_interactors大于1且device等于cuda时会触发bug
   4.定位DQN训到一定回合数loss崩溃的问题（过拟合），拟在buffer中增加train_frequency功能，即只有增加新的样本时才能取出样本训练
   【Benchmark】
   1.CarRacing-v2 benchmark
   2.ALE/DemonAttack-v5 benchmark
   wrapper中增加BaseSkipFrame：支持起始跳帧，不同跳帧数，图片环境裁剪
   GitHub地址：https://github.com/datawhalechina/joyrl

sweettalk-django整体内容进一步优化和丰富，优化新手友好入门支持，增加对全新增加项目单元测试部分，同时增加了对 Django5.0 新特性的介绍，欢迎大家来到 github 主页学习交流，也十分欢迎大家参与到我们的课程优化改进中~
GitHub地址：https://github.com/datawhalechina/sweettalk-django

🍭 如果你想学的教程Datawhale没有，请打开【愿望清单】：https://github.com/datawhalechina/DOPMC/discussions/categories/%E6%84%BF%E6%9C%9B%E6%B8%85%E5%8D%95 ，写下你的愿望，我们负责找人帮你实现~

📒 如果你想了解所有开源项目，请查阅【Datawhale项目看板】：https://github.com/datawhalechina/DOPMC/projects/1

💡 如果你想发起一个开源项目，请查阅【Datawhale开源项目指南】：https://github.com/datawhalechina/DOPMC/blob/main/GUIDE.md

📍 如果你想参与开源项目贡献自己的一份力量，请查阅：https://github.com/datawhalechina/DOPMC/issues ，其中带【help wanted】标签的即为有招募需求的项目；

✨ 如果你想参与的开源项目暂无招募需求，但是你认为其仍有可改进的地方，请直接给相应项目提Pull Request，或者去项目看板中查找项目负责人的联系方式进一步沟通；

💌 其他任何有关Datawhale开源项目的问题均可在：https://github.com/datawhalechina/DOPMC/discussions 发帖反馈，运营小组的同学看到后会及时回复，若未回复可直接联系运营小组的同学，联系方式：https://github.com/datawhalechina/DOPMC/blob/main/OP.md