Meet CreateAMind Cuju ( 谷歌足球 SOTA )---用户1908973

谷歌足球（Google Research Football）是Google Brain 开发的一个足球仿真策略游戏。

GFootball项目链接：

https://github.com/google-research/football

GFootball论文链接：

https://arxiv.org/abs/1907.11180

GFootball项目Blog链接：

https://ai.googleblog.com/2019/06/introducing-google-research-football.html

Google Brain 训练Agent使用的是他们自己研发的SEED算法：

https://arxiv.org/abs/1910.06591

谷歌足球环境有两个特点：一是稀疏奖励（只有进球了才有得分），类似游戏有围棋等；二是随机性大（射门进球是离散概率的），类似游戏有扑克等。

CreateAMind Cuju智能体的算法主要由 SQN + nstep + self-play组成。把算法运行在自己搭建的训练平台上，训练中经过几次surgery得到目前的Agent。目前在谷歌足球的排行榜上，Cuju智能体名列第一。

我们没有采用一般的强化学习算法比如PPO，IMPALA等，而是使用了我们自己的算法。拿第一并不是目的，因为拿第一拼的其实是算力，而我们的计算资源和人力资源极度匮乏。足球实验的目的是为了验证我们的强化学习算法SQN，验证SQN的规模化能力。

训练架构使用的是我们用ray手搭的平台：

https://github.com/createamind/Distributed-DRL

训练代码将在项目总结后开源。

以下是一些和Google Brain Agent的比赛视频。

Cuju_vs_built-in-ai：

http://mpvideo.qpic.cn/0bf2z4aaeaaazyajfpvf3bpfbt6dalhqaaqa.f10002.mp4?dis_k=e53390358454832e8eced483bccd432b&dis_t=1588996475

Cuju_vs_raveman5：

http://mpvideo.qpic.cn/0bf2wiaaeaaavyaje5nf2rpfbmwdakzaaaqa.f10002.mp4?dis_k=6955068bbcf8ca0a5ed765c594614a94&dis_t=1588996475

Cuju_vs_raveman-selfplay-9：

http://mpvideo.qpic.cn/0bf2kqaakaaaomajkeffszpfavgdavkaabia.f10002.mp4?dis_k=4edeb24958a1d5569f2f8884e34566c8&dis_t=1588996475 欢迎支持或加入我们：）