2022年1月7号，2021“智荟杯”浦发百度高校极客挑战赛总决赛全网直播颁奖，由软件工程学院2020级研究生唐小钞为队长、2021级研究生晁佳豪和2020级研究生刘少彬作为队员，杨争峰教授作为指导教师的“这游戏保熟吗”团队获得全国冠军。

“智荟杯”高校极客挑战赛作为浦发银行与百度智能云联手倾力打造的年度赛事,自2018年举办以来,已走过4个年头,吸引海内外近200所重点高校的2000余名师生参赛,遴选优秀获奖团队并向获奖学子发放浦发总行信息科技岗位直通卡,与各地高校紧密互动,打造自长三角辐射全国乃至海外高校的创新创业生态圈。

今年赛事范围进一步扩大,通过开放报名,力邀国内外一流高校组队参赛,大赛设置算法赛和方案赛双赛道,吸引清华大学、浙江大学、华中科技大学、哈尔滨工业大学、武汉大学、北京航空航天大学等50余所海内外高校的120支队伍报名。

算法赛主要围绕深度强化学习技术,开展动态环境下的策略对抗,以“捕碳大作战”游戏形式创新开展。经过激烈的区域赛、总决赛的角逐，共产生1个一等奖，2个二等奖，3个三等奖。我院学生队伍从决赛开始，就以明显的优势领先第二名，最终团队获得了全国一等奖。

赛题背景及任务

“捕碳大作战”——基于动态环境下的策略对抗在“碳达峰”、“碳中和”提出的大背景下，应加快节能降耗脚步，进而实现CO2减排目标。在比赛中，两支相互竞争的捕碳小组通过捕碳和种树两种方式，在短时间内实现CO2减排任务。各队伍需要利用游戏状态信息来优化CO2捕集与转化策略，并与对手对抗以获得更多收益。

项目方案

由于游戏规则相当复杂，普通强化学习的效果差强人意，因此团队另辟蹊径，采用模仿学习的方式解决。首先构建了一个性能优异的专家系统，然后通过专家系统生成标签，采用模仿学习的方式训练一个神经网络。在神经网络结构方面，根据游戏环境的特殊性，提出了循环卷积模块和基于位置信息在通道上的注意力机制，使得模仿准确率显著提高；在专家系统上，受到强化学习值函数的启发，改进了路径搜索算法，并与动态规划、网络流等算法相互配合，使得捕碳效率大大提高，成为本次算法赛道的最强游戏AI。