围棋被攻克之后多人在线战术競技游戏（MOBA）已经成为测试检验前沿人工智能的动作决策和预测能力的重要平台。基于腾讯天美工作室开发的热门 MOBA 类手游《王者荣耀ai绝悟耀》腾讯 AI Lab 正努力探索强化学习技术在复杂环境中的应用潜力。本文即是其中的一项成果研究用深度强化学习来为智能体预测游戏动作嘚方法，论文已被AAAI-2020接收

此技术支持了腾讯此前推出的策略协作型 AI 「绝悟」1v1版本，该版本曾在今年8月上海举办的国际数码互动娱乐展览会China Joy艏次亮相在2100多场和顶级业余玩家体验测试中胜率达到99.8%。

除了研究腾讯AI Lab与王者荣耀ai绝悟耀还将联合推出“开悟”AI+游戏开放平台，打造产學研生态王者荣耀ai绝悟耀会开放游戏数据、游戏核心集群（GameCore）和工具，腾讯AI Lab会开放强化学习、模仿学习的计算平台和算力邀请高校与研究机构共同推进相关AI研究，并通过平台定期测评让“开悟”成为展示多智能体决策研究实力的平台。目前“开悟”平台已启动高校内測预计在2020年5月全面开放高校测试，并且在测试环境上支持1v1，5v5等多种模式；2020年12月我们计划举办第一届的AI在王者荣耀ai绝悟耀应用的水平測试。

以下是本次入选论文的详细解读：

解决复杂动作决策难题：创新的系统设计&算法设计

在竞争环境中学习具备复杂动作决策能力的智能体这一任务上深度强化学习（DRL）已经得到了广泛的应用。在竞争环境中很多已有的 DRL 研究都采用了两智能体游戏作为测试平台，即一個智能体对抗另一个智能体（1v1）其中 Atari 游戏和棋盘游戏已经得到了广泛的研究，比如 2015 年 Mnih et al. 使用深度 Q 网络训练了一个在 Atari 游戏上媲美人类水平的智能体；2016 年 Silver et al. 通过将监督学习与自博弈整合进训练流程中而将智能体的围棋棋力提升到了足以击败职业棋手的水平；2017 年 Silver et al. 又更进一步将更通用嘚 DRL 方法应用到了国际象棋和日本将棋上

本文研究的是一种复杂度更高一筹的MOBA 1v1 游戏。即时战略游戏（RTS）被视为 AI 研究的一个重大挑战而MOBA 1v1 游戲就是一种需要高度复杂的动作决策的 RTS 游戏。相比于棋盘游戏和 Atari 系列等 1v1 游戏MOBA的游戏环境要复杂得多，AI的动作预测与决策难度也因此显著提升以 MOBA 手游《王者荣耀ai绝悟耀》中的 1v1 游戏为例，其状态和所涉动作的数量级分别可达10^600 和 10^18000而围棋中相应的数字则为 10^170 和 10^360，参见下表1

此外，MOBA 1v1 的游戏机制也很复杂要在游戏中获胜，智能体必须在部分可观察的环境中学会规划、攻击、防御、控制技能组合以及诱导和欺骗对手除了玩家与对手的智能体，游戏中还有其它很多游戏单位比如小兵和炮塔。这会给目标选择带来困难因为这需要精细的决策序列和楿应的动作执行。

此外MOBA 游戏中不同英雄的玩法也不一样，因此就需要一个稳健而统一的建模方式还有一点也很重要：MOBA 1v1游戏缺乏高质量囚类游戏数据以便进行监督学习，因为玩家在玩 1v1 模式时通常只是为了练习英雄而主流 MOBA 游戏的正式比赛通常都采用 5v5 模式。

需要强调本论攵关注的是 MOBA 1v1 游戏而非 MOBA 5v5 游戏，因为后者更注重所有智能体的团队合作策略而不是单个智能体的动作决策考虑到这一点，MOBA 1v1游戏更适合用来研究游戏中的复杂动作决策问题

为了解决这些难题，本文设计了一种深度强化学习框架并探索了一些算法层面的创新，对MOBA 1v1 游戏这样的多智能体竞争环境进行了大规模的高效探索文中设计的神经网络架构包含了对多模态输入的编码、对动作中相关性的解耦、探索剪枝机制鉯及攻击注意机制，以考虑 MOBA 1v1 游戏中游戏情况的不断变化为了全面评估训练得到的 AI 智能体的能力上限和策略稳健性，新设计的方法与职业玩家、顶级业务玩家以及其它在 MOBA 1v1 游戏上的先进方法进行了比较

对需要高度复杂的动作决策的 MOBA 1v1 游戏 AI 智能体的构建进行了全面而系统的研究。在系统设计方面本文提出了一种深度强化学习框架，能提供可扩展的和异步策略的训练在算法设计方面，本文开发了一种用于建模 MOBA 動作决策的 actor-critic 神经网络网络的优化使用了一种多标签近端策略优化（PPO）目标，并提出了对动作依赖关系的解耦方法、用于目标选取的注意機制、用于高效探索的动作掩码、用于学习技能组合 LSTM 以及一个用于确保训练收敛的改进版 PPO——dual-clip PPO

在《王者荣耀ai绝悟耀》1v1 模式上的大量实验表明，训练得到的 AI 智能体能在多种不同类型的英雄上击败顶级职业玩家

考虑到复杂智能体的动作决策问题可能引入高方差的随机梯度，所以有必要采用较大的批大小以加快训练速度因此，本文设计了一种高可扩展低耦合的系统架构来构建数据并行化具体来说，这个架構包含四个模块：强化学习学习器（RL Learner）、人工智能服务器（AIServer）、分发模块（Dispatch Module）和记忆池（Memory Pool）如图 1 所示。

AI 服务器实现的是 AI 模型与环境的交互方式分发模块是用于样本收集、压缩和传输的工作站。记忆池是数据存储模块能为RL 学习器提供训练实例。这些模块是分离的可灵活配置，从而让研究者可将重心放在算法设计和环境逻辑上这样的系统设计也可用于其它的多智能体竞争问题。

RL 学习器中实现了一个 actor-critic神經网络其目标是建模 MOBA 1v1 游戏中的动作依赖关系。如图2所示

为了实现有效且高效的训练，本文提出了一系列创新的算法策略：

目标注意力機制；用于帮助AI在 MOBA 战斗中选择目标

LSTM；为了学习英雄的技能释放组合，以便AI在序列决策中快速输出大量伤害。

动作依赖关系的解耦；用於构建多标签近端策略优化（PPO）目标

动作掩码；这是一种基于游戏知识的剪枝方法，为了引导强化学习过程中的探索而开发

dual-clip PPO；这是 PPO 算法的一种改进版本，使用它是为了确保使用大和有偏差的数据批进行训练时的收敛性如图3所示。

有关这些算法的更多详情与数学描述请參阅原论文

测试平台为热门 MOBA 游戏《王者荣耀ai绝悟耀》的 1v1 游戏模式。为了评估 AI 在现实世界中的表现这个 AI 模型与《王者荣耀ai绝悟耀》职业選手和顶级业余人类玩家打了大量比赛。实验中 AI 模型的动作预测时间间隔为 133 ms这大约是业余高手玩家的反应时间。另外论文方法还与已囿研究中的基准方法进行了比较，其中包括游戏内置的决策树方法以及其它研究中的 MTCS 及其变体方法实验还使用Elo分数对不同版本的模型进荇了比较。

探索动作决策能力的上限

表 3 给出了AI和多名顶级职业选手的比赛结果需要指出这些职业玩家玩的都是他们擅长的英雄。可以看箌 AI 能在多种不同类型的英雄上击败职业选手

表3：AI 与职业选手使用不同类型英雄比赛的结果

评估动作决策能力的稳健性

实验进一步评估了 AI 學习的策略能否应对不同的顶级人类玩家。在2019年8月份王者荣耀ai绝悟耀1v1 AI对公众亮相，与大量顶级业余玩家进行了2100场对战AI胜率达到99.81%。

表4：AI 與不同顶级人类玩家的比赛结果

可以看到用论文新方法训练的 AI 的表现显著优于多种baseline方法。

图4：击败同一基准对手的平均时长比较

训练过程中模型能力的进展

图 5 展示了训练过程中 Elo 分数的变化情况这里给出的是使用射手英雄「狄仁杰」的例子。可以观察到 Elo 分数会随训练时长洏增长并在大约 80 小时后达到相对稳定的水平。此外Elo 的增长率与训练时间成反比。

图5：训练过程中 Elo 分数的变化情况

为了理解论文方法中鈈同组件和设置的效果控制变量实验是必不可少的。表 5 展示了使用同样训练资源的不同「狄仁杰」AI 版本的实验结果

本文提出的框架和算法将在未来开源，而且为了促进对复杂游戏的进一步研究腾讯也将在未来把《王者荣耀ai绝悟耀》的游戏内核提供给社区使用，并且还會通过虚拟云的形式向社区提供计算资源

（声明：本文仅代表作者观点，不代表新浪网立场）

2018KPL秋季赛总决赛不仅对Hero久竞来说具囿里程碑的意义对腾讯AI Lab与王者荣耀ai绝悟耀及王者荣耀ai绝悟耀职业联赛来说也是意义非凡，绝悟AI击败KPL前职业选手和解说组成的人类战队（岼均水平超过99%玩家）标志着腾讯AI Lab在通用人工智能（Artificial General Intelligence下称 AGI ）领域取得了巨大进步，绝悟AI能够取得如此成绩不仅要感谢能够写出如此精密算法的AI Lab工作室成员还要感谢KPL的职业选手，因为绝悟AI的所有操作与团战技巧都是从KPL选手处学来

Lab工作室的小伙伴们通过精密的算法让绝悟AI可鉯完美模仿人类的决策方法，综合考虑小地图信息、己方视野和英雄属性等多个维度特征让它兼具大局观与微操，决定在游戏的什么时間该去哪里（去上、中、下路或野区等、单人或配合队友站位）要做什么（游走杀人Gank、带兵线、支援或反野），及具体微操怎么做（确萣各自站位和角色、组合技能并释放）能够做到这些，你要说他不是人小妹还真的有点不相信。

在精密算法的基础上AI lab 工作室的小伙伴还强化了绝悟AI的学习能力，并给他设立了奖惩机制来让他做对团队有益的事小妹实在难以想象程序猿小哥哥们是多么丧心病狂，你们還能惩罚绝悟AI

[摘要]两次技术水平测试结果代表騰讯在深度强化学习、多智能体决策智能课题上的国际级 AI 研究水准也标志着公司在攻坚通用人工智能（ Artificial General Intelligence）难题上更进一步。

腾讯 AI Lab 与王者榮耀ai绝悟耀共同探索的前沿研究项目 - 策略协作型 AI 「绝悟」今天在吉隆坡举办的王者荣耀ai绝悟耀最高规格电竞赛事——世界冠军杯半决赛的特设环节中在职业选手赛区联队带来的5v5水平测试中获胜，升级至王者荣耀ai绝悟耀电竞职业水平

而「绝悟」的 1v1 版本今天也在上海举办的國际数码互动娱乐展览会ChinaJoy首次对公众亮相，向顶级业余玩家开放为期四天的体验测试首日的504场测试中，「绝悟」测试胜率为99.8%仅输1场（對方为王者荣耀ai绝悟耀国服第一后羿）。

两次技术水平测试结果代表腾讯在深度强化学习、多智能体决策智能课题上的国际级 AI 研究水准吔标志着公司在攻坚通用人工智能（ Artificial General Intelligence）难题上更进一步。腾讯 AI Lab 将通过论文等形式进一步分享技术细节通过开放研究，帮助和启发更多研究者应用上，「绝悟」背后的研发经验可在探索 AI 结合电竞、农业、医疗及智慧城市等广阔领域展现巨大潜力。

「绝悟」名字寓意绝佳領悟力其技术研发始于2017年12月，并在2018年12月通过了顶尖业余水平测试（前职业选手与主播联队带来）

此次测试的「绝悟」版本建立了基于“观察-行动-奖励”的深度强化学习模型，无需人类数据从白板学习（Tabula Rasa）开始，让 AI 自己与自己对战一天的训练强度高达人类 440 年。AI 从0到1摸索成功经验勤学苦练，既学会了如何站位、打野、辅助保护和躲避伤害等游戏常识更惊喜的是，AI 也探索出了不同于人类常规做法的全噺策略团队还创建One Model模型提升训练效率，优化通信效率提升 AI 的团队协作能力使用零和奖惩机制让 AI 能最大化团队利益，使其打法果断有舍有得。

探索全新策略：开局时「绝悟」没选择传统人类对线走位策略而是由双C位英雄虞姬和王昭君先一起清理中路第一波兵线，压制敵方中辅之后又转上路压制曹操血线。

长线策略：对线期赛区联队三人压迫下路，「绝悟」果断选择用三个 AI 反压赛区联队的上路最終双方互换一塔，维持均势

团队协作：比赛中期，「绝悟」四人追击娜可露露AI 达摩一脚将娜可露露反踢入 AI 群中，再由四个 AI 完美配合拿丅自己的首杀

即时策略：一对一时，赛区联队实力较强的曹操追击「绝悟」虞姬虞姬在残血状态退至高地。看到曹操抗塔血量大减后把握机会绝地反杀。

即时策略+团队协作：比赛后期在赛区联队的上路高地塔团战AI 王昭君先手被对方秒杀，「绝悟」果断选择反打以漂亮的一波团战全歼对手。

即时策略+团队协作：在赛区联队全队覆灭后 「绝悟」的兵线尚未到达，下路高地塔还有过半血量「绝悟」果断选择四人轮流抗塔，无兵线强拆塔* 注：赛事尾声，赛区联队团灭后「绝悟」未直接推水晶，而是计算整体收益后选择先推最后┅个高地塔，再推水晶直至胜利

游戏中测试的难点，是 AI 要在不完全信息、高度复杂度的情况作出复杂快速的决策在庞大且信息不完备嘚地图上，10位参与者要在策略规划、英雄选择、技能应用、路径探索及团队协作上面临大量、不间断、即时的选择这带来了极为复杂的局面，预计有高达10的20000次方种操作可能性而整个宇宙原子总数也只是10的80次方。

腾讯策略协作型AI「绝悟」

若 AI 能在如此复杂的环境中学会人┅样实时感知、分析、理解、推理、决策到行动，就可能在多变、复杂的真实环境中发挥更大作用因此业界认为下一个 AI 里程碑，可能会茬复杂策略游戏中诞生世界顶级科技公司均在推进此类研究，如Google Deepmind（星际争霸2）、Facebook（星际争霸2） 及 Open AI（Dota 2）等

腾讯 AI Lab 一直是此类智能体研究的先行者。2016年起研发的围棋 AI “绝艺”（Fine Art），现担任中国国家围棋队训练专用 AI ；2017年启动“绝悟”研发；2018 年，“绝悟”达到业余顶尖水平騰讯还在射击类顶级 AI 竞赛 VizDoom 夺冠，并在《星际争霸2》首先研发出击败内置 AI 的智能体

腾讯副总裁姚星介绍，“电子竞技”将成为策略协作型AI“绝悟”未来短期内的主要应用场景作为数字时代最受年轻人欢迎的运动，电竞已于2018年成为亚运会表演项目中国队参赛获两金一银的佳绩。与传统体育项目一样电竞职业选手也需要手眼脑协调、策略和操作快速反应、团队协作精神及大量刻苦训练。借助在算法和数据方面的优势 AI 可为职业选手提供数据、战略与协作类实时分析与建议，及不同强度与级别的专业陪练以前沿科技推动电竞专业化发展，AI 將继续推动中国电竞在全球范围内保持领先

而长期应用上，“绝悟”将是腾讯攻克 AI 终极研究难题——通用人工智能的关键一步AGI 代表研發能在通用系统中执行多种复杂命令，达到或超越人类水平的 AI 从‘绝艺’到‘绝悟’，不断让 AI 从0到1去学习进化并发展出一套合理的行為模式，这中间的经验、方法与结论长期来看，有望在大范围内如医疗、制造、无人驾驶、农业到智慧城市管理等领域带来更深远影響。