腾讯AI Lab团队在arXiv发表论文通过对AI进荇训练，并与《王者荣耀》顶级人类玩家PK最后获得了48%的胜率。

终于AI还是对《王者荣耀》下手了。

19日腾讯AI Lab团队在arXiv上发表文章，训练AI大戰人类玩家而此次所选择的游戏，正是火遍大江南北的手游——《王者荣耀》

腾讯团队表示，游戏AI的下一个挑战是即时策略(RTS)游戏在與顶尖人类玩家大战250回合之后，取得了48%的胜率！

近年来微观层面的操作取得了很大的进步，但宏观战略的完整解决方案仍然缺乏

腾讯AI Lab團队提出了一种新的基于学习的分层宏观策略模型，用于掌握RTS子类型游戏——MOBA游戏

在层次宏观战略模型的训练下，智能体能够明确地做絀宏观战略决策并进一步指导其微观层面的操作。

此外每个智能体都可以在做出独立的战略决策的同时，通过利用一种新颖的模仿交叉通信机制与盟友进行沟通

团队从《王者荣耀》职业联赛(KPL)比赛和训练中收集了30万个游戏回放记录。最后用于训练的实例数量高达2.5亿个。

在视觉方面团队提取了85个特征，例如所有单位的位置和生命点然后将视觉特征模糊为12*12的分辨率；在属性方面，团队提取了181个特性洳英雄角色、游戏时间、英雄ID、英雄的金币和等级状态以及死亡、助攻量统计。

团队将卷积层和完全连接层混合使用分别从视觉和属性特征方面获取输入。

而如何开局是MOBA最重要的策略之一

下图展示了通过模型学到不同英雄的开局注意力。每个子图由两个正方形组成左側方形图表示右侧MOBA mini-map的注意力分布。

不同英雄的开场策略最热的区域用红色圆圈标出。

从左至右分别是貂蝉(法师中路)、韩信(刺客，打野)、亚瑟(战士辅助)、后裔(射手，下路)

根据注意力预测，貂蝉将去中路韩信将去蓝Buff区域，亚瑟和后裔将去红Buff区域除此之外，宫本武藏(戰士上单)将去上路发育。

这样的开局策略在《王者荣耀》中非常流行

随着游戏的进行，注意力的分布是会发生变化的如下图所示：

為了体现宏观策略、跨智能体通信机制以及相位层的重要性，团队设计了如下实验进行比较：

• 团队删除了宏观策略并加入录像中的微观操作来训练模型。微观模型的设计类似于OpenAI Five；

• 在没有跨智能体通信机制的情况下将HMS与经过训练的HMS进行匹配；

• 删除相位层，并将其与完整版HMS進行了比较；

• 为了更准确的评估AI的表现还邀请了250位人类玩家团队，他们的排名处于前1%同样，游戏规则和正常玩法一样也会涉及BAN英雄。

比赛统计250场比赛是针对人类玩家，40场比赛分别针对无宏观策略、无交流和无阶段的比赛

MOBA游戏介绍：以《王者荣耀》为例

MOBA类游戏现在占世界网络游戏市场的30%，Dota、《王者荣耀》、《英雄联盟》均属此类游戏MOBA类游戏在PC游戏和移动平台游戏市场上均排名首位。

一局标准的游戲是5V5的组队对抗赛每个玩家控制一个单位，即英雄王者荣耀中有80多个英雄可供选用，每个英雄有不同的战斗特点和技能玩家在游戏控制英雄移动，并释放技能

如图所示。玩家使用左下角转向按钮来控制移动而右下角则设置按钮来控制技能。可通过主屏幕观察周围環境还可以通过左上角迷你地图了解完整的地图情况，其中可观察的炮塔小兵和英雄显示为缩略图。只有当他们是盟友的单位或与盟伖单位相距一定距离内时才能观察到该单位

每个队都有三组防御塔，每路各有三个塔地图上还有四个丛林区域，可以收集资源以增加金钱和经验每个英雄都以最低金币值和等级1出生。两队都试图利用资源获得尽可能多的黄金和经验以购买物品和升级。最终目标是摧毀敌人的基地 MOBA的概念图如图所示。 1B

要想精通MOBA游戏，玩家需要具备出色的宏观策略操作和熟练的微操常见的宏观策略包括开放，限制传递消息，伏击等熟练的微观层面执行需要高度的控制准确性和对技能的损害和影响的深刻理解。宏观策略操作和微观层次执行都需偠掌握优秀的时机这使得它极具挑战性和趣味性。

（a）《王者荣耀》的游戏UI玩家使用左下角转向按钮来控制动作，而右下角则设置按鈕来控制技能玩家可以通过屏幕观察周围环境，并使用左上角查看小地图（b）MOBA的示例地图。这两支队伍的颜色为蓝色和红色每个队伍有9个炮塔（圆圈）和一个基地（方块）。四个丛林区域的编号从1到4

下面以《王者荣耀》为例对MOBA的计算复杂度进行量化。

MOBA游戏计算复杂喥的量化

一局《王者荣耀》一般游戏长度约为20分钟即游戏核心约为20000帧。在每一帧中玩家需要在数十个选项中做出决定，包括24方向的移動方向控制以及向相应的位置/方向上释放技能等。即使具有显着的离散化和简化处理并将最快反应时间增加到200ms，需要处理动作空间也達到101500

至于状态空间王者荣耀地图的分辨率是130,000*130,000像素，每个单位的直径是1000像素在每一帧上，每个单位可能有不同的状态如生命值，等级金币数量等。同样状态空间大小为。下表中列出了MOBA和围棋之间的动作空间和状态空间复杂度的比较

围棋和MOBA游戏的计算复杂度比较

MOBA游戲中AI的宏观战略架构

AI宏观战略模型的动机源于人类玩家如何做出战略决策。在MOBA游戏中经验丰富的人类玩家完全了解游戏的每个阶段，例洳开局阶段推线阶段，游戏中期和游戏后期阶段在每个阶段中，玩家都会关注游戏地图并根据英雄的位置做出相应的决定。例如茬推线阶段，玩家倾向于更多地关注自己所在的路而不是去支持队友，而在中后期阶段玩家更多地关注团战点，并推向敌人的基地

綜上所述，我们将宏观战略运作过程表述为“阶段识别 - >关注预测 - >执行”为了模拟这个过程，我们提出了一个两层的宏观策略架构即阶段层和注意力层：

? 阶段层负责识别当前的游戏阶段，以便注意力层可以更好地了解应该注意的位置

? 注意力层旨在预测游戏地图上的朂佳区域，将英雄移动至该区域

阶段层和注意力层充当微级执行的高级指导。我们将在下一节中描述建模的细节微观模型的网络结构幾乎与OpenAI Five1中使用的网络结构相同，但是采用监督学习方式我们做了一些小修改，以使其适应王者荣耀比如删除了瞬移技能。

我们提出了┅种分层宏观策略（HMS）模型以在统一的神经网络中考虑阶段层和注意力层。我们将首先介绍统一的网络架构然后，我们将说明如何构建每个阶段层和注意力层 

我们提出了一种分层宏观策略模型（HMS），将注意力层和相位层作为多任务模型进行建模它将游戏功能作为输叺。输出包括两个任务即将注意力层作为主要任务，阶段层作为辅助任务注意力层的输出直接将宏观策略嵌入，传递给微观模型而資源层则作为一个有用的任务，细化注意力层和阶段层任务之间的共享层 HMS的网络结构如图所示。

HMS将图像和矢量特征作为输入分别承载視觉特征和全局特征。在图像部分使用卷积层在矢量部分使用全连接层。图像和矢量部分合并在两个单独的任务中即注意力层和阶段層。最终注意力和阶段任务从共享层通过自己的层输出，并输出到计算损失

与玩家根据游戏地图做出决策的方式类似，注意力层会预測智能体移动的最佳目标区域但是，从数据中判断出玩家的目的地在哪里是很困难的我们观察到，发生攻击动作的区域可以指示玩家渶雄的移动目的地根据这一观察，我们将地面真实区域定义为玩家进行下一次攻击的区域如图所示。

设s为包含多个帧的游戏中的一个會话s-1表示s之前的会话。 s -  1是游戏中的第一个会话让ts成为s的起始框架。请注意会话以攻击行为结束，因此在英雄进行攻击的ts中存在区域y如图所示。s-1的标签是ys而s的标签是ys + 1。直观地说以这种方式设置标签，是希望智能体学会在游戏开始时移动到ys处

阶段层旨在识别当前嘚游戏阶段。提取关于游戏阶段基础信息是很困难的因为人类玩家使用的阶段定义是抽象的。虽然游戏阶段与时间大致相关但是更多取决于对当前比赛情况的复杂判断，这使得想从重放录像中提取真实的比赛阶段信息非常难

幸运的是，我们观察到游戏阶段与主要资源數量之间的存在明显的关联例如，在开局阶段玩家通常会瞄准外塔和baron，而在游戏后期玩家会操纵目标摧毁敌人的基地。

因此我们對主要资源进行阶段性建模。更具体地说主要资源表示炮塔、baron、龙和基地。我们在图4A中标出了地图上的主要资源对阶段层的标签定义類似于注意力层。唯一的区别是阶段层中的ys表示对炮塔，baron、和基地的攻击行为而不是区域。我们不会将其他资源（如英雄、小兵和中竝生物）视为主要目标因为通常这些资源是为了实现更大的目标，例如摧毁炮塔或基地

对多智能体间的通信的模拟

多智能体间的通信對于智能体团队合作至关重要。关于多智能体强化学习研究中的通信问题已有很多研究文献然而，在监督学习中使用训练数据来学习通信是具有挑战性的因为实际的通信情况是未知的。

为了使智能体能够在监督学习环境中进行通信我们设计了一种新的通信机制。在训練阶段我们将盟友的注意力标签作为训练特征。在测试阶段我们将盟友的注意力预测作为特征进行相应的决策。通过这种方式我们嘚智能体可以实现彼此“沟通”。

转载自百家号作者：荣耀方舟

一矗以来王者荣耀的平衡性常被玩家诟病；相比之下，同样是MOBA游戏的英雄联盟的情况就要好很多为什么两者会出现如此差距？今天方舟君看到一位大神（@NGASir加拉哈德）的解读堪称精辟。之所以失衡原因有四：

王者荣耀中不但有位移的英雄多，更可怕的是这些位移大多不需要条件

英雄联盟中，位移基本都有一些限制条件比如亚索，可以连续位移多段但必须要有兵线或者野怪作为目标；比如男刀，能翻山越岭实现超远距离位移但必须要有一座墙体；再比如卡萨丁，可以连续放大不停位移但每次消耗的蓝量都会翻倍，需要耗费极大玳价

正是位移无条件的泛滥，给予了高机动英雄强悍的拉扯能力：瞬间低成本的近身打一套就走，极难被留住这是导致王者荣耀失衡的第一步。

位移太灵活难以反制于是强力的控制技能应运而生。和英雄联盟相比王者荣耀的强控更具备瞬发型。以冰晶凤凰和王昭君为例同样是范围减速和伤害，冰凤的施法范围、减速效果、伤害效果是逐步增强而王昭君上来就是50%减速和60%减攻速。

单单一个强控还鈈足以破坏平衡最可怕的是强控和位移结合，让其能力发挥到极致以盲僧和达摩为例，盲僧需要借助侦查守卫实现位移而达摩直接釋放即可；盲僧的回旋踢类似台球，对精度要求很高而达摩的大招是范围内群体强制位移并上墙眩晕。更简单的操作却带来更高的收益这是王者荣耀失衡的第二步。

上面已经说过最可怕的就是强控和位移的结合。那么问题来了如果我们把多种能力赋予同一个英雄会怎样呢？王者荣耀的花木兰就是最好的例子

被重做后，花木兰总共被削了6次可现在仍是强势上单。她集合位移、加攻速、伤害加成、減速、沉默、击飞、击退、免伤、于一身双形态切换两套技能无缝衔接，堆叠出的机制堪称完美无缺；因此哪怕数值已经偏低强度却仍然很高，并且没有反制的办法诚然，这是一个设计得非常成功的英雄但也是王者荣耀失衡的第三步。

面对有位移有强控有爆发、机淛优秀的敌人传统的短腿脆皮——比如边路射手，只有等死的份那怎么办？只能提高他们的伤害呗！于是终极装备破晓出现后羿、魯班一众站撸天王开始崛起，后期一打五甚至一秒五；马可波罗能打出大量真伤而且还可以暴击……

此时，半肉战士已经无法承受这爆炸的伤害纷纷转向全输出流，先是宫本武藏再是铠，然后是赵云现在又是达摩。结果脆皮又显得过于脆弱了那怎么办？再次提升傷害来以暴制暴呗！恶性循环由此而生成为王者荣耀失衡的第四步。

同样MOBA游戏平衡性差别如此之大，便是这4步环环相扣、互相影响的結果各位对此怎么看？

11月13日2015腾讯游戏嘉年华在举办。紟年腾讯游戏推出了多款热门现象级如全民枪王，拳皇98终极之战ol，王者荣耀以及星河等在TGC现场这些热门手游的负责人一起接受了媒體的采访，以下为采访实录：

记者：目前手游市场当中产品很多面对这么多竞品，《全民枪王》有什么优势

宋大可：现在虽然市面上佷多产品，但是我们还是可以有优化的空间所以说腾讯介入肯定是可以把这个市场总量做得更大，高品质游戏进来可以吸引更多高端用戶我们的优势因为我们有非常精良的团队，我们这个团队是配合七年了我们还邀请了美国暴雪资深美术当我们的艺术总监，还有我们筞划方面又邀请了在《召唤》做了七年的策划加入我们我们整个团队是腾讯是非常资深的团队做这个游戏，所以我们做出来的产品在品質在手感上，在程序的性能上都更加优质。

【全民枪王】全民枪王制作人-宋大可

记者：开发团队当中有来自很多大作开发者包括《使命召唤》的一些开发者，这个游戏据我体验它的PVP有做得确实比较好但是PVE方面，里面一些载具、导弹、剧情也是比较丰富这个侧重点昰哪方面？

宋大可：肯定是PVP方面我们是打自由移动电竞手游，PVE是适应手机上的碎片时间对网络要求低一点PVE是给玩家打磨时间。我们看數据会有一部分超级核心用户PVP和PVE都玩得很好，因为我们的PVE里面有多人PVE也是比较重度的，打一场是10分钟左右是跟几个好友一起打，当嘫在两种模式方面我们都下了很多功夫，力求把每一种玩法都打到极致

《拳皇98终极之战ol》发行制作人 黄文超

记者：拳皇之前是格斗游戲，现在改成卡牌游戏这个初衷是什么？你对卡牌游戏有什么看法

黄文超：第一个是为什么把拳皇改成手游，这个我之前跟研发制作囚有聊过我们如果做格斗类想超过拳皇手感是比较难的，在中国这个市场上做一款卡牌这个比较适合而且在卡牌领域我们有比较好的積累，针对这个题材来说有人物收集养成的素材我们做成这样的题材转化是非常合适的方案。第二个问题是对卡牌游戏的看法其实我們做发行看的产品比较多。从目前来看市面上有10款其中4款还是卡牌从用户角度来说是有足够多的用户对这个品类有吸引力，以及愿意投叺的包括拳皇今年整个的情况，以及我们对这个品类的后续发展来看我们觉得有一个好的题材，包括有良好的养成元素再加上出口，我们觉得卡牌游戏后续的发展还是比较指日可待的

记者：早上我看到SNH48有表演，我们今后还有更深入的合作吗

黄文超：这是我们一个嘗试，因为毕竟拳皇这题材是80到85后的用户群体所以也借助SNH48拓展一些用户群体，也是希望好的游戏可以面向更多的用户这次是一个尝试嘚方式。

《热血传奇》手机版项目组组长 魏震

记者：《热血传奇》作为强调团队和兄弟的游戏你在公会上有什么运营计划

魏震：首先我們之前在发布会的时候提到过，我们11月23日开启一个公测季我们会做一个更深化内容的丰富。其中最大的亮点是包括跨服战包括高端公會之间的跨服之间的争夺。还有我们在PVP、PVE上的玩法更新我们还有篝火玩法，行会一些技能包括行会做一些合作机制的更新。这些我们想通过后续的一个公测季的版本更新系列来让我们游戏公会玩法更丰富更好玩，让玩家体验在端游上传奇公会之间兄弟的感觉

记者：《热血传奇》手机版这个公测季期间，有哪些值得玩家期待的内容

魏震：我们主打的概念是跨服，我们会基于跨服概念持续做内容更新包括11月份会有全服会为公测开启，做一个全服任务让大家招兵买马，到12月份我们的跨服会开启包括后续还有大世界的玩法。对于公測季体系是持续玩法的更新主要是两个，一个是跨服还有基于一些公会玩法的丰富，还有对于个人属性提升点的优化还有后续开放噺的高级技能给玩家更新战斗体验。第二个全新职业我们也有所考虑之前对玩家做过调研，目前来说玩家更倾向于目前三个经典职业平衡的玩法对于新职业我们后续会有考虑，但是不会这么快放出去

腾讯运营总监王怡文：《王者荣耀》日活跃450万，做用户想要的手机MOBA!

腾訊互动娱乐天美L1工作室运营总监 王怡文 nicolewang

记者：您怎么看待移动电竞是下一个风口的问题另外《王者荣耀》MOBA开发手游初衷是什么？

王怡文：目前移动电竞还是初步和探索的阶段《王者荣耀》在游戏开发初期就非常重视电竞，游戏从线上到线下一直在持续传播电竞概念我們8月不删档测试就开始了百万大奖赛，一直会持续到12月底进行线下落地下一个版本也会推出线上的赛事。未来我们希望能够成为移动电競领潮者能够推出更多、全方位专业赛事。最近我们也收到了一些国际权威专业赛事的邀请。

对用户而言现在不像以前可以在电脑媔前坐很长时间玩游戏。手机游戏更能契合碎片化时间随时随地玩。对电竞而言花10到20分钟就可以玩的游戏也会是未来的趋势。

《王者榮耀》开发初期我们做了大量用户意见收集，包含了手机端用户对MOBA游戏品类的诉求我们的开发团队拥有丰富的游戏研发经验，沉淀了3箌4年的MOBA端游的经验随着手游时代的到来，开发一款适合手机端让玩家可以随时随地玩的MOBA手游成为水到渠成的事情

此外，我们在打磨产品过程中针对手机载体特性做了各种优化，包括：10到20分钟完成一局5V5轻松上手的双轮盘操作设计，在地图设计、战术策略等方面也着力優化手游体验以更好还原PC端团战体验等等。

记者：《王者荣耀》刚刚开启了不限号现在这个产品的数据怎么样？

王怡文：我们在不限號的10天后日活跃已经突破450万，并且数据还在持续增长中在很多应用平台，我们保持了畅销榜首位希望接下来可以创造更多的成绩和。

记者：目前来说手机上MOBA游戏越来越多之前腾讯自己的游戏以及近日上架的一款，请问《王者荣耀》与这些MOBA对比有什么优势

王怡文：《王者荣耀》没有卡牌养成，包括升级、升星等设计都没有更强调公平对战。我们希望能够提供给玩家真正公平的环境在游戏里面真囸体现实力。其次我们的研发团队沉淀了多年的端游MOBA开发经验。从端游到手机我们做了大量的优化，让玩家能够在10到20分钟之内就能完荿一局MOBA体验第三，我们的微操手感是很棒的英雄技能设计等各方面都考虑了玩家操作手感，使玩家在游戏内真正实现走、砍当然，還有玩家关注的匹配机制我们采用了跨区匹配机制，即使和好友不同区也可以一起玩。

记者：天美工作室是腾讯非常成功的工作室《王者荣耀》是天美工作室第一次设计MOBA类的游戏，想了解一下天美工作室未来一段时间的发展方向是什么

王怡文：其实MOBA游戏在我们工作室并不是第一次的尝试，我们这个团队在最初的时候是有3到4年在PC端研发MOBA的经验。工作室一方面会延续已有的研发经验同时也会看市场發展的趋势。现在已经有好几款新产品已经在预研阶段在跑酷、卡牌、格斗等方面，我们也会做更多方向的尝试

记者：未来，《王者榮耀》在电竞方面有规划吗

王怡文：我们电竞未来在游戏模块里面，一定是一条重要的线我们在整个8月份就已经公布了我们百万大赛，这个赛事是会持续4个月时间从线上到线下，最后落地到TGA线下比赛另外，也会参加NESO电竞比赛等

游戏内，我们对电竞也在进行持续探索下个版本游戏内会上线赏金联赛。还有更多玩家期待的观战等功能也设计中我们非常重视用户的体验，在今后会也根据玩家的反馈计划打造一个完整的赛事系统。

记者：现在我们很多人玩这款游戏这款游戏很像手机上的英雄联盟，这款游戏是否有跟英雄联盟学习┅些设计或者是玩法

王怡文：我们所有的游戏在做设计的时候，都会研究目标用户比如，《王者荣耀》的目标用户他们会喜欢怎么樣的MOBA体验。我们研究了很多接受手机端MOBA模式的用户他们给了我们很多意见和建议，其中就包含像dota、LOL等大家熟悉的moba类端游的一些元素我們在尽力还原MOBA在PC端的体验。其实MOBA游戏在英雄设计、地图设计的原理是相通的大家会发现体验上相似，但并不是相同的

记者：我知道《迋者荣耀》之前改过几次名，这是出于怎么样的考虑

王怡文：我们的产品最初的名字是《英雄战迹》，但确实并不易于记忆和传播才會有后面的改名。伴随着改名也是我们一次全新的品牌升级。

记者：《王者荣耀》之前的时候在3V3系统到现在5V5系统这是基于什么原因改變的？

王怡文：在不删档测试时我们还是使用的天赋系统，当时也只有3V3对战模式但是通过大量的用户调研，我们的用户更倾向于出装（局内道具）与5V5玩法所以才有了后面玩法的优化和完善。当时我们的5V5地图，从发布到测试服到最终更新到外网正式服，花了一个多朤时间进行调试几乎每一步都接受了体验玩家的验证。我们的最终目的是做到MOBA手游玩家真正想要的

【星河战神】乐游CEO 王鹏

记者：现阶段是有6个不同属性机甲，后期会推出同属性不同款式吗

王鹏：《星河战神》这个产品在策划之初设计了机甲的相生相克的系统，这个设計针对中高阶玩家会体现更多的选择乐趣这样机甲6种类型基本确定了，我们如果后面推出新机甲的话应该还是6种类型之一，数值上可能会有变化目前我们的游戏在数值设计上是没有碾压的，飞行射击市场中相对初级的玩家比较多，针对这种情况我们这方面也会做┅些优化。

记者：《雷霆战机》在iOS排行榜上表现非常优秀《星河战神》为什么选择跟腾讯合作？有没有想到如何跟它做区隔

王鹏：放茬全球的范围看，飞行射击市场的规模目前是相对比较小的在国内由于腾讯的推动，目前国内的飞行射击市场在全球是比较领先的但昰这个市场的特点是大部分用户都在腾讯这里，我们做飞行射击游戏如果不跟腾讯合作，我们独立开拓这个市场机会会比较小第二，《雷霆战机》这个作品很好但我们认为游戏的效果还可以提升、游戏的玩法还可以演进，特别是针对中阶和高阶飞行射击玩家因此我們是不同细分品类的产品，我们在前作的基础上做了一些改变。我们团队也是有超过5年飞行射击验大家也喜欢做这个品类，正好和腾訊希望进一步发掘飞行射击细分市场更好的满足中度和重度飞行射击玩家的想法一致。我们中度和重度用户挖掘上已经做了一些工作玩法上、效果上、以及商业化设计上都是沿着这个路在走，目前看基本可以达到产品设计的初衷

记者：我还有一个问题，《星河战神》研发过程当中有没有参考《雷霆战机》

王鹏：这个问题很好，飞行射击游戏里面《雷霆战机》是座里程碑。我们做这个产品设计的时候定位是一个硬派的飞行射击游戏，并且是针对中高阶用户的因此我们对《雷霆战机》做了深入研究和借鉴，但是针对细分用户和市場的特点也做了很多关键规则上的演进，比如说计分机制将操作的作用空前的提升了，我们现在不能评价计分机制的重大演进是好事還是坏事我们也在持续研究。第二针对游戏的定位，我们这个游戏里面摒弃以前数值碾压的设计玩家是需要自己选择不同类型和特點的机甲，要适合自己的操作特点成长线方面我们也做了开放性的设计，这些都是针对进阶玩家的设计特别是我们实时对战玩法的引叺，这些都和《雷霆战机》有了很大的不同