独家解析：狂虐Dota2最强人类玩家的OpenAI是怎样炼成的？
独家解析：狂虐Dota2最强人类玩家的OpenAI是怎样炼成的？
20:47:44& &来源：
　　继AlphaGo横扫围棋界后，人工智能又攻陷了电竞界。在最近的Dota 2比赛中，埃隆·马斯克旗下AI研究机构OpenAI打造的机器人一鸣惊人，狂虐世界知名Dota选手Dendi，成为在电竞领域首个击败人类顶级玩家的机器人。
　　此次人机大战采取一对一模式，共进行三轮比赛。在第一场对战中，OpenAI机器人只用了十分钟就干掉了Dendi，Dendi甚至还一度大叫，“请放过我吧！”到了第二场比赛，Dendi被痛打几分钟后，就主动放弃了比赛，并拒绝进行第三场比赛。
　　人类又输了，而且输得还很惨！那么问题就来了，这位OpenAI机器人究竟是如何做到完虐人类的呢？答案就是“自学”。
　　新浪VR了解到，OpenAI机器人采取了“自我博弈（self-play）”的方式来学习打Dota，训练过程中并没有使用模仿学习或者类似于AlphaGo的树搜索技术。简单来讲，“自我博弈”就是通过自己与自己的复制品对打，而不是与人类选手对战，获得游戏经验。在“自我博弈”中，机器人与自己复制品的实力相当，就可以避免因对手太强或者太弱而学不到东西。而且，由于机器人的决策和操作速度远远超过人类，它就可以在短时间内用海量的比赛来迅速获得更多经验。
　　其实，“自我博弈”在此前AlphaGo的训练中就有过类似应用，AlphaGo曾经通过自我对弈3000万盘，来提高自己神经网络的精度。只不过，AlphaGo在自我对弈前，还曾被输入16万盘人类棋手的棋谱，通过海量棋谱来学习人类落子布局的特征；而OpenAI则是完全从零开始，在对Dota游戏世界没有认知的情况下就开始通过自我对练学习游戏方法。研发团队也表示，他们并没有为OpenAI机器人编入对战策略，没有为它指定任何战术，一开始也没让它与人类高手对练，而是让它“放飞自我”，随机行动，在一次次失败过程中逐渐掌握了游戏打法。
　　在最开始的时候，OpenAI机器人完全就是什么都不懂的“Dota小白”。比如，Dota游戏里面有“清理兵线”的操作，但这位机器人却连什么是“兵线”都不知道。它所采取的行动也是随机的，只会在游戏世界里毫无目的地到处乱跑，最后被杀掉。
　　但是，事实证明，“自我博弈”的训练方式非常有效。随着时间的推移，机器人训练数量越来越多，它开始逐渐掌握一些战术，学会了补刀、追杀、攻击闪躲、攻击诱骗等战术。根据OpenAI在官网公布的项目时间表（如下），在一个月的时间里，OpenAI机器人就从几乎不敌高排名选手，成长到可以击败顶级职业选手，并且还在提升中。
　　OpenAI机器人天梯重点大事件（MMR为比赛匹配分级系统，可理解为天梯分）：
3月1日：在一个简单的Dota环境中获得首个增强学习下的结果，OpenAI机器人操作的黑暗游侠能对付神牛了。
5月8日：1.5k MMR测试员认为OpenAI机器人还不敌自己。
6月初：打败1.5k MMR测试员。
6月30日：在大多数比赛中打败3k MMR测试员。
7月8日：几乎在所有比赛中胜过7.5K MMR半专业测试员。
8月7日：3-0击败Blitz（6.2k前职业选手），2-1击败Pajkatt（8.5k职业选手），3-0击败CC&C（8.9k职业选手），但大家认为Sumail可以胜过OpenAI机器人。
8月9日：10-0击败Arteezy（10k顶级选手），但大家仍然相信Sumail可以胜过OpenAI机器人。
8月10日：6-0击败Sumail（8.3k职业选手，顶级1v1玩家），前一日的对战结果还是2-1。
8月11日：2-0击败Dendi（7.3k职业选手，前世界冠军）。
　　毫无疑问，OpenAI机器人的进步堪称神速，在一对一模式下的战斗力估计可以秒杀大部分人类玩家，但是，OpenAI机器人也有自己的缺点，它并不是不可战胜的。在Dendi战败后，国外就有不少玩家开始了对OpenAI机器人的挑战，而OpenAI机器人也不负众望地被人类狠狠虐了一番。在国外社交网站Reddit上，有玩家表示，OpenAI机器人已经被人类打败了至少五十次！
　　对此，OpenAI也在官网上解释道，如果机器人碰到之前从未见过的情况，可能就会变得懵逼，不知道怎么反应，最后被人类干掉。OpenAI也对打败机器人的方法进行了总结，主要有三种：
拖拉小兵：当小兵通过二级和三级塔之间时，可以反复攻击它们，吸引小兵来追你，最终地图上就会有数十个小兵追逐你，机器人则会因为塔磨损了太多血量而死亡。
毒球+风杖：你在移动速度上可以获得比1级的机器人更大的优势，从而迅速获得第一滴血。&
1级交战：需要很多技巧，少数6-7k的MMR玩家可以在短时间内成功击中机器人3-5下，在1级时干掉机器人。
　　OpenAI机器人被人类狂虐，看似是人类扳回了一局，但是实际上，你每打败它一次，它都变得更强大了。OpenAI机器人每次被打败，都会从失败中学习到更多经验，从而避免以后被同样的方式打败。所以，表面上看是人类打败了OpenAI机器人，事实却是人类在帮助它变得更强大！
　　而且，OpenAI的野心还不止于此。在此次人机大战中，OpenAI仅仅是在相对简单的一对一模式下战胜了Dendi，如果切换到五对五模式，人工智能和人类孰胜孰负还不一定呢！因此，OpenAI未来还要继续挑战Dota五对五比赛。在五对五模式下，机器人所面对的情况将更加复杂，不仅需要针对当前局势做出正确的预测和决策，还需要五个机器人做好团队协作，处理机器人之间的信息流动。虽然每个机器人都是最强的，但五个最强的机器人如果配合不好，也有可能会被打败。
　　针对五对五模式，OpenAI透露，他们已经收集了海量专家级别的五对五Dota比赛数据，目前的初步想法是从行为克隆开始做起。OpenAI在官网上表示，Dota每天都有大约一百万场公开赛，这些比赛的重播数据会在Valve的服务器上保存两周。OpenAI从去年11月以来，就一直在下载每场专家级比赛的重播数据，目前已经收集了580万局游戏的数据（每局都是10人参与的45分钟游戏）。
　　除此之外，OpenAI还在考虑未来让机器人和人类玩家组队，共同作战。目前，我们还不能确定，OpenAI机器人是否真能在5V5模式下战胜人类，但是，难以否认的是，未来将有更多人工智能效仿OpenAI，试水电竞行业，在游戏中与人类一决高下！一个机器人就已经可以完虐人类最强玩家，五个机器人一起上，你准备好了吗？
新浪声明：新浪网登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。
美国专利局批准了微软的一款设计专利，该专利是以枪的形式呈现的HoloLens或者其它游戏头显的配件。
来自：技术速递
日本游戏开发商Square Enix宣布《最终幻想15:深海怪物》游戏将于11月21日发布。
来自：游戏资讯
英国的一个建筑业联盟Augmented Worker System近日获得来自英国政府的100万英镑投资。该组织致力于将AR和VR技术应用于建筑行业中...
来自：技术速递
VR戒毒分三步：诱发、厌恶、回归。他们的人生，也是这三步。
来自：行业数据
HOT RECOMMEND
HOT RECOMMEND
用微信扫描二维码
分享至微信朋友圈用科学的力量让你瞎眼——OpenAI的Dota2AI天下无敌？！ - 为程序员服务
用科学的力量让你瞎眼——OpenAI的Dota2AI天下无敌？！
在今天早晨的Dota2国际邀请赛（TI7）中，主办方为我们带来了一场极其特别的赛事。在位于西雅图的钥匙体育馆内，数以万计的观众重新见到了TI1冠军成员、Dota2的代言人之一——Dendi。这位乌克兰老司机的前来，是为了参加一场Dota2的SOLO比赛，与众不同的是，他的对手，是一枚小小的U盘——没错，正如打遍天下无敌手的AlphaGo一样，这是人工智能第一次在一个游戏的公开比赛中（而且是TI7这样史无前例的重大比赛）挑战人类选手，OpenAI的工程师们试图证明，他们长久以来在增强学习领域上的很多努力并不只是纸面文章，他们创建的AI已经可以在现实领域中，并且是Dota2这样复杂的游戏场景中和人类一较高下了。
正如我们之前介绍过的DeepMind开始研究星际争霸2的AI一样，OpenAI这次带来的机器人也并非是可以作弊的——AI的表现会跟接近于一个玩家本身，也需要获取视觉信息、策划如何操作。而据OpenAI介绍，他们本次参加Solo大赛的AI完全没有任何比赛经验，它对于游戏的理解完全来自于自学。AI一开始并不知道如何指挥英雄行走、补刀并和敌方英雄进行对抗，它只能通过对于游戏的反复练习来自行掌握（也就是纯粹的无监督增强学习）。更重要的是，AI限定的APM（每分钟操作数）也和一般人类一般——从这种意义上说，这是一个毫无作弊行为而言的AI，它的表现完全就像一个普通的人类玩家。
在上面的视频中，你可以看到AI是如何一步一步完全通过自学掌握游戏要领的，它不仅通过尝试了解到了如何走位、如何预测敌方行动，甚至能够通过影响兵线来占据优势。
在今天的比赛之前，OpenAI就已经找来了很多Dota2的职业选手来测试他们的成果，其中不乏闻名天下的Sumail、Arteezy这些世界顶尖Solo高手（如果你不知道他们是谁，你只需要这样理解，全天下能打败这些选手的Dota2玩家不超过一只手）。但所有人都为AI的表现瞠目结舌——因为OpenAI为他们带来的对手不仅一场不败，而且表现非常完美，毫无瑕疵。当被问及Dendi老司机能否打败这个AI时，虽然很多人对Dendi表示支持，所有人的眼神都告诉我们——悬。
而事实也是如此，Dendi在第一局比赛中坚持了十分钟就败下阵来，第二局比赛又中途放弃并拒绝参加第三局比赛——虽然我们必须承认，Dendi的巅峰期早已过去而比赛中的英雄又是他并不擅长的影魔，但是AI在赛场上的表现着实惊艳了一把，让我们来看看比赛的几个镜头。
一开始的卡兵，AI完美的将兵线卡在自己的坡道上
Dendi第一次被AI击杀时的场景，AI的补刀数高了一倍还多
虽然所有的职业选手都以失败告终，但是很多人还是对于人工智能给出了积极的评价。Arteezy就指出AI的很多操作并不十分出人意料，但是却很有启迪意义。大家都认为如果AI能作为战队的训练伙伴，那么职业战队的竞技水平将会有进一步的提高。当然，对于我们普通玩家而言，由真正的AI来做对手并没有什么实际意义，因为Dota2的内置AI就已经足够让大部分的普通玩家心碎滴泪了。
根据OpenAI的说法，他们正打算打造一个AI团队去与世界最顶尖的Dota2人类战队一较高下，当然达成这个目标还需要很多的工作要做，各个AI之间的协同，在面对战争迷雾时的战略选择都是AI需要挑战的要点。但是毋庸置疑的是，Dota2也即将成为AI又一个称霸的领域，问题只是这个霸主来临的时间会有多久罢了。
如果你希望了解更多，请点击这里访问
，也可以前往这次
学习有关Dota2和人工智能的更多信息。
集智是一家关注新时代信息科技的网站，致力于建成在线教育到求职招聘的一体化平台。 我们将以多样的互动形式，向您展现数据科学与人工智能技术的无穷魅力。
原文地址：, 感谢原作者分享。
您可能感兴趣的代码怎么挑战 dota2 openai_百度知道
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。
怎么挑战 dota2 openai
我有更好的答案
Call to Dendi
为您推荐：
其他类似问题
等待您来回答