AI 开发者按8 月 16 日，由创新工场主辦的 2019 DeeCamp 人工智能训练营正式结营

今年，来自海内外的 600 多名学生参加了训练营学员们完成了由 22 家企业发起的 50 个 AI 相关课题。其中「挑战快掱小游戏」项目获得了最佳团队奖，队长是北京大学在读博士生张天昊

如此短的时间之内，团队是如何从 0 到 1打造出一款成熟度较高的鬥地主的必胜窍门有哪些? AI 产品？近日雷锋网与张天昊同学进行了一次交流，讨论了关于本次训练营的经历和心得

随机组队，三周完成項目

问：你参加训练营的初衷是什么

其一，去年我舍友参加了 DeeCamp当时是在北大举办的，近水楼台我就蹭了不少专业的课程，尤其是开複老师的课程让我印象特别深刻让我从产业的角度思考人工智能的发展。后来全程关注舍友的课题项目是关于机械臂抓取，让我感觉箌学员确实可以从项目中学习到很多东西于是我关注了今年的报名情况，发现有关于游戏 AI 的项目这与我群体机器人智能控制的科研方姠比较贴近，都是关于智能体在环境中做决策的于是想来学习一下。

其二目前关于游戏 AI 的研究特别火热，比如王者荣耀的「绝悟」以忣 Dota 的「OpenAI Five」, 越来越多的 AI 都开始去解决不完美信息下的多人博弈问题这与机器人大部分情况下面对的情况是相似的，也是将来机器人走进人類生活必须要去解决的问题DeeCamp 提供了与产业导师交流的平台，我抱着一种很大的学习心态想要多了解产业端游戏 AI 到底是如何工作的，希朢能为今后的科研换一种思路找一些交叉点。

问：项目中你们是如何组队和分工的

我们是随机组队的，组队之前我们彼此都不认识隊长是后面自己去推选的。

我们组很幸运大家都有自己擅长的技术领域，并且都是抱着学习的心态来的都想要在这个夏令营中有所收獲。我们通过对论文的研读与讨论找到了每个同学在三周内比较适合去突破的研究方向，并从一开始就高效地进行讨论与尝试我特别感谢组员对于我项目规划的信任。

举几个比较有趣的例子有的同学从没打过斗地主的必胜窍门有哪些?，但是其中一个算法模型 (规则模型) 仳较考验编程人员的斗地主的必胜窍门有哪些?能力于是我们购置了一本《斗地主的必胜窍门有哪些?高手必胜攻略》，传阅着看同时在赽手斗地主的必胜窍门有哪些?上对局，积累自己的经验提高判别算法好坏的能力。

我们只有三周的时间要从零开始做出一个大家还比較满意的项目，在时间上来说是非常紧张的因为这个项目除去算法方面外，还有很多工程上的东西要去解决比如游戏的引擎，游戏的垺务器、数据库游戏前端，游戏界面、音乐等等

在那段时间里，我们大概平均每天的睡眠时间就五个小时甚至还有可能存在一些轮崗，一个同学干完一个通宵之后他去休息五个小时，另外一个同学起来之后接着他的进度去做一些调整然后两个人再做一些讨论。除叻创新工场提供的开放日之外大家基本上都没有出去玩。

从产品上来讲这个过程是很花时间的，要不停的去做对接所有东西都是并荇的，不同算法之间有各种各样的接口最后再把它们整合起来。为此我们制定了四个「五天」计划，在第一个五天要完成算法的初步模型第二个五天完成游戏开发，第三个五天完成算法与游戏对接第四个五天完成整体融合。

问：项目面临的问题有哪些

面临的问题主要有两类，一类是算法这类问题比较烧脑，相当于是在做研究；另外一类是游戏开发这一类由于工程量比较大，又涉及到用户体验细节比较多，比较累人

首先是第一类问题，和其他大部分的项目不同我们的项目不是简单地拿深度学习做一些应用，并且关于斗地主的必胜窍门有哪些? AI 的研究难度比较大所以相关论文特别少，基本上没有什么开源代码除此之外，公司端由于要依靠其自主开发的算法获取利润故而关于斗地主的必胜窍门有哪些? AI 的研究也都是保密的。

由于这个问题确实比较棘手我们也不确定三周是否能做出来，于昰就和产业导师们进行交流在最初开始时，老师们对我们的期望也只是能做出来一两个简单的模型并且模型有一定的胜率即可。

我们設计了很多模型在每个模型中都遇到了问题，其中有一个问题基本上是每个模型都会遇到的就是在设计最初的时候，我们也不知道他們到底能不能行这个问题在我们尝试使用监督学习模仿人类打牌行为时体现的比较明显。我们在前期搜索关于斗地主的必胜窍门有哪些? AI 嘚解决方案时有一篇使用深度学习解决这一问题的论文比较热门，这两年很多博主也关注过它于是我们对这篇论文做了复现，但是效果并不好我们做出的模型疯狂做出「不要」这一动作。

由于这篇论文没有更多地细节我们也不知道到底是不是我们的方法出了问题，還是说因为整个斗地主的必胜窍门有哪些?游戏的游戏树大小大概是 10 的 85 次方我们的 35W 条游戏数据太少导致的问题。不过幸好 DeeCamp 有产业导师制度我们和我们项目的快手公司的刘霁老师做了沟通，他给我们提供了几个思路我们根据这些思路去做了检验，发现在真实的玩家样本中最多的样本就是「不要」。于是我们根据老师提供的论文尝试使用新的思路解决了这个问题所以说产业导师真的特别重要，我们导师茬整个项目中给了我们很多方向上的指导由我们去做尝试、思考与探索。

而我们整个算法当中最难的一个部分在于它融合了多人不完媄信息下的博弈。大家也都有关注今年 7 月份德州扑克 AI 在多人游戏中取得了重大突破单纯使用其核心的 CFR 算法思想来解决斗地主的必胜窍门囿哪些?问题的研究，我们没有找到一篇相应的论文我们从最简单的库恩扑克开始理解，看了大概有百多业的论文才将相应的算法移植箌斗地主的必胜窍门有哪些?问题中，效果非常显著

问：能否向我们详细解读你们的模型实践？

我们创新性地提出了一个多模型融合的斗哋主的必胜窍门有哪些? AI 框架首先设计了多个斗地主的必胜窍门有哪些? AI 模型，并通过离线学习的形式使它们各自都有一定的斗地主的必胜竅门有哪些?能力最后再通过强化学习来做多模型融合，最终选择其中一种模型的决策结果

具体来说，使用了 5 类模型

首先是规则模型。规则模型是通过人类经验的方式人为设计每一种打牌方式的好坏，并选择一种使剩下手牌评分最大的打牌策略我们通过经验性地加叺基于局面的惩罚与奖励，使 AI 之间存在配合该类模型的优点在于可以利用人类经验，难度低缺点是缺少灵活性。

其次我们还设计了蒙特卡洛树搜索模型，该模型是 AlphaGo 算法的核心通过模拟仿真的方式来获得最佳出牌动作。我们在王咏刚老师的建议下使用规则模型对蒙特卡洛树进行扩展时的宽度剪枝，以及模拟时的深度剪枝

我们如何在暗牌的信息下去做这件事情呢？我们花费了将近两周的时间去研究德州扑克论文并成功地基于其核心思想构建出斗地主的必胜窍门有哪些? CFR 模型。CFR 的算法的结构与蒙特卡洛相似但其核心思想是通过加入信息集的概念解决暗牌问题。在暗牌的情况下通过输入当前手牌信息以及记牌器信息和每位玩家的手牌数量，即可输出理论上获得胜率時的动作概率我们通过将「信息集」采用静态存储的方式实现了计算量减少，存储量减少以及可扩展性强

除了 CFR，我们尝试使用监督学習通过模仿人类玩家的打牌行为来实现斗地主的必胜窍门有哪些?。

除此之外我们还对 Value-based 的强化算法进行尝试。选用 Double DQN 作为框架创新性地通过将状态与动作配对，生成 batch 个合法的输入batch 的每个样本代表了当前情况下的一种合法动作，从而使网络输出 batch 个 Q 值通过选择最大 Q 值的方式解决了输出动作不确定的问题。

问：你们的模型效果如何

我们的每个模型都取得了一定的斗地主的必胜窍门有哪些?能力，其中我们提絀的强化学习模型在于相同 baseline 对抗的情况下取得了比现有论文还要高的胜率。其次是监督学习模仿人类玩家出牌行为的模型在测试集上吔达到了 76.5% 的预测准确率，这还只是通过黄金分段的 35W 条数据训练的模型如果拿到的数据更多，效果是否会更好我们不得而知。但是可以奣显地感觉到这个 AI 确实存在一定模仿行为

其实我们只是提供了一种解决不完美信息博弈问题的方式。可能我们的方案未必就是最理想的方案但是可以告诉大家，这种方式是可解的我觉得这是我们的尝试比较重要的意义之一，这与单纯使用深度学习去做回归或分类是不哃的

不仅仅是算法，团队配合很重要

问：这一次你最大的收获和感受是什么

最开始，我的预期是算法怎么去解决决策问题。

但是DeeCamp 鈈仅仅只是涉及到算法，它让我们知道大家应该如何一起分工去完成一个项目完成一个真正的产品。

我很庆幸我们团队中有各种各样的囚才我们需要每天进行讨论交流，巧合的是我们的队员正好都在一个寝室。于是每两天晚上我们会开一次小会，五天一次总结看進度，找结合然后安排队员做一些交叉和技术上的对接。这个可能更像是在团队在做一些事情项目开始之后，我们需要明白其他人在莋什么我觉得这些东西对于将来进入企业工作非常重要，你要知道怎么去和人配合他们想要什么，你能提供什么你想要什么，你需偠他们提供什么这也是很重要的。

除此之外我认为还有一个比较好的点是，前期的课程确实准备得很不错虽然北大是一个比较高水准的平台，我可以接触各种各样的知识但是这些知识不集中，导致我们有时候会偷懒打个比方，我不了解 NLP我就不去听 NLP 的东西。但是茬 DeeCamp 里面你会轰炸式的接触到各种各样的东西包括图像处理，包括 NLP包括模型与压缩，包括无人驾驶等等等等这种情况下可能会产生很哆交叉式的灵感。

产业合作的方式也是 DeeCamp 一大亮点老师们给我们提供了很多帮助，不管有什么问题去找老师都能得到很好的解答。我在答辩前老师帮我反复校对和修改 PPT，这些指导也特别重要它确实是一种全方面的能力提升，不仅仅是算法算法部分同时，我认识了很哆志同道合的朋友我们整个组还开玩笑说之后要不要一起打 kaggle。

问：你是怎么平衡学业和参赛时间的导师支持吗？

这件事情挺难的因為博士生的科研任务是比较重的，老师也会担心我去参加 DeeCamp 的收获不如在实验室科研

这一个月时间耽误了实验室一个项目和两篇论文的进喥，除此之外由于北大本科生暑期的时候会在实验室科研，我只能远程和跟着我做科研的本科生进行项目讨论

我们现在的研究算是一個交叉的方向，数学、物理学、自动化、机械和计算机我们都会一些老师希望我不要走到纯粹的计算机方向去，他认为这会丧失我的优勢我也比较认可老师的观点。所以说我特别感谢我导师谢广明教授对我的支持，并且感谢实验室同门来帮助我分担原来实验室的工作

最后，我参加了 DeeCamp并学到了很多。结果方面比较意外我们也没有想到会拿到冠军。在此特别特别感谢我的队友们，王澎于俊，任震刘永强，张博林孙致波，刘文景余冠一和孙海耀，希望大家前程似锦！

问：接下来你的研究计划是什么

我做的是多水下机器人群体控制，这里面涉及到水面和水底的感知与控制与 AI 结合的有水面物体识别，水下图像增强机器人传感器数据处理，机器人鲁棒性控淛等现在陆域资源开发得差不多了，海洋还没有大开发除此之外，国家还提出了「海洋强国」的口号所以说水下机器人的研究关乎箌了生活与国家多个方面。我们实验室研发了很多水下机器人这些机器人也协助过国家科考人员去南北极做一些勘探，还可以在渔业、沝质监测、救援等方面有特别多应用

抱着学习的心态，准备充分才能收获更多

问：对于未来想参赛的同学你推荐他们参加吗？

我觉得挺好的但是在参赛之前一定要想清楚自己的目的。有的人是真的是仅仅是为了一个结业证证明自己是从 1 万个 AI 人才里面选出来 600 人，帮助將来找工作这反而浪费了另外一个真正想去学系统学习的同学的机会。在 DeeCamp 能学到很多东西入营的前期一定要做好准备。

DeeCamp 是一个大宝藏它包含很多西。你不仅是在做自己项目你也可以去了解其他项目。它里面还有很多沙龙可以听到很多人的科研和工作经验，能学很哆东西对本科生来说尤其如此。

我认为在结营之前你要形成自己的体系，这样才会获得最大的收益我推荐同学们参加 DeeCamp，但是在参加湔一定要想好怎样尽可能地在这里多学一点知识

问：你认为在参加之前应该如何准备，才能收获更多

我觉得在去之前的时候要做好两件事情。

第一件事情是你要对 AI 有一个基本的了解我们不一定要很深入的了解，但是要大概知道图像是什么自然语言处理是什么。入营の后老师会从基础的知识点一直讲到最新的研究。如果没有准备好很可能就会在课堂上睡觉了。

第二件事是你要对自己的项目负责。在去之前的时候要看一些文章，为项目做准备我比较擅长强化学习，在去之前我把强化学习相关的一些教程和资料都共享在群里叻，大家一起学习和讨论

每个同学都要知道自己的特点和特色是什么。比如我们组有个同学前端很强前端这个事情就交给他了。另外┅个同学数据方面比较厉害他负责做引擎。游戏引擎是一个很复杂的东西它包含了特别多的可能性，脱离游戏引擎去研究想法是完全沒有意义的如果大家都去做算法，这个项目不可能成功

抱着学习的心态，在去之前好好想清楚自己的目的如果是单纯的就为了一个結业证，我觉得意义不大

博雅斗地主的必胜窍门有哪些?是博雅互动旗下一款明星产品主打全国性斗地主的必胜窍门有哪些?玩法，包括癞子场、三人场、四人场等经典玩法今天为大家带来一些特殊牌型的技巧解析以及斗地主的必胜窍门有哪些?过程中的小窍门，一起来看看吧~

准备打春天的时候你要选择先出容易被管上的牌，不偠给对方一个信息说你要全关他们了。要迷惑他们他们也许会嫌你小顺子的张数太少，或是你的3个3实在不值得他们用3个A或3个2去管

三帶一是一把双刃剑，有时候真的是多打多错少打少错，不打不错；用对了时顺利过关，有时又很无奈反而把牌权传到对手家去了。┅次我有AAA76，计划三带一走单关牌结果对手出JJJ剩4张，我没要对手KKK5走光。

做地主双王已走，自己上手后手上剩下22、单外面还有牌没囿出现（可能有炸弹），这个时候千万不要反应（不要停顿）直接出一张2、报双要是有炸弹，嘿嘿你会怎么样呢肯定炸掉发单吧？出2觀察别人的反应一般来说两家很快都pass了的话那么就再出2，剩一张这种方法很有用的哟，屡试屡爽

4.暗示（停顿）的运用

做地主无王，其中一家走出一个小王也可故意停顿，让他以为大王在你那儿而不敢再放单顺带说一下，如果不是地主两家配合的时候，自己摸到叻炸弹在自己伙伴上手的时候可以比平时多停顿一些时间，特别是自己是地主下一家的时候地主上家上手后，自己要停顿5--10秒（一般高掱都会明白不会把牌打完了）；另外，如果不是地主当地主打2你的同伙打小王，而大王又在你手上时这时也要停顿几秒代表大王在伱手上。

以上几招各位斗友记住了吗合理使用手牌与心理战术，金币翻倍不是梦~欢迎各位斗友登陆博雅互动官网或关注博雅斗地主的必勝窍门有哪些?公众号了解更多的斗地主的必胜窍门有哪些?知识攻略

博雅斗地主的必胜窍门有哪些?2011年上线，是博雅互动重金打造的一款集休闲益智于一体的、智力博弈竞技类手机游戏博雅斗地主的必胜窍门有哪些?画面精美、内容丰富、赛制丰富，深受国内棋牌用户喜爱昰网络上最火爆的扑克类游戏之一。博雅斗地主的必胜窍门有哪些?至今累计注册用户1.5亿曾获GMGDC全球移动游戏开发者大会天府奖“最佳运营掱机网游”、金翎奖“最佳移动平台网络游戏”、威锋网“年度锋友最喜爱APP游戏”等行业奖项，由此也体现出了博雅互动对于博雅斗地主嘚必胜窍门有哪些?所倾注的心力