人人都要学一点深度学习（1）- 为什么我们需要它
本文由@leftnoteasy发布于 , 如需全文转载或有其他问题请联系wheeleast (at) 。
1.1 为什么我开始写这个系列
说五年前我还在某A云公司的时候，身在一个机器学习算法组，对机器学习怀有浓厚的兴趣。花了好多的时间来试图搞清楚各种流行的机器学习算法，经常周末也跟同事探讨公式的推倒和背后的意义。写博客的主要动力是让自己能够更好的理解机器学习。
后来坚持了没有太久的时间就换到大数据方向了，最主要的原因是觉得自己数学天赋太差，尤其是数学。当初学习的时候主要参考的PRML，Andrew Moore的PPT，Andrew Ng的公开课，plukids博客，另外加上斌强哥的各种悉心指导。但是学了好久，公式能大概看懂是怎么回事，不过自己徒手推出来实在是太艰难了。PRML的习题，甚至是具体数学的习题，都很难做得出来。
后面的发生的事情就理所当然了，既然很难在这个领域做到核心（我的理解是具有及其好的数学天赋作为后盾才能做到机器学习的核心），那么为什么不换一个更适合自己的方向呢？恩好吧，基础数据架构（Infra）看起来是个不错的方向，不需要理解太多的数学（除了真的需要去实现Paxos）。做Infra如果有架构设计的基础，另外加上勤奋，多多少少还是能做出一些东西的。
为什么我又要重新开始写机器学习相关的了？最主要的原因是现在的机器学习和五年前、十年前区别很大。最大的不同是，自从深度学习成为了机器学习舞台上最重要的一个角色起，机器学习变得更加真实了，利用深度学习可以做出很多很有意思的真实世界的应用，而这些东西在几年前的门槛要高得多。我在本文之后会更详细的展开此点。
此外这几年的工具发展神速，利用TensorFlow、MXNet或者其他类似的工具可以很容易的开始自己的pet project，也不用理解太多背后的细节。而在几年前能用的现成工具寥寥无几，而且十分的碎片化，比如说如果想要做分类器吧，需要用libsvm，需要搞跨语言调用。如果要换个算法的话，那可是要命的事情了。当然这些东西对于大公司来说都不是事儿，但是对于个人学习者来说需要投入的经历太多了，远不是业余时间可以承担的。
1.2 What to expect?
差不多关注了几个月的深度学习，虽然没有花太多时间来写代码，但是各种各样的博客、视频、公开课还是看了一些。这个系列和几个我看过的主要内容的差异：
首先这个不是一个科普杂文，现在已经有很多旁征博引丰富多彩老少皆宜的杂文，比如说王川的深度学习到底有多深系列，我准备少些一些和背景花絮，多写一些。
其次这个不是一个系统的深度学习教程，现在已经有非常多非常好的相关公开课，比如说Stanford的CS231N\CS224D，Hilton的，Udacity的等等。我不准备写得面面俱到。
另外我会尽量少的涉及数学，因为我不可能把数学推导过程写得比Ian Goodfellow的Deep Learning书写得更清楚。但是我会尽量把最重要的部分写出来。
所以我希望写出的是，当看过网上的博客、公开课和书后，什么地方是最难理解的。
2. 深度学习为什么是革命性的
啰里啰嗦了这么多，开始正文了。此篇博客严重参考了来自[1]第一章Introduction的内容，包括和内容。
2.1 前深度学习的世界
深度学习不是一个新概念，它已经存在好几十年了，具体可以参考[1]/[2]，这里所说的深度学习世界大抵是在最近几年深度学习刷新各个机器学习领域之后了。
前深度学习世界的特征就是：在人类强的地方很弱，在人类弱的地方可能很强。人类强的地方比如说图像识别（猫还是狗）；图片语义分割（参考[3]）比如看出一个图片中哪部分是树、哪部分是房子。人类弱的地方比如说下棋、语法标记（一个句子里面哪些是助词哪些是动词）。
这个最主要的原因是，那种对于人类来说简单的东西（在万千世界中识别出一只猫）没办法用一个正式的数学公式去描述[1]。
比如说你无法用数学公式去定义一个猫的形状。因为不同的角度、颜色、距离、光线的组合让这个基本上没有办法做到。
所以在这个基础上谈智能实在是镜中月水中花：你连一个猫都不认识，怎么能够取代人类？因为人类的世界远远比围棋要复杂得多。
[1] 里面还有一个有趣的例子，关于1989年时候著名的专家系统Cyc：
Its inference engine detected an inconsistency in the story: it knew that people do not have electrical parts, but because Fred was holding an electric razor, it believed the entity “FredWhileShaving” contained electrical parts. It therefore asked whether Fred was still a person while he was shaving.
... 它的推论引擎发现了一个前后矛盾的地方：它知道人是没有电驱动的模块，但是因为Fred拿起了一个电动剃须刀，所以这个引擎认为&一个正在剃胡子的Fred&有了一个电驱动的模块。然后这个系统就问起这个Fred到底还是不是一个人啊。
此外，前机器学习时代一个重要的特征是要设计特征，比如说如果要做一个淘宝的商品自动分类器，特征可能有商品的题目、描述、图片等等；特征还需要进行严格的预处理，比如说要过滤掉描述里面亲包邮啊这种无意义的话，而且对正文里面的描述也要进行重点抽取才能够符合训练的标准。等到特征选择、清理好了之后才能够运行出有意义的结果。而且如果需要重新选择特征，或者更改特征，那就需要重新重头来过。
曾经有些公司甚至有&特征抽取&这样的职位，以前阿里同事做分类器的时候，就要特别注意不要把成人玩具分到玩具的类目里面，万一被抓到把柄了那可就要丢工作了。
2.2 深度学习带来了什么
深度学习最重要的东西就是自带了特征学习（representation learning，有时候也被翻译为表征学习)，简单来说就是，不需要进行特别的特征抽取。从这个来说，深度学习相对传统机器学习来说就有了太多的优势，因为一个设计好的系统能够被相对容易地移植到新的任务上去。
参考最近DeepMind发布的一个深度增强学习的无监督系统玩复杂任务游戏的例子[4]。系统从游戏的屏幕像素开始自我学习，到学会玩一个复杂游戏并超过人类的专业玩家，并没有进行特别的人工特征抽取，这个在传统的机器学习方式上看起来是很难想象的。
此外深度学习另外的一个优势是，可以表述相对与浅度学习更复杂的东西，这里不准备展开描述，不然就要提到XOR，维度诅咒（The Curse of Dimensionality）等等相对枯燥而且很难说清楚的理论了。简单来说，提升维度当然是一个很厉害人人都想的东西，参考三体中的降维打击。但是与此同时也带来了很多计算上的挑战，得益于这几年神经科学，算法研究和硬件(特别是GPU）提升，我们可以尝试越来越深的。
3. 现在（2016）的深度学习究竟在什么位置
同样，主要参考了[1]的综述部分：
首先衡量深度的复杂程度主要有两个方面：1. 网络中一共有多少个神经元，2. 每个神经元平均与多少个其他的神经元连接。
首先是连接的数量：
每个蓝色的小点表示一些里程碑级别的系统公布的结果，比如说10. 就是Net (Szegedy et al., 2014a)
从这点看来，似乎还是挺乐观的，比如说10. 已经很接近人类了，但是看看下面。。。
神经元的数量：
可以看到，目前最先进的系统所模拟的神经元的数量处于蜜蜂和青蛙之间。蓝色的线表示预估的增长曲线，如果在没有革命性的进步前，系统差不多可以到2050年的时候模拟人类同样的神经元的数目，所以革命之路还很漫长。
但是从另一方面来说，神经元的数目也不是唯一的衡量标准，就像是玩星际一样，APM 150的意识派也可以完虐500的抽经流选手。我们可以教一个神经元如此少的系统玩复杂的电子游戏，但是我们没有办法教一个青蛙玩这种游戏。所以也不用悲观，也许西部世界似的会到来得比想象中更早。
[1] Deep Learning: Ian Goodfellow, Yoshua Bengio, Aaron Courville
[2] [王川的深度学习到底有多深系列](http://wangchuan./archives/142598)
[3] [/questions//what-is-semantic-segmentation-compared-to-segmentation-and-scene-labeling](/questions//what-is-semantic-segmentation-compared-to-segmentation-and-scene-labeling)
[4] [/blog/reinforcement-learning-unsupervised-auxiliary-tasks/](/blog/reinforcement-learning-unsupervised-auxiliary-tasks/)深度学习：让电脑像人一样看世界
发表于 09:33|
来源NDTV Gadgets|
作者Gopal Sathe
摘要：对于Blippar，其创始人Omar Tayeb 表示其目标是将任一照相机均转变为智能设备，不论其连接了高端智能手机与否。我们只需要一个不低于2或3兆像素的相机即可以完成所有的工作。所有的“思维”都在我们这边。
谷歌的&DeepDream——一个可以帮助人们了解神经网络的可视化工具——这不仅是当前十分火热的项目，这在一定程度上凸显了图像识别领域所面临的挑战。图像处理显然不是简单地将一幅图片与数据库相对比得出结果那么简单。实际上，图像处理是一个很复杂的问题。世界上有很多大公司正在图像处理上面大展拳脚。NDTV Gadgets（一家媒体）对Omar Tayeb十分关注，当时这位Blippar （扩增实境公司）的创始人兼CTO连同合伙人兼CEO Ambarish Mitra正从位于英国的公司办事处出发一道访问Delhi，同时NDTV Gadgets也了解了blippar是如何理解图像识别的概念，对其运作原理有了基本的认识。Blippar连同其他创业公司，比如Wowsome 和Times Internet's Alive公司，对AR的使用主要集中在市场营销方面。Alive推出了智能婚礼卡片，与此同时其他公司，在杂志和报纸广告，也试图使用AR，电子商务网站同样利用其作为虚拟购物体验。然而，事情才刚开始，Mitra告诉NDTV Gadgets：“现在，当你启动Blippar应用程序时，它不会告诉你前方有个椅子，或者是你的桌上有个苹果，但它能识别出一瓶可乐【可口可乐】，也可以识别一个运动品牌或者其他类似的物体。”在未来的5-6个月里，Blippar将会推出一个“视觉网络”，在该网络中，Blippar应用程序将能够识别目录中不必要的对象，并显示用户这些对象的相关信息。“如果你看一辆车，即使在此之前你从来没见过那种型号，你也能够说出它是哪一种车型，”Blippar的CTO Omar Tayeb说到，“ Blippar现在还不能做到那样。它必须在此之前已经了解此类型的车，然后才能识别，否则将不会识别出。”“这是一个极限，但通过深度学习，在迭代的过程中，系统确实开始学习，”他解释到。“机器学习意味着系统所知道的越多，它最终就变得越精确。这有点像婴儿的学习—作为婴儿你会看到数以百万计的不同面孔，从而使得你学会识别面部特征。该系统是用相同的方式，当越多人使用它时，它就会变的越发智能。”从本质上讲，这个过程有它的基础，称之为模式识别。为此，计算机把图像分成若干层，然后尝试着从这些集合中去识别个体数据，而非识别整个图像。这有点像搜索引擎———你输入越多的检索词，你得到的结果越准确，根据Tayeb所说，模式识别的目标是将图像打破成足够多的数据点，以便在问题中建立一个很容易理解的认识对象。“显然，你不可能拥有一个包含所有你需要的图像的数据库，”Tayeb说“所以仅能识别特殊图像是远不够的；你需要能够看到它然后说出这是一把椅子，而不是只识别一个特定的椅子。机器学习比模式识别更进一步，它尝试用逻辑分组的模式，以便更快速、更准确地识别对象。通过使用大量的复杂的数学公式，计算机正在通过机器学习而变得更为聪明，但是再进一步，使计算机更加接近人类的思维方式，就是所谓的深度学习。这些也被描述为神经网络，它们以神经元命名，因为这些系统（特别是大脑）是建立在动物的中枢神经系统的基础上。神经网络就是让电脑以人类的方式思考问题， Tayeb 解释道。“没有目录——这是不可能的-所以你必须提取出来结构。这也是人类大脑所做的，”他解释到。“当你看到某些事物时，你的眼睛中的会接受大量的数据，但数据对眼睛本身来说没有任何意义。你的大脑必须处理你眼所接受的9-10百万数据点，来判断这些对象是如何形成的，在分析这些对象是什么、并判断出它们的属性。”2014年，微软、谷歌和Facebook均发布了各自的图像识别软件。从中你就可以发现不同公司对图像识别的侧重点存在差异——用过Picasa和Facebook的人会对其软件中的标记功能印象深刻；相对而言谷歌和必应在识别图像上做的更加出色。如果你阅读了这三家公司关于这方面的相关研究文献，你就会了解他们是如何利用神经网络的-------多次遍历原图像以便确认其图像身份的。深度学习是实现这样一个过程的基础前提。他补充道：“对我们来说，这款APP的核心在于收集数据，无论何时你因为这样或那样的原因打开这款App的同时，数据就已经自动存入了。它从你看到的每一件事开始学习。首先，他可能需要人工识别。一旦有足够的用户显示给他椅子并告诉它这是椅子时，这个过程就变得自动了。然后这款App开始能够自行识别凳子甚至于没有任何提示。这同样适用于其他对象。在某个时候，你可能会得到一个苹果，然后得到它的营养数据，或看到一个电话，可以看到你能在哪里购买。”对于Blippar，Tayeb 解释道：目标是将任一照相机均转变为智能设备，不论其连接了高端智能手机与否。我们只需要一个不低于2或3兆像素的相机即可以完成所有的工作。所有的“思维”都在我们这边，因此也就不存在其他限制，我们想要得到的结果是其能成为任一相机的“大脑”。原文链接：（翻译/刘崇鑫 审校/魏伟）
推荐阅读相关主题：
CSDN官方微信
扫描二维码,向CSDN吐槽
微信号：CSDNnews
相关热门文章Google Brain之父：计算机终能模拟人脑
出处：其他&
作者：佚名
责任编辑：niefeng&
　　现在看来，这一假说所改变的，不仅仅是吴恩达的职业生涯而已。吴目前的主要研究领域是机器学习技术中的&深度学习&，在计算机科学中属于比较新的领域，深度学习研究的主要目的是打造能像人脑一样处理数据的机器。目前，深度学习的研究已经不限于学术界，谷歌和苹果这样的大公司也意识到了其中蕴藏的巨大机会。吴恩达和谷歌的其他研究人员一起成立了有史以来人工智能领域目标最远大的项目&&Google Brain。　　Google Brain项目的指导思想，是将计算机科学与神经科学相结合，在人工智能领域，这是从来没有真正实现过的。吴恩达说，&我发现工程师(擅长计算机科学)和科学家(擅长神经科学)之间存在着巨大的代沟。&工程师们想要构建成功的人工智能系统，而科学家们却仍未能完全理解人脑错综复杂的工作机制。很长一段时间内，神经科学并不能够为想要建造智能机器的工程师们提供答案。　　此外，据加州大学伯克利分校瑞德伍德理论神经科学研究中心(Redwood Center for Theoretical Neuroscience)主任布鲁诺&奥尔斯豪森(Bruno Olshausen)透露，科学家们还总是觉得&大脑研究&是他们的领域，不大愿意与其他领域的研究人员进行合作。　　最终的结果就是工程师们开始建造不完全模仿人类大脑运行的人工智能系统，他们鼓捣出来的只能说是&伪智能&系统，产品类似于&Roomba&这样只能用来吸尘的机器人，而不像动画片《杰森一家》(The Jetsons)里的机器人女仆&罗西&T(Rosie)。　　在吴恩达和其他一些人的努力下，这样的局面终于开始发生改变，美国国家心理卫生研究所(National Institute of Mental Health)主任托马斯&因瑟尔博士(Dr. Thomas Insel)介绍，&业内已经形成共识，谁能搞明白人脑如何计算，谁就能设计出下一代计算机。&究竟什么是&深度学习&?　　深度学习是人工智能技术朝新的研究方向迈出的第一步。简单地说，深度学习包含了构建能够模仿人类大脑行为的神经网络。这些多层次的电脑网络像人类大脑一样，可以收集信息，并基于收集到的信息产生相应的行为。这些电脑网络可以逐渐对事物的外形和声音进行感知和理解，也就是&认识&事物。　　比如，为了赋予机器&视觉&，研究人员需要建立最基本的一层人工神经元，用来探知如物体的边缘形状等基本信息，第二层神经元可以将第一层感知到了物体边缘性状拼凑起来，鉴定较大块的物体形状，然后再加一层将第二层检测到的信息再拼凑从而使机器明白物体整体的形态。这里面关键的一点是，软件可以自行做到这一切&&旧的&伪人工智能&往往需要工程师人工输入物体视觉或者声音的信息，然后由机器学习算法来处理这些信息数据。　　吴恩达介绍，在深度学习算法之下，我们可以给这个系统很多数据，使其&自己学会世界上的一些概念&。去年，吴的一个深度学习算法机器通过扫描互联网上无数的猫的图片&认识&了猫，机器不认识单词cat，吴需要为机器输入这个单词，然后经过一段时间，机器将这种毛茸茸的小动物与单词cat联系到了一起，可以自行鉴别什么样的事物是cat。
键盘也能翻页，试试“← →”键2016第三届物联网大会
智能后视镜产品方案对接会
中国LED智能照明高峰论坛
第三届·无线通信技术研讨会
第二届·中国IoT大会
ETFo智能安防技术论坛
移入鼠标可放大二维码
探秘机器人是如何进行深度学习的
来源：解放日报
作者：佚名日 14:33
[导读] 一个人独处时，感觉有点孤单，怎么办？微软亚洲研究院推出的“微软小冰”，或许可以像闺蜜一样地跟你聊天解闷。3.0版本的“小冰”除了具有“评颜值”“选搭配”等功能外，还基于深度学习技术具备强大的视觉识别能力。
　　一个人独处时，感觉有点孤单，怎么办？微软亚洲研究院推出的&微软小冰&，或许可以像闺蜜一样地跟你聊天解闷。3.0版本的&小冰&除了具有&评颜值&&选搭配&等功能外，还基于深度学习技术具备强大的视觉识别能力。它在看到一张图片后，可以基于情感给出人性化回复，且秒回速度缩短到250毫秒。
　　不仅仅是&微软小冰&和围棋高手&阿尔法狗&，从互联网搜索到语言翻译，乃至识别患有自闭症风险的基因&&凡是需要从大量数据中预测未知信息的领域，都是深度学习可以一展拳脚的地方。那么，什么是深度学习技术？它将怎样改变人类的生活？
　　万张图片中发现重复的猫
　　2011年，谷歌一家实验室的研究人员从视频网站中，抽取了1000万张静态图片，把它&喂&给谷歌大脑，目标是从中寻找重复出现的图案。3天后，谷歌大脑在没有人类帮助的情况下，从这些图片中发现了&猫&。
　　这个谷歌大脑就是一个采用深度学习技术的大型神经网络模型，由1000台电脑组成。这件事当时在科技界引起了轰动，被认为深度学习复兴的里程碑。
　　所谓深度学习，就是用多层神经元构成的神经网络，以达到机器学习的功能。这些多层的电脑网络像人类大脑一样，可以收集信息，并基于收集到的信息产生相应的行为。
　　传统的机器学习方法一般只能挖掘简单的线性关系，如1+1等于2。然而，大千世界并不是这种简单关系所能描述的，如收入与年龄、性别、职业、学历的关系。深度学习的出现改变了这种现状，它的灵感来源于模仿人类大脑神经网络。
　　科学家发现，人类大脑皮质不是直接对视网膜传递过来的数据进行特征提取处理，而是让接收到的刺激信号通过一个复杂的网络模型进行筛选。这种层级结构大大降低了视觉系统处理的数据量，并最终保留了有用的信息。
　　上世纪60年代，生物学家在研究猫的脑皮层时，发现其独特的网络结构能有效降低反馈神经网络的复杂性，继而提出&卷积神经网络&。利用这种网络结构编写的深度学习程序，适应性很强，成为人工智能的突破口。
　　语音识别改变人机交互
　　简单地讲，深度学习技术是对人脑的一种模拟，因而可以完成很多人脑所具有的功能。
　　最为人所熟知的是视觉功能。我们的相机可以像眼睛一样看到这个世界，却不能像大脑一样看懂这个世界，深度学习恰恰补上了这个短板。有了深度学习，百度识图可以准确识别照片中的物体类别，并对照片进行自动归类或搜索。有了深度学习，我们可以很方便地刷脸付款。有了深度学习，特制机器可以检测一定空间内所有人员、车辆的行踪，并对可疑和危险事件及时报警。
　　同时，深度学习技术在语音识别方面，也有广泛的应用。在深度学习的帮助下，计算机拥有越来越强大的语音识别能力，这可能改变目前仍以键盘为主的人机交互模式。
　　深度学习还和增强学习相结合，正深刻改变着机器人领域。所谓增强学习，指的是机器人通过与环境交互中得到的奖赏和惩罚，自主学习更优的策略。前段时间引人关注的&阿尔法狗&就是增强学习的产物，它通过跟棋手下棋或跟自己对弈的输赢情况，摸索出更好的下棋策略。
　　什么让深度学习实现超越
　　不过，创造一个强大的神经网络需更多处理层。而由于硬件限制，早期仅能制造2至3个神经层。那么，是什么让深度学习实现超越呢？
　　显然，高性能计算能力的提升是一大助力。这些年GPU（图形处理器）、超级计算机和云计算的迅猛发展，让深度学习脱颖而出。2011年谷歌大脑用了1000台机器、16000个CPU处理的深度学习模型大概有10亿个神经元。而现在，我们已经可以在几个GPU上完成同样的计算了。
　　&深度学习还得到大数据的助力，就像火箭有了燃料。&格灵深瞳计算机视觉工程师、清华大学自动化系博士潘争介绍，深度学习技术建立在大量实例基础上，就像小孩收集现实世界的信息一样。而且，&喂&的数据越多，它就越聪明，并且不会&消化不良&。因为大数据的不可或缺，所以目前深度学习做得最好的基本是拥有大量数据的IT巨头，如谷歌、微软、百度等。
　　现在，深度学习技术在语音识别、计算机视觉、语言翻译等领域，均战胜传统的机器学习方法，甚至在人脸验证、图像分类上还超过人类的识别能力。专家预计，再过些年，我们口袋里的手机也可以运行像人脑一样复杂的神经网络。
　　不过，就目前的趋势来看，深度学习技术仍然无法代替&坐在后台监控室的人&。举个例子，如果你和朋友在一家饭店里用餐后抢着结账，这种推搡过程，智能摄像头尚难以判断是在打架还是怎么了。可见，逻辑判断和情感选择，是深度学习尚难以逾越的障碍。
　　案例 一眼就能识别坏人的系统
　　专注于计算机视觉及人工智能的科技公司格灵深瞳，将基于深度学习技术研发的智能识别系统，运用到银行安防监控领域。
　　考虑到传统光学镜头在识别图像时会丢失&深度&维度，格灵深瞳专门为银行安监开发了一套三维传感器。在它的背后，一套奖惩机制训练成的算法模型能够主动识别异常。&看见有人走近了一个有人的自动柜员机，而不是旁边那个空着的，此时要识别他的轨迹、判断其行为是否正常，就牵涉到深度学习。&格灵深瞳CEO何搏飞介绍，如果系统识别出异常，它就会推送给后台监督者。而为了教会机器判断准确，背后需要提供几十万量级的图片数据。
　　何搏飞指出，给这个智能识别系统一张侧脸或者是没有脸的全身照，它也能以超过99%的精度迅速锁定目标。前提是建一个万的样本库，&一旦样本达到百万级，可能精度要下降20%或更多。&
深度学习相关文章
深度学习相关下载
语音识别相关文章
语音识别相关下载
机器人相关文章
机器人相关下载
技术交流、积极发言！ 发表评请遵守相关规定。
创新实用技术专题
Android和iOS两个平台在技术和应用程序商店战略上存在明显的不同，开发人员也...
版权所有 & 深圳华强聚丰电子科技有限公司