近身兵王(青光楚辞)无弹窗小说_近身兵王最新章节吧-笔趣阁
& 近身兵王最新章节列表
带着疲惫的身心和仿佛燃尽的灵魂，苍浩回到了家乡，成了地产公司的普通员工，却惊讶的发现上司是自己的青梅竹马，而这个青梅竹马因为当年的一些事对自己又爱又恨。　　都市商场，杀机陡现，神秘敌人暗中潜伏，且看苍浩如何突出重围！　　这不是最美好的世界，但这是一部热血逆袭，用双手创造一个理想年代！
&推荐阅读：
《近身兵王》最新章节（提示：已启用缓存技术，最新章节可能会延时显示，登录书架即可实时查看。）
《近身兵王》正文32进12出监控矩阵切换主机矩阵切换器生产厂家
您当前的位置：
＞ 32进12出监控矩阵切换主机矩阵切换器生产厂家
32进12出监控矩阵切换主机矩阵切换器生产厂家
发货地址：广东深圳
信息编号：
产品价格：面议
商家相关产品：
商家产品分类
“32进12出监控矩阵切换主机矩阵切换器生产厂家”详细信息
产品规格：
产品数量：
包装说明：
价格说明：
查看人数：
本页链接：
http://info.b2b168.com/s168-.html
输入接头形式
输出接头形式
00/9600（bps）
32进12出视频矩阵切换器功能：
每路视频带有图形、中文、文字图形混合标题叠加功能
采用选配内置IP控制模块和视频服务器设计，可通过IP网络对矩阵主机
进行操作和切换浏览视频图像，远程并可对摄像机及系统的控制访问
采用2U/4U/8U插卡式高密度模块组合结构，方便组合扩充
可设置键盘对监视器、摄像机权限；系统可分区设置
有热备份主机选配设计，使主机稳定性更有保障
音/视频输入输出端口和通讯接口有浪涌保护措施及抗雷击干扰设计
系统可通过RS485进行多台多级矩阵联网
可外接16个分控键盘及可支持三级以上的多种组网功能
自带全中英文菜单，可对矩阵的各项功能
欢迎来到深圳市兴视源电子科技有限公司（监控摄像机厂家）网站，我公司位于经济发达，交通发达，人口密集的中国经济中心城市—深圳。 具体地址是福田区福虹路福华大厦五楼，联系人是徐小姐。
联系电话是2,联系手机是,
主要经营矩阵模拟矩阵
视频矩阵 VGA矩阵 AD矩阵 HDMI矩阵 DVI矩阵。
单位注册资金未知。
“32进12出监控矩阵切换主机矩阵切换器生产厂家”相关的客户留言
您好，徐小姐嗨，你好！本公司专业代理报关，买单，商检，托车，订仓。代办FA CO（大使馆加签）， 消毒证，品质证，质量证，健康证等，需要可以加Q：或来电咨询： 詹小姐，如有打扰，请谅解！
<font color="#10-03-17
企业回复:已联系
您好，我是深圳超时空国际货运代理公司的，我们主要代理香港DHL/UPS/TNT/FEDEX等国际快递，空运，海运散货，时效稳定，门到门服务，深圳范围内免费上门提货，联系QQ: 联系电话： 联系人：罗先生
欢迎随时来询价。
<font color="#11-10-08
企业回复:已联系
我要给“32进12出监控矩阵切换主机矩阵切换器生产厂家”留言
“32进12出监控矩阵切换主机矩阵切换器生产厂家”联系方式
深圳市兴视源电子科技有限公司（监控摄像机厂家）
电话：2传真：2手机： QQ：地址：福田区福虹路福华大厦五楼
邮编：518000
网址：http://shinyan88.cn.b2b168.com/
“32进12出监控矩阵切换主机矩阵切换器生产厂家”相关产品，你也可查看该供应商更多
粤ICP备号 - Copyright (C) 2004 -
B2b168.com All Rights Reserved&figure&&img src=&https://pic4.zhimg.com/v2-af8bb16cd0bea_b.jpg& data-rawwidth=&564& data-rawheight=&848& class=&origin_image zh-lightbox-thumb& width=&564& data-original=&https://pic4.zhimg.com/v2-af8bb16cd0bea_r.jpg&&&/figure&&p&说起亚麻，大家第一反应可能是“我家沙发上25块钱一个的抱枕不就是亚麻做的嘛～&/p&&figure&&img src=&https://pic3.zhimg.com/v2-f3617facdb1f3deae21be8badfa44a64_b.jpg& data-rawwidth=&1280& data-rawheight=&697& class=&origin_image zh-lightbox-thumb& width=&1280& data-original=&https://pic3.zhimg.com/v2-f3617facdb1f3deae21be8badfa44a64_r.jpg&&&/figure&&p&这根本就是李鬼亚麻啊！稍微好点的商家会掺点麻絮和棉进去，正规的仿品都是100%聚酯纤维做成，表面粗糙犹如沙砾，只能隔衣靠之，遑论裸睡。&/p&&p&真正的顶级亚麻，是可以与丝绸相提并论的高级品，看起来粗旷有褶皱，摸起来柔软又细腻，用起来吸水透气性奇佳，就好像面料自己会呼吸。&/p&&figure&&img src=&https://pic4.zhimg.com/v2-3da41ab66f1a0de904033_b.jpg& data-rawwidth=&593& data-rawheight=&594& class=&origin_image zh-lightbox-thumb& width=&593& data-original=&https://pic4.zhimg.com/v2-3da41ab66f1a0de904033_r.jpg&&&/figure&&p&亚麻在美索不达米亚平原刚被发现的时候，就直接定性为祭祀贵族专用面料，只有跟神对话的人才有资格穿。一般的奢侈品烧钱就可以买得到，亚麻那时候已经是贡品级别了，富民再有钱也只能看着，根本买不到。&/p&&p&发展到古埃及的时候就更厉害了，亚麻布直接就是当地钱币，据说它也是胡夫法老最喜欢穿的衣服面料，好喜欢这种全身都是钱的感觉哎。&/p&&p&就连圣经里面也有很多关于亚麻的描述，只要是圣洁纯净但是需要用布料遮一遮的地方，基本上都有它的身影。&/p&&p&因为本身就有一种优雅的高级气质感，它是很多顶级室内设计师最喜欢的布料。比如英国威廉夫妇和贝克汉姆最喜欢的设计师，kelly hoppen，就曾经说过，“亚麻永远是我的首选布料”。&/p&&p&你看，亚麻布料就是血统高贵，生来如此。所以欧洲很多贵族家庭的亚麻床品，都是相传数代，流传至今仍可使用，vintage的床品更是价格不菲。&/p&&p&&strong&如何搭配&/strong&&/p&&p&如果要说风格与搭配，亚麻讲究的就是一个“淡然”与“禅定”中显现出的高品质生活状态。它与日式，北欧，新中式都迷之般配，因为大家有个统一特点就是讲究淡然宁静，色彩低调不能张扬。&/p&&p&与各种天然木材草料以及绿植放在一起，亚麻其实就是传说中的“百搭万能不会出错全能面料”。&/p&&figure&&img src=&https://pic3.zhimg.com/v2-ad0c114edc_b.jpg& data-rawwidth=&593& data-rawheight=&557& class=&origin_image zh-lightbox-thumb& width=&593& data-original=&https://pic3.zhimg.com/v2-ad0c114edc_r.jpg&&&/figure&&p&北欧+白色亚麻+绿植&/p&&figure&&img src=&https://pic4.zhimg.com/v2-5f948ec148dda08ed70b5_b.jpg& data-rawwidth=&450& data-rawheight=&600& class=&origin_image zh-lightbox-thumb& width=&450& data-original=&https://pic4.zhimg.com/v2-5f948ec148dda08ed70b5_r.jpg&&&/figure&&p&日式+灰色亚麻+木桩子床头柜&/p&&figure&&img src=&https://pic2.zhimg.com/v2-4aadbc9b31e510c745281b_b.jpg& data-rawwidth=&539& data-rawheight=&768& class=&origin_image zh-lightbox-thumb& width=&539& data-original=&https://pic2.zhimg.com/v2-4aadbc9b31e510c745281b_r.jpg&&&/figure&&p&中式+靛蓝亚麻+黑胡桃床架地板&/p&&p&因为不太容易染色，所以亚麻的颜色基本都是不饱和系度低的高级灰色系，以浅白，深灰，靛蓝，蛋粉，深绿，黑褐为主，&/p&&figure&&img src=&https://pic3.zhimg.com/v2-5db90687f2dcff23ac8258bf_b.jpg& data-rawwidth=&584& data-rawheight=&560& class=&origin_image zh-lightbox-thumb& width=&584& data-original=&https://pic3.zhimg.com/v2-5db90687f2dcff23ac8258bf_r.jpg&&&/figure&&p&与色调单一的房间比较搭配：&/p&&figure&&img src=&https://pic4.zhimg.com/v2-5dfda63d77c8b55c47a63c01_b.jpg& data-rawwidth=&591& data-rawheight=&364& class=&origin_image zh-lightbox-thumb& width=&591& data-original=&https://pic4.zhimg.com/v2-5dfda63d77c8b55c47a63c01_r.jpg&&&/figure&&p&浅灰&/p&&figure&&img src=&https://pic1.zhimg.com/v2-95a2e9cfa0a28ae016fd2a3760dfcc8e_b.jpg& data-rawwidth=&438& data-rawheight=&544& class=&origin_image zh-lightbox-thumb& width=&438& data-original=&https://pic1.zhimg.com/v2-95a2e9cfa0a28ae016fd2a3760dfcc8e_r.jpg&&&/figure&&p&淡粉&/p&&figure&&img src=&https://pic4.zhimg.com/v2-40c13f8a9c09_b.jpg& data-rawwidth=&577& data-rawheight=&570& class=&origin_image zh-lightbox-thumb& width=&577& data-original=&https://pic4.zhimg.com/v2-40c13f8a9c09_r.jpg&&&/figure&&p&靛蓝&/p&&p&而且它自带褶皱感，总是处于一种淡定慵懒的状态，就算早上起床不叠被子也是一种懒散style：&/p&&figure&&img src=&https://pic4.zhimg.com/v2-b773ad1f1f_b.jpg& data-rawwidth=&592& data-rawheight=&385& class=&origin_image zh-lightbox-thumb& width=&592& data-original=&https://pic4.zhimg.com/v2-b773ad1f1f_r.jpg&&&/figure&&p&不叠被星人最爱&/p&&p&亚麻天性喜水，不仅仅是生长环境需要温润的气候，做成布料也是能吸收自身体重120%的水分。10世纪的时候欧洲海盗肆行，由于亚麻遇水变强的特性，所以当时的海盗船只帆布都是用亚麻织成。&/p&&p&如果你家开窗就是大海，亚麻搭配就更容易了，尽量用白色，绝对不会出错。&/p&&figure&&img src=&https://pic3.zhimg.com/v2-7ee883591d_b.jpg& data-rawwidth=&427& data-rawheight=&640& class=&origin_image zh-lightbox-thumb& width=&427& data-original=&https://pic3.zhimg.com/v2-7ee883591d_r.jpg&&&/figure&&p&层层叠加的亚麻床单最妙，一层又一层铺出来的柔顺宁静，呼吸之间彷若能闻到植物的泥土香气，犹如做了一个干爽的美梦。适合与氤氲气韵流转而出的森林挂画相配，戳这里可买：最适合冥想的画。&/p&&figure&&img src=&https://pic3.zhimg.com/v2-e931cb57dd_b.jpg& data-rawwidth=&887& data-rawheight=&783& class=&origin_image zh-lightbox-thumb& width=&887& data-original=&https://pic3.zhimg.com/v2-e931cb57dd_r.jpg&&&/figure&&p&&strong&如何辨别&/strong&&/p&&p&在中世纪的欧洲，亚麻已经成为了一个家族的财富象征，姑娘们家中都有一个嫁妆柜子，里面专门放各种亚麻布料。&/p&&p&后来因为棉花工业革命成功上市，农民们纷纷改种棉花，所以亚麻逐渐变成比较小众的布料。&/p&&p&现在只有历史传统悠久（种不了棉花）的一些地区还坚持种植生产高品质的亚麻，比如北爱尔兰，法国北部，比利时，他们的亚麻种植历史都有几百年，无论是经验还是技法都是世界顶级水平。所以如果你买的亚麻床品来自于这三个地区，质量一般不会太差。&/p&&p&那么如何辨别亚麻的质量？大概有下面四个标准：&/p&&p&1. 亚麻纱线与纯棉一样，是越细越难做，价格也就越高。不过亚麻纱线的英式计量单位是lea，高端面料上的亚麻线一般就是40lea，比如手帕。据说在19世纪的时候，有位84岁的爱尔兰老奶奶，曾经纺出过760lea的神级纱线，就是说，在她的手里，一磅亚麻可以拉出130英里的长度。&/p&&p&2. 织成布料以后，评判标准就是面料的重量，单位是oz/yd?，即每码有多少盎司。像比利时顶级亚麻面料商libeco，它的&Faro&超轻面料重量只有2.7oz，而“milano”超重面料就是16.5 oz。&/p&&p&3. 顶级亚麻面料是不会有节点的，表面光滑手感细腻，就好像是金黄色的头发一样。&/p&&p&4. 看价格和品牌。&/p&&p&+顶级old money品牌 1000美元以上&/p&&p&最顶级的亚麻品牌之一就是比利时的libeco，这公司1858年就开始做亚麻生意，到现在都是第五代接班人了，old money的最爱啊。&/p&&figure&&img src=&https://pic4.zhimg.com/v2-c3bb_b.jpg& data-rawwidth=&645& data-rawheight=&403& class=&origin_image zh-lightbox-thumb& width=&645& data-original=&https://pic4.zhimg.com/v2-c3bb_r.jpg&&&/figure&&p&libeco california系列&/p&&p&他们有自己的国际注册标签，可以保证亚麻产自于欧洲并且在比利时完成全部加工流程，而且全世界只有6位织工能用这个标签：&/p&&figure&&img src=&https://pic4.zhimg.com/v2-80c703f0b78e3ae3cec93_b.jpg& data-rawwidth=&240& data-rawheight=&240& class=&content_image& width=&240&&&/figure&&p&真是厉害的商标啊！&/p&&p&还有比如同样在19世纪创建的irish linen company，这家位于北爱尔兰地区，是专供英国皇室的亚麻布料，英国女王都在用的床品啊，有皇家认证的。&/p&&p&这些品牌都有几百年的历史，四件套买齐了价格都比较吓人，1000美元只是入门级，预算够可以试一试，用钱堆起来的床单睡起来是种什么样的体验。&/p&&p&+中级实用品牌 400美元～800美元&/p&&p&如果old money的品牌买不起，也可以考虑new money。&/p&&p&比如创立于2002年的美国家居品牌west elm，一套亚麻床品500美元就可以搞定，而且质量很不错，有兴趣可以看这个测评：&a href=&https://link.zhihu.com/?target=http%3A//thesweethome.com/reviews/best-linen-sheets/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&The Best Linen Sheets&/a&，他们比较了三个品牌的亚麻床品，最后west以最柔软，最耐用的品质胜出。&/p&&figure&&img src=&https://pic2.zhimg.com/v2-b2f56875e23cfd4ac509f2_b.jpg& data-rawwidth=&564& data-rawheight=&564& class=&origin_image zh-lightbox-thumb& width=&564& data-original=&https://pic2.zhimg.com/v2-b2f56875e23cfd4ac509f2_r.jpg&&&/figure&&p&west elm Belgian Linen Duvet Cover&/p&&p&再比如另一个美国品牌Rough Linen，拥有一群亚麻死忠粉，是比较小众的品牌。&/p&&figure&&img src=&https://pic4.zhimg.com/v2-af731fdc21cf30aeb2e65_b.jpg& data-rawwidth=&495& data-rawheight=&594& class=&origin_image zh-lightbox-thumb& width=&495& data-original=&https://pic4.zhimg.com/v2-af731fdc21cf30aeb2e65_r.jpg&&&/figure&&p&instagram上有很多rough linen的死忠粉丝啊&/p&&p&创始人是位优雅的老太太，这家公司缘起于她曾曾外婆留下的一块亚麻枕套，古老的都被改成了鞋套，可是看起来仍然柔软如初，根本看不出已经用了上百年：&/p&&figure&&img src=&https://pic3.zhimg.com/v2-14d39bd296f2af22e7dfd15c_b.jpg& data-rawwidth=&360& data-rawheight=&240& data-thumbnail=&https://pic3.zhimg.com/v2-14d39bd296f2af22e7dfd15c_b.jpg& class=&content_image& width=&360&&&/figure&&br&&br&&p&+入门实惠品牌 800-1000人民币左右&/p&&p&如果new money也不适合你，没关系，还有高街入门款。夏天到了，hm和muji最近都有推出自己的亚麻床品：&/p&&figure&&img src=&https://pic1.zhimg.com/v2-bb5d3e884cd4b_b.jpg& data-rawwidth=&567& data-rawheight=&562& class=&origin_image zh-lightbox-thumb& width=&567& data-original=&https://pic1.zhimg.com/v2-bb5d3e884cd4b_r.jpg&&&/figure&&p&hm 水洗亚麻床品&/p&&figure&&img src=&https://pic3.zhimg.com/v2-656d3f9d62ed336a658f265c_b.jpg& data-rawwidth=&332& data-rawheight=&337& class=&content_image& width=&332&&&/figure&&p&muji 麻系列&/p&&p&只是这个级别的面料基本不产于欧洲，比如muji的麻系列床单就是在亚洲做的。&/p&&p&说到这里，就已经是亚麻床品的最低级别价位了，大家应该都在期待乞丐版的推荐了吧？&/p&&p&买纯棉啊。&/p&
说起亚麻，大家第一反应可能是“我家沙发上25块钱一个的抱枕不就是亚麻做的嘛～这根本就是李鬼亚麻啊！稍微好点的商家会掺点麻絮和棉进去，正规的仿品都是100%聚酯纤维做成，表面粗糙犹如沙砾，只能隔衣靠之，遑论裸睡。真正的顶级亚麻，是可以与丝绸相提并…
&p&&/p&&p&吴恩达采访 Geoffery Hinton&/p&&p&&b&Geoffery Hinton&/b&主要观点：要阅读文献，但不要读太多，绝对不要停止编程。&/p&&p&&b&Geoffrey Hinton：&/b&谢谢你的邀请&/p&&p&&b&吴恩达：&/b&我想你是至今为止整个地球上发明最多深度学习核心理念的人，很多人都称呼你为“深度学习教父”，尽管我是直到和你聊了几分钟之后才发现我是第一个这样称呼你的人， 对此我深感荣幸不过我想问的是，许多人把你看作传奇，我更想知道一些传奇背后的私人故事，所以你是怎样在很久之前就投身于人工智能，机器学习以及神经网络之中的呢？&/p&&p&&b&Geoffrey Hinton：&/b&当我还在高中时有一个什么都比我强的同学，他是个才华横溢的数学家，有天他来学校并且问我，你知道大脑是用全息图运作的吗？那时应该是1966年，我回答他 全息图是个啥？他就解释了一下，在全息图中，你可以切掉它的一半，但依然了解得到全貌，还有大脑中的记忆可能是分布于整个大脑中的，我大概猜到他可能是读过关于Karl Lashley的实验，其中讲到切掉老鼠几个小部分的脑子，然后发现很难找到哪一部分存储哪种特别的记忆，那是第一次让我对大脑，怎么储存记忆产生兴趣的时刻，然后当我去上大学的时候，我就开始学习生理学和物理学，当我在剑桥的时候我是唯一一个在学生理学和物理学的本科生，之后我放弃了这个选择并且尝试学哲学，因为我觉得那可能会给我更多的深入了解，但是后来我又觉得缺乏真正能够辨别错误说法的方法，然后我就转去学了心理学而在心理学中有着非常非常过于简单的理论，对我个人来说用来解释大脑的运作看起来无可救药的不充分，之后我花了点时间做一个木匠，然后我又决定想去试试看人工智能，于是就跑去爱丁堡跟Longuet Higgins学人工智能，他已经做了很棒的关于神经网络的研究并且刚刚决定放弃于此，转而对Terry Winograd的学说表示赞赏，我刚去的时候他觉得我做这个（神经网络）已经过时了，应该开始搞符号主义人工智能，关于这个我们有很多争论，但我还是坚持做自己相信的事情，然后呢？最终我拿到了人工智能博士学位 但我在英国找不到工作，但我注意到了一个很不错的加州Sloan奖学金的广告，我拿到了这个奖学金，我去了加州，那里感觉很不一样。在英国“神经网络”看上去很愚蠢，而在加州 Don Norman和David Rumelhart对于神经网络的观念非常开放，在那里我第一次开始考虑大脑是怎么运作的，和心理学会有什么联系，看上去是一个积极的方向，这其中有很多乐趣，特别是和David Rumelhart一起工作相当棒。&/p&&p&&b&吴恩达：&/b&我懂了，很好，1982年你在UCSD和Rumelhart在一起工作，最后写出了反向传播的论文，事实上，比这还要复杂点，什么情况呢？&/p&&p&&b&Geoffrey Hinton：&/b&大概在1982年初David&br&Rumelhart和我，还有Ron Williams我们开发了反向传播算法，这主要是David Rumelhart的想法，我们发现不少人都发明过David Parker发明过，可能比我们晚，但发表比我们早，Paul Werbos发表了好几年的，不过没人注意到还有其他人也做出了类似的算法，但不能清晰地表述出“反向传播”的含义，用链式法则求导 并不是很新的想法。&/p&&p&&b&吴恩达：&/b&明白，为什么你会认为你们的论文极大地帮助大家理解了“反向传播”呢？似乎你们的论文被认为是让大家去接受这个算法一个里程碑式的影响。&/p&&p&&b&Geoffrey Hinton：&/b&最后我们的论文上了《自然》，为了论文被接受，我做了不少人事工作，我想到其中一个审稿人很可能会是Stuart Sutherland英国一位很有名的心理学家，我跑去和他聊了很久，跟他解释这到底是怎么一回事，给他留下了很深刻的印象，因为我们给他展示了反向传播法可以学习字元表示，你可以看到这些表示都是一些向量，你可以理解每一个特征的意义，实际上我们训练了三个名字的家族树模型，比如Mary的妈妈是Victoria，你给出前面两个名字，它能预测到最后的名字，训练过后你可以看到每一个名字的所有特征，比如某个人的国籍，是第几代，在家族树中的哪一旁枝等等，这震惊了Stuart Sutherland，我想，这是论文被通过的原因。&/p&&p&&b&吴恩达：&/b&非常早期的放弃词向量，并且你已经在接触在训练算法中出现的能被学习的语义特征了。&/p&&p&&b&Geoffrey Hinton：&/b&是的，所以从一个心理学家的角度来说，真正有趣的是它能把两股完全不同的知识概念统一起来曾有一些心理学家认为，知识概念是一大束特征，对此也有很多相关证据，之后又出现了现代AI的观点，也就是正式的结构主义观点，意思即是任何一个概念都有许多其他概念与其相关，为了理解一个概念，你会需要一个图形结构或是一个语义网络，然后这个后向传播的例子展示了你可以把信息传给它，信息会变成图形结构，在这个特殊情况是一个族谱，然后输入信息会用这样的方式变成特征，然后它能够使用这些特征来得到新的前后一致的信息，也就是归纳总结化。但是真正重要的是这样来回往复的图形或树形的表现族谱方式，把里面的人变成特征向量这种形式，事实上从图形状的表现手法，你也能够得到特征向量，从特征向量你又可以得到更多的图形陈述，那时候是1986年。90年代早期 Bengio就已经展示过，你可以把真实的数据，比如你可以拿来英文文本，然后使用这些技巧得到文本的词语向量，这曾经惊艳了许多人。&/p&&p&&b&吴恩达：&/b&最近我们在聊的都是计算机变得有多快，比如使深度学习不断提高的新的GPU和超级计算机，我在90年代到1986年那时还不存在的这些工具，听起来你和Bengio那时就已经开始引发了这个潮流。&/p&&p&&b&Geoffrey Hinton：&/b&是的，在当时的确是很大的进步。在1986年，我曾经用一个速度小于十分之一秒百万次浮点运算的列表机，大概1993年左右，人们才逐渐开始见到十秒百万次浮点运算，所以曾经都是100的倍数，在那时也许还挺好用的。因为计算机才刚刚开始变快。&/p&&p&&b&吴恩达：&/b&原来如此，前几十年的时候，你就已经发明了这么多神经网络和深度学习相关的概念，我其实很好奇，在这么多你发明的东西中，哪些是你到现在为止依然还是保持热情的。&/p&&p&&b&Geoffrey Hinton：&/b&我认为最具学术之美的是我和Terry Sejnowski做的Boltzmann机器，我们发现它能用非常非常简单的学习算法去应用到密度很高的连接起来的网络，这些网络中只有一些节点能被看到，那么隐藏表示方式，能够用非常简单的算法学习，看起来也是一种你应该能够应用大脑的东西，因为只需要知道直接和每一个突触相连接的两个神经元所被传播的信息应该都是一样的，这里有两个不同的时期，我们也可以称为唤醒和睡眠，但是在这两个不同时期传播信息的方法都是一样的，不像在后向传播中有前后向两种，方法不同，因为发送不同种类的信号，这就是我觉得它的魅力所在，很多年以来都看似只是好奇心所向，因为运行速度很慢，不过后来，我去繁为简，开始只在简单些的网络用一个循环，于是就有了受限Boltzmann机，实际中反而更有效，在Netflix的比赛中，举个例子，受限Boltzmann机是第一名所用的算法之一。&/p&&p&&b&吴恩达：&/b&事实上，很多最近复苏的神经网络，深度学习，从2007年开始，受限Boltzmann机和解除限制Boltzmann机，你和你实验室做了很多贡献。&/p&&p&&b&Geoffrey Hinton：&/b&这是另外让我做得很开心的工作，你能训练受限Boltamann机的想法，仅用一层的隐藏特征，只学一层特征，然后你可以重复把特征当成数据，然后再把新的特征当成数据，再重复，直到你想要的次数，实际能够应用，的确很不错，然后Uy Tay（音）发现这全部过程，可以想成是一个模型，虽然有点奇怪，这个模型顶部是一个受限Boltzmann机，往下是个s形置信网，这发明很超前，这是个针对模型，并且我们想要，能训练这些受限Boltzmann机，能有效地适用于s形置信网，那时，已经有人在做神经网络了，在用高密度连接的网络，但是没有足够好的概率标记，也有人在做图模型，不像我的孩子们能做合适推理，但是也只能用在稀疏连接的网络，我们展示了训练深层置信网络的方法，使大致上的推理变得非常快，只需要一个前向推进，结果就能很美丽，你可以保证，每次学一层新的特征，都有新的带 每次都是这样，每个新的带都会比旧的好。&/p&&p&&b&吴恩达：&/b&变分带显示你是否新加了层数，对，我记得那个视频。&/p&&p&&b&Geoffrey Hinton：&/b&这也是第二件我始终很感兴趣的东西，第三个是做过的一些变分法，统计学者们也做过类似的东西，不过那时我们并不知道，我们让EN变得更有效，通过证明你不需完美的E步骤，而只需要个大约的，EN当时在统计学很有分量，我们证明了它能被一统化，特别是 1993年 和Van Camp，我写了篇论文，是第一篇变分贝叶斯的论文，并且证明了 可以只用一个版本的贝叶斯学习，更容易处理，因为能用a来估算真正的后验概率，也可以用在神经网络中，我对此非常兴奋。&/p&&p&&b&吴恩达：&/b&原来如此，哇，真牛。对，我记得提到的所有论文，你和Hinton（口误） 在论文上花了很多时间，我认为一些现在用的算法或大多数人几乎每天用的一些算法，比如dropout 或来源于你团队的激活函数。&/p&&p&&b&Geoffrey Hinton：&/b&对但不完全是，那么其他人可能也做过ReLU，我们在受限Boltzmann机上花功夫证明了ReLU几乎完全等同于一叠logistic单元，这是其中之一推进ReLU前进的力量。&/p&&p&&b&吴恩达：&/b&我对此非常好奇，这论文的价值是，用了大量数学证明此函数能被复杂公式估算，你是为了发表论文做的数学，还是真的为了影响0和x的最大值的发展。&/p&&p&&b&Geoffrey Hinton：&/b&并不是为了发论文的情况，数学对推进这个想法，真的很有影响力，我显然已经知道ReLU还有logistic单元，由于我花了心血在Boltzmann机上，全都是用的logistic单元，那时候面临的问题是，这个学习算法可能用在ReLU吗，证明完ReLU几乎等同一叠logistic单元后，我们展示了所有的数学证明。&/p&&p&&b&吴恩达：&/b&原来如此，它为无数现在使用ReLU的人们提供了灵感，也不需要特别懂得每个细节。&/p&&p&&b&Geoffrey Hinton：&/b&对，那么其中之一的发现在我到Google之后，是2014年 我在Google讲ReLU的用法以及怎么用单位矩阵初始化，因为ReLU的一大优点是，如果不断复制隐藏层，又用单位矩阵初始化，它会复制下层的模式，我展示了你可以训练一个300个隐层的网络，并且用单位矩阵初始化，会很有效率，但是我没有继续研究下去，也很是后悔，我们只发了一篇论文，能证明你可以初始化，可以初始化重复发生，我应该继续研究的，后来就剩下来了。&/p&&p&&b&吴恩达：&/b&很多年以来我都听到你谈论大脑，我听到过你谈论后向传播和大脑的关系，现在你对此是什么想法。&/p&&p&&b&Geoffrey Hinton：&/b&我现在正好有论文在准备中，主要想法就是这个，如果后向传播是个好的学习算法，那进化过程肯定会从中干扰，有些细胞会变成眼球或是牙齿，如果细胞能做这些，就一定能应用后向传播了，这样假设会造成极大的选择性压力，所以我觉得，毫不怀疑这种想法的神经科学家有点犯傻，可能有比较微妙的应用，我想大脑可能，不会完全用后向传播，但是足够相似，这么多年以来 我想出很多可能的理论，在1987年我和Jay McClelland做出了循环算法，核心想法是你发送信息并循环，并在循环之中保持，它所包括的信息，最简单的版本是，你有输入和隐藏单元，然后你从输入发信息到隐藏单元，再回到输入，再到隐藏 再回到输入，以此类推，那么你想要 训练一个自动译码器，但是你想绕开后向传播，你只要训练，并且去掉所产生的变化，核心想法是神经元突触的学习方式，通过改变突破前的输入权重比重，同时按比例改变突破后的输入，在再流通时 你需要突破后的输入，旧的比较好 新的较差，这是比较理想的情况，我们在神经科学家发明尖峰时序依赖可塑性之前，发明了这个算法，尖峰时序依赖可塑性，是个相同的算法 但是，相反，需要新的东西较好，旧的较差，所以，用预先设定前景活动的权重比例，乘以新的，再减去旧的，后来我在2007年发掘，如果你用一叠，受限Boltzmann机来训练，训练完，你会有完全正确的条件，来重建并实现后向传播，如果你关注重建时期，重建时期实际会告诉你偏差表现的导数，2007年的第一个深度学习专题讨论中 ，我曾做过相关演讲，那时几乎被完全遗漏的部分，后来 Joshua Bengio重拾这个想法，下了很多功夫，我自己本人也做了很多相关研究，如果你有一叠自动译码器，就可以通过后向传送活动和重建点定位，得到导数，这个有趣的想法也是大脑工作的原理之一。&/p&&p&&b&吴恩达：&/b&另一个据我所知，你正在研究的，怎么在深度学习中解决多个时间技巧，能分享一些你的想法吗？&/p&&p&&b&Geoffrey Hinton：&/b&没问题，这要回溯到我研究生第一年，我第一次展示了怎么用快速权重，也就是适应很快，衰退也很快的权重，所以只有短期记忆，我在1973年展示了一个很简单的系统，可以用这些权重做真实循环，真实循环的意思是，用到的神经元来表示循环核心的东西用到的权重，实际也是在循环核心被重复利用的知识引导出的新问题是，当你突出循环核心时，怎么记得已经是在过程中了，这个记忆从何而来，因为你用过了重复核心的神经元，答案是你可以把记忆放入快速权重中，这些活动神经元可以从快速权重中复原和Jimmy Ba最近的研究中，我们已经有了篇关于，这样来用快速权重复原的论文，这个空缺非常大，1973年的第一个模型没有被发表，接下来就是年Jimmy Ba的模型，前后相隔40年。&/p&&figure&&img src=&https://pic1.zhimg.com/v2-44bfd2f83cbcef29117f6c_b.jpg& data-caption=&& data-rawwidth=&1280& data-rawheight=&720& class=&origin_image zh-lightbox-thumb& width=&1280& data-original=&https://pic1.zhimg.com/v2-44bfd2f83cbcef29117f6c_r.jpg&&&/figure&&p&&b&吴恩达：&/b&是个有些年头的概念，五年左右，叫做胶囊，你目前进展如何？&/p&&p&&b&Geoffrey Hinton：&/b&我回到之前所在的状态，就是我非常笃定地相信，所有人都不信的东西，我提交了一些论文 都会被拒接但是我真的相信这个想法，我也会继续研究，在转移中有一些很重要的概念，其一是如何表示多维个体，你可以用些借壳活动，表示多维个体，只要你知道其中的任何一个，在图片中任何一个区域，你会假设至少有一个特别的特征，之后你会用一堆神经元，以及它们的活动来表示特征的不同方面，比如x y坐标具体在哪，在哪个方向，移动速度是多快，是什么颜色，什么亮度，类似等等，你可以用一堆神经元，来代表不同维度的同一个东西，假如只有其中一个，这种做法很不一样，相比于普通方式，普通来说在神经网络中 就只有一个很宏观的层，所有的单元和作用都在里面，但是你不会想到把它们结合成一个个小组，来用不同的坐标表示相同的东西，我们应该去掉多余的结构，另一个想法是。&/p&&p&&b&吴恩达：&/b&在真实的表示方法中，再分段表示，对不同的子集，去表示。&/p&&p&&b&Geoffrey Hinton：&/b&我把这些子集叫做胶囊，胶囊是能够表示一个特征的，一个并只有一个的情况，它能表示特征的所有不同性质，胶囊比一般的神经元能表示更多性质，或是一个普通的神经网络，因为只能表示一个度量上的属性。&/p&&p&&b&吴恩达：&/b&原来是这样。&/p&&p&&br&&/p&&p&&b&Geoffrey Hinton：&/b&当你能这么做之后 你还能做到普通神经网络表现很差的是，我称为常规协议，假设你想要分层，然后图片中有一张嘴，一个鼻子或是别的东西，你想知道你该不该尝试组合成一个东西，这个想法就可以用胶囊 比如一张嘴，有关于嘴的参数，还有鼻子的胶囊 也有关于鼻子的参数，再确定该不该把它们拼起来，你会有来决定能不能拼成脸的参数，要是嘴鼻子有对的空间关系，它们就会对应上，在统一层面有两个相应的胶囊，能组成到下一个层面，就可以决定应该组合起来，因为在高维度能对应上很难得，这过滤方法很不同寻常，相比普通情况的神经网络，常规协议会变得至关重要，特别是用有限数据总结概括时，这个观念上的改变会帮助完成分段，我希望统计角度也更有效，对比我们现在的神经网络，如果你想要改变观点，你就得尝试做，并且全都训练一遍&/p&&p&&b&吴恩达：&/b&好的，相比FIFO学习，监督学习，还可以做点不一样的&/p&&p&&b&Geoffrey Hinton：&/b&我还是计划做监督学习，但是前向路线会很不一样，不同之处在于里面还有些循环过程，比如你觉得找到个嘴，找到个鼻子，之后用几个循环去决定，它们能不能组成一张脸，用这个循环可以做后向传播，也可以有偏重地试试看，我在多伦多的小组正在研究这个，在多伦多我有一个Google小组，是Brain组的一部分，现在我对此非常兴奋。&/p&&p&吴恩达：的确很棒，很期待论文的发表。&/p&&p&&b&Geoffrey Hinton：&/b&哈哈对，假设能发表的话。&/p&&p&吴恩达：你研究深度学习都几十年了，我很好奇你的想法，关于AI有什么改变吗&/p&&p&&b&Geoffrey Hinton：&/b&我用了很多时间，在后向传播上，比如怎么使用 怎么实现它的力量，刚开始，80年代中时，我们在做偏重学习，结果很不错，然后到90年代早期，大多数人类学习都，应该是无监督学习，然后我对无监督学习产生浓厚兴趣，开始研究Wegstein算法。&/p&&p&&b&吴恩达：&/b&那时候你的探讨对我个人影响也很大，我在领导Google Brain团队时，第一个项目就在你的影响下研究了好多无监督学习。&/p&&p&&b&Geoffrey Hinton：&/b&是呢，我可能误导你啦，因为长期来说，无监督学习绝对会变得很重要，但是面对现实，近十年以来所做的都是监督学习，侧重学习都有标签，你想预测一个系列的下一个东西，也就是标签，结果惊人的好，我仍相信无监督学习会很重要，当我们真正搞明白一些东西以后 ，结果会比现在好得多，不过目前还没到。&/p&&p&&b&吴恩达：&/b&嗯，深度学习里的高级研究人员，包括我自己 对此依然很是激动，因为我们中没有一个人知道该怎么办，可能你知道，但是我不行了。&/p&&p&&b&Geoffrey Hinton：&/b&变分法改变代码是你会用到更新参数化的地方，这想法看起来很不错，生成对抗网络也是很棒的想法，生成对抗网络我认为是深度学习中最新最重要的想法，我希望胶囊也能这么成功，生成对抗网络目前是很大的突破。&/p&&p&&b&吴恩达：&/b&稀疏，缓慢的特征上有发生什么吗？其他两个无监督建模的原则是什么。&/p&&p&&b&Geoffrey Hinton：&/b&我从未像你一样看重稀疏性，但是慢速特征，我认为，是个错误，不应该说慢，基本想法是对的，但不应该只考虑不变的特征，而是可预测改变的特征，建任何模型的基本原则大概是，先记录测量，对其应用非线性变换，直到状态向量成为表达式，这项活动变得线性时，不能像做普通渗透一样，假设线性应该找一个从观察转换，到潜在变量的转换，线性操作，比如潜在变量的矩阵乘积 即是如此，举个例子 如果你想改变观点，如果你想从另一个观点产生图像，需要从像素转化到坐标，当你有坐标表示后，希望胶囊也能做到如此，你就可以做矩阵乘数来改变观点，再投射到像素中。&/p&&p&&b&吴恩达：&/b&这就是为什么这是个非常宏观的原则，也是你做面部人工合成的原因，对吗，即是把脸压缩成低维度向量，再生成其他的脸。&/p&&p&&b&Geoffrey Hinton：&/b&我曾有个学生研究这个，我自己本人没怎么做。&/p&&p&&b&吴恩达：&/b&你应该常常被问到，如果有人想要入门深度学习，该做什么，你有什么建议吗？之前应该有很多一对一的情况，但对于全球范围都在看这个视频的观众，对于要学深度学习的人们，你有什么样的建议。&/p&&p&&b&Geoffrey Hinton：&/b&好，我的建议是多读论文，但别读太多，我从导师那里得到这个建议，很不想大多数人说的，大多数会告诉你尽量多读，然后开始自己的研究，对一些研究人员应该是正确的，但是对有创意的人应该读一少部分，然后发现一点你认为所有人都错了的东西，在这点我一般都逆着来，你看到它，感觉不太对，然后想怎么才能做对，当人们反对你时，要坚持自我，我支持人们坚持自我的原则，是判断直觉的对错，你直觉还不错的话，就该坚持，最后一定会成功，要是你直觉一般的话，做啥都无所谓。&/p&&p&&b&吴恩达：&/b&我懂了哈哈，鼓舞人心的建议 就坚持下去。&/p&&p&&b&Geoffrey Hinton：&/b&该相信直觉，不相信就没意义了&/p&&p&&b&吴恩达：&/b&我懂了，是的。我通常建议人们不要只看，而是要重现发表了的论文，自然而然限制了你做的数量，因为重现结果很耗时间&/p&&p&&b&Geoffrey Hinton：&/b&对，当你重现发表的论文时，会发现所有使之成功的小技巧；另一个建议是，永远不要停止编程，因为如果你给学生布置任务 他们三天打鱼两天晒网，回头就会告诉你看，没做成，没做成的原因，往往是他们所做的小决定，当时不觉得很重要，举个例子， 如果你给一个好学生任务，你可以给他们任何人任务，他都会做成，我记得曾经有一次，我说。诶等等，我们上次讨论时，因为某某原因，是不可能成功呀，学生回答说：“对呀，你说完我就发现了，就假设不是你真的意思”。&/p&&p&&b&吴恩达：&/b&哈哈原来这样，那很厉害，还有其他关于AI和深度学习的建议吗？&/p&&p&&b&Geoffrey Hinton：&/b&我认为基本上，开始锻炼直觉时要读够，然后相信直觉，自己动手，不要担心别人有反对意见。&/p&&p&&b&吴恩达：&/b&你也没法证明，他们说的对不对，除非亲自做了，才能知道&/p&&p&&b&Geoffrey Hinton：&/b&对，但还有一点，如果你有个绝好的想法，别人都觉得完全荒谬，那你就找对东西了，举个例子，当我刚想出来变分法时，我给之前一个叫Peter Brown的学生写了封信，他懂得很多EN相关知识，他就拿去给一起工作的人看，名字叫俩兄弟，可能是双胞胎吧，然后他说，俩兄弟说了，你要么是你喝多了，要么是傻，俩兄弟当真认为是荒谬之论，部分原因可能是我用的解释方式，因为我只解释了直觉，但当你有个很不错的想法时，其他人觉得完全是垃圾，就是个好想法的信号了。&/p&&p&&b&吴恩达：&/b&好的，研究课题的话，新研究生们应该多研究胶囊，无监督学习，还有其他吗？&/p&&p&&b&Geoffrey Hinton：&/b&对新研究生的一个好建议是，找一个和你意见一致的导师，因为如果你做的东西，导师也深深赞同，你会得到很好的建议，要是做你导师不感兴趣的东西，你会得到没啥用的建议。&/p&&p&&b&吴恩达：&/b&好的，最后对于学习者的建议，有什么建议给想攻读博士的人，或去顶级公司工作，或顶级研究团队。&/p&&p&&b&Geoffrey Hinton：&/b&这问题复杂 我认为现在，没有足够的深度学习学者在大学中教育有求知欲的人，就没有足够的教职人员，不过应该是暂时性的，发生的事是这样，大多数部门很少有，真正懂得这场革命的人，我几乎同意，这并不是二次工业革命，但是规模接近，有如此巨大的改变，基本是因为我们和计算机的关系改变，不再只是编程序 而是让它们有能力自动解决问题，从根本上改变了计算机的用法，计算机科学部门，却是在之前基础上建立起来的，他们暂且不懂，训练计算机会和编程一样重要，部门中一半的人，得实际去试过训练计算机，我所在的部门就拒绝承认，应该放手让很多人去做，他们觉得有几个就够，可不能放太多人去，这种情况下，你就得建议大公司多花点时间训练员工，Google培养的人们 我们叫做brain居民，我很怀疑最后大学们能赶上。&/p&&p&&b&吴恩达：&/b&嗯，没错，实际上，能有很多学生都发现了，前50的学校超过一半的申请者实际，只想训练计算机 而不是真正做编程，是，归因齐宗，深度学习AI的微专业课程，据我所知，最初都是，你在Coursera上教授的，还得回溯到2012年，奇怪的是，也是你发表RMS算法的时候，也还挺难的。&/p&&p&&b&Geoffrey Hinton：&/b&你邀请我去做，大型开放网课，我可是很怀疑的 但你一直逼我，我很庆幸我那么做了 尽管工作量极大。&/p&&p&&b&吴恩达：&/b&是的，感谢你做到了，我还记得你发牢骚，说要做的这么多，你还老是熬夜，但我觉得很多很多的学者都受益于你的课程，我也非常感激你真的做到了&/p&&p&&b&Geoffrey Hinton：&/b&很棒，对。&/p&&p&&b&吴恩达：&/b&这些年来，我也目睹你被卷入AI界模范的辩论中，以及是否有过AI的变更，你可以分享一下你的想法吗？&/p&&p&&b&Geoffrey Hinton：&/b&我很乐意，早期时，大概50年代，像Von&br&Neumann之类的人，都不相信符号化AI，他们灵感更多来源于大脑，不幸的是，他们都英年早逝，未能使自己的想法面世，AI早期时，人们完全被说服，智力的表示该是，某种符号表达，比较整洁的逻辑，而不完全是逻辑，但是类似逻辑，智力的本质是推理，现在发生的是，有种完全不同的观点，就是无论想法是什么，都是一个很大的神经活动向量，对比符号化的表示，我认为那些把想法想成是符号表达的人，大错特错，输入是一串字符，输出是一串单词，因此，单词的字符串显然能作为表达式，他们觉得一定是字符串，或其他类似字符串的东西，我却不认为是这样，我觉得想法该是某种语言，简直和，把想法置于空间层面理解，必须得是像素进，像素出，一样傻，要是我们能与点矩阵打印机相连，那像素就会出来，但中间的并不是像素，所以我认为想法该是一个大向量，有因果能力的大向量，能引发出其他大向量，这于AI的标准观点 ，符号化表达完全不同。&/p&&p&&b&吴恩达：&/b&好的，AI是肯定会改变，到新的视角的。&/p&&p&&b&Geoffrey Hinton：&/b&起码一部分，大多数人还是认为，AI是符号式的&/p&&p&吴恩达：非常感谢你愿意接受采访，能听到深度学习进化的全过程很棒，还有你依旧在带领它前进，很感谢你Geoff。&/p&&p&&b&Geoffrey Hinton：&/b&感谢你给我这个机会，谢谢你。&/p&&p&&br&&/p&&p&&br&&/p&&p&吴恩达采访 Ian Goodfellow&/p&&p&&b&吴恩达：&/b&嗨，Ian，感谢你今天接受采访。&/p&&figure&&img src=&https://pic4.zhimg.com/v2-111f79d0d9f357b36dd37_b.jpg& data-caption=&& data-rawwidth=&1280& data-rawheight=&720& class=&origin_image zh-lightbox-thumb& width=&1280& data-original=&https://pic4.zhimg.com/v2-111f79d0d9f357b36dd37_r.jpg&&&/figure&&p&&b&Ian：&/b&谢谢你邀请我，Andrew，我很高兴来到这里。&/p&&p&&b&吴恩达：&/b&今天你也许是世界上最知名的深度学习研究员之一，让我们来听听你的心路历程吧，你是怎样一步步进入这行的呢?&/p&&p&&b&Ian：&/b&好，是个好想法，我想我是在遇到你之后才开始对机器学习感兴趣的，我一直从事神经科学研究，我的本科时代导师斯坦福大学的Jerry Cain鼓励我去上你的AI课。&/p&&p&&b&吴恩达：&/b&啊，这我不知道呢。&/p&&p&&b&Ian：&/b&好，所以我一直觉得AI是个好想法，但在实践中，主要的，我想主要达到实用的是一些比如游戏AI，有很多人工编码的规则，让游戏中的非玩家角色，在不同的时间点说出不同的脚本对话，然后，当我在上你的AI入门课程时，你讲到的话题，线性回归和线性回归，误差的偏差和方差分解，我开始意识到这可以是真正的科学，我实际上可以，在AI领域从事科学研究而不是神经科学。&/p&&p&&b&吴恩达：&/b&我知道了，很好，那接下来呢?&/p&&p&&b&Ian：&/b&然后我就回来当你的课程助教了呀。&/p&&p&&b&吴恩达：&/b&原来如此，当我的助教。&/p&&p&&b&Ian：&/b&其实我人生的一大转折点，就是在当那门课助教的时候，其中一名学生，我的朋友Ethan Dreifuss对Geoff Hinton的深度信念网络论文很感兴趣。&/p&&p&&b&吴恩达：&/b&我知道了...&/p&&p&&b&Ian：&/b&是我们两个最后一起在斯坦福大学搭建了世界第一台GPU CUDA机器,专门用来跑玻尔兹曼机,就在那年寒假的业余时间里,我知道了,在那时候,我开始有一个非常强烈的直觉,深度学习才是未来,那时我们接触了很多其他算法,比如支持向量机,它们的渐近线不太靠谱,当你输入更多训练数据时,它们却在变慢,或者对于相同数量的训练数据,改变其他设定并没有改善它们的表现,从那开始,我就专注于深度学习了。&/p&&p&&b&吴恩达：&/b&我记得Richard Reyna有一篇很老的GPU文章,提到你做了很多早期的工作。&/p&&p&&b&Ian：&/b&是的，是的，那篇文章用的就是我们搭建的一些机器，是的，我建造的第一台机器就是 Ethan和我建立的机器，用我们自己的钱在Ethan妈妈的房子里搭的，之后，我们用实验室经费在斯坦福实验室搭了两三台。&/p&&p&&b&吴恩达：&/b&哇，太神奇了，我还不知道这事，太好了。那么，今天真正以风暴席卷深度学习世界的，是你发明的生成式对抗网络(GAN)，那么你怎么想出来的呢?我一直在研究生成模型很久，所以GAN是其中一种生成模型，你有很多训练数据，你希望学会制造更多类似它们的数据，但它们都是虚构的，网络还没见过这种形式的虚构数据，还有几种办法可以做生成模型，在我们想出GAN之前还流行了几年，在我读博的时候，我一直在研究其他各种方法，我非常了解所有其他框架的优缺点，玻尔兹曼机器和稀疏编码，还有其他多年来一直很受欢迎的方法，我那时正在寻找某个可以同时避免所有方法缺点的东西，最后，当我在一个酒吧里和朋友争论生成模型的时候，灵感来了，我开始告诉他们，你需要这么做，这么， 这么做我保证管用，我的朋友不相信会管用，我本来还在写一本深度学习的教科书。&/p&&figure&&img src=&https://pic3.zhimg.com/v2-cc2f07c91fcda_b.jpg& data-caption=&& data-rawwidth=&1280& data-rawheight=&720& class=&origin_image zh-lightbox-thumb& width=&1280& data-original=&https://pic3.zhimg.com/v2-cc2f07c91fcda_r.jpg&&&/figure&&p&&b&吴恩达：&/b&我知道了..&/p&&p&&b&Ian：&/b&但是我强烈相信，这个想法是靠谱的，我马上回家，当天晚上就调试成功了。&/p&&p&&b&吴恩达：&/b&所以只花了一晚上就调试成功第一个GAN了?&/p&&p&&b&Ian：&/b&我大概在午夜做完的，就从我朋友在酒吧的离职派对离开回到家之后。&/p&&p&&b&吴恩达：&/b&我知道了..&/p&&p&&b&Ian：&/b&而它的第一个版本是有效的，这是非常非常幸运的，我没有搜索超参数或任何东西。&/p&&p&&b&吴恩达：&/b&我在某个地方读过一个故事，在那里你有一次涉死体验，让你对AI的信仰更坚定了，给我讲讲那个故事。&/p&&p&&b&Ian：&/b&我其实没有涉死啦，但有那么一瞬间我觉得要死了，我头很痛很痛，一些医生认为我可能有脑出血，在我等待我的MRI结果，看看有没有脑出血时，我意识到，我的大部分想法都是，要确定有其他人继续尝试我当时的研究思路。&/p&&p&&b&吴恩达：&/b&我懂了，我懂了。&/p&&p&&b&Ian：&/b&回想起来，那些都是非常愚蠢的研究思路。&/p&&p&&b&吴恩达：&/b&我懂了..&/p&&p&&b&Ian：&/b&但在这一点上，我意识到这实际上是我生活中优先级最高的事，就是做机器学习研究工作。&/p&&p&&b&吴恩达：&/b&我懂了，是啊，那很棒，当你以为你快要死的时候，你还是想如何完成研究。&/p&&p&&b&Ian：&/b&是的。&/p&&p&&b&吴恩达：&/b&是，这真的是信仰。&/p&&p&&b&Ian：&/b&是的。&/p&&p&&b&吴恩达：&/b&是啊，是啊，所以今天你仍然处于GAN研究的风暴中心，就是这个生成性对抗网络，可以告诉我怎么看GAN的未来吗？&/p&&p&&b&Ian：&/b&现在GANs应用在很多场合里，比如半监督学习，生成其他模型的训练数据，甚至模拟科学实验，原则上这些东西都可以用其他生成模型来做，所以我认为GAN现在在一个重要的十字路口，现在它们有时候效果很好，但要把它们的潜力真正发挥出来，更像是艺术而不是科学，10年前人们对深度学习的感觉或多或少也是如此，当时我们正在使用，以波尔兹曼机器为基础的深层信念网络。它们他们非常非常挑剔。随着时间的推移，我们切换到修正线性单元和批量归一化，深入学习变得更加可靠，如果我们可以把GAN变得像深度学习一样可靠，那么我想我们会继续看到GAN，在今天它们的应用领域里获得更大的成功，如果我们弄不清楚如何稳定GAN，那么我想它对深度学习历史的贡献，就是它向人们展示了如何完成这些涉及到生成模型的全部任务，最终，我们将用其他形式的生成模型来代替它们，所以我花了大约40%的时间试图稳定GAN。&/p&&p&&b&吴恩达：&/b&我懂了，很酷，我想就像很多人大约10年前进入深度学校领域一样，比如你自己，最后变成了领域的先驱者，也许今天加入GAN的人，如果它确实管用，那么最后可能也会成为先驱。&/p&&p&&b&Ian：&/b&是啊，很多人已经是GAN的早期先驱，如果你想描述GAN的历史，你真的需要提到 比如Indico等其他组织，还有Facebook和伯克利，那些小组完成的各种工作。&/p&&p&&b&吴恩达：&/b&所以除了你的研究，你还合著了一本关于深度学习的书，可以说说吗?&/p&&p&&b&Ian：&/b&没错，我和Yoshua Bengio和Aaron Courville合著的，他们是我的博士导师，我们写了一本现代版深度学习教科书，一直很受欢迎，英文版和中文版都很受欢迎，我们已经售出了我想两种语言加起来有70000本吧，而且我从学生那里得到了很多反馈 他们说获益良多，我们有件事做得和其他教材不同，我们一开始就介绍深度学习需要用到的数学知识，我从斯坦福大学课程中得到的一件事是，线性代数和概率论非常重要，人们对机器学习算法感到兴奋，但如果你想成为一名非常优秀的从业者，你必须掌握基本数学，这是整个算法的基础，所以我们确保一开始，集中讨论需要的数学基础，这样，你就不需要重头开始学习线性代数，你可以得到一个短期训练课程，了解对深度学习最有用的线性代数。&/p&&p&&b&吴恩达：&/b&所以即使有些学生数学基础不好或者有几年没接触过数学，你就可以从教材的开始，学到进入深度学习的所有背景知识。&/p&&p&&b&Ian：&/b&你需要知道的所有事实都在那里，当然，你肯定需要集中精神去掌握其中一些概念。&/p&&p&&b&吴恩达：&/b&是的，是的，很好。&/p&&p&&b&Ian：&/b&如果有人真的害怕数学，这经历可能还会有点痛苦，但如果你准备好去学习的话，我相信你一定可以掌握的，你们需要的所有工具都在哪了。&/p&&p&&b&吴恩达：&/b&作为在深度学习领域工作了很长时间的研究员，我很好奇，果你回头看看这几年，可以告诉我你的一些想法吗？AI和深度学习在这些年是如何逐渐演变的。&/p&&p&&b&Ian：&/b&十年前，我觉得，作为一个社区，机器学习中最大的挑战就是这样，如何让它可以处理AI相关的任务，对于更简单的任务，我们那时有很好的工具，比如我们想要提取特征，识别规律，人类设计师可以做很多事情，他们设计出这些功能，然后交给计算机去做，这种做法对很多任务效果都很好，比如预测用户会不会点开广告，或者不同的基本科学分析，但当我们要处理几百万像素的图片时，就很困难了，或者处理音频波形，其中系统必须从零开始学到所有知识，五年前我们开始跨越了这个障碍，现在我们来到了一个时代。如果你想从事AI事业，有太多不同的道路可以走，也许他们面临的最难的问题是应该选择哪条路走下去，你希望让加强学习效果和监督学习一样好吗?你希望让无监督学习效果和监督学习一样好吗?你希望机器学习算法是不偏不倚，不会带上我们的偏见，尽量避免这些偏见，如果你想确保和AI有关的社会问题得到妥善解决，确保AI可以让所有人获益，而不是造成社会动荡和大规模失业?我想现在，真的可以做到很多不同的东西，可以避开AI的所有缺点，同时利用它能提供的所有优点。&/p&&p&&b&吴恩达：&/b&今天有很多人想进入AI领域，你对这些人有什么建议?&/p&&p&&b&Ian：&/b&我想很多想进入AI领域的人，一开始想，他们绝对需要获得博士学位或者这样那样的证书，我觉得实际上这已经不是必要条件了，其中一种获得注意的方式是，在GitHub上写很好的代码，如果你有一个很好玩的项目，解决了某人在前沿希望解决的问题，一旦他们找到了你的GitHub代码，他们会直接找到你，让你到他们那工作，我雇的很多人，去年在OpenAI或今年在谷歌招聘的人，我一开始想很他们合作因为，我见到他们在互联网开源论坛上发表的一些代码段，写文章并发表到arXiv上也是可以的，很多时候要将一个东西打磨完美成为对科学文献的新贡献是很难的，但在这之前你可能已经能开发出一个有用的软件产品了。&/p&&p&&b&吴恩达：&/b&所以读读你的教材，在各种材料上练习然后把代码发布到GitHub 或者arXiv上。&/p&&p&&b&Ian：&/b&如果你要用那本教材学习，那么同时开始做一个项目是很重要的，总之要选择某种方式，将机器学习应用到你兴趣的领域，比如，如果你是一名田野生物学家，你想利用深度学习，也许你可以用它来识别鸟类，或者如果你不知道想用机器学习做什么，你可以去做，比如街景门牌号码分类器，这里所有数据集都设立好了，你直接可以用，这样你就可以练习一下，教材介绍到的所有基本技能，或者当你看给你解释概念的Coursera视频时，直接去练习。&/p&&p&&b&吴恩达：&/b&所以在过去的几年里，我看到你做的一些对抗性样本的工作，告诉我们一下。&/p&&p&&b&Ian：&/b&是，我想对抗性样本就是我称为机器学习安全的新领域，过去，我们看到计算机安全问题，攻击者可能会骗计算机跑错误的代码，这就是所谓的应用级安全性，以前有些攻击方式是人类可以骗过一台计算机，让它相信网络上的消息来自某个可信任的人，但其实不是真的，这就是所谓的网络级安全性，现在我们开始看到，你也可以骗到机器学习算法，让它们去做不应该做的事情，即使运行机器学习算法的程序运行的代码完全正确，即使运行机器学习算法的程序知道网络上所有消息的来源，也能骗到，我认为在新技术开发初期，考虑加入安全性非常重要，我们发现把一个系统建立起来以后，再引入安全性是很难的，所以我对现在要研究的想法非常激动，如果我们现在开始预见机器学习的安全问题，就可以从一开始确保这些算法的安全性，而不是过几年再回头打补丁。&/p&&p&&b&吴恩达：&/b&谢谢，那太棒了，你的故事有很多神奇的地方，尽管已经认识你很多年了，我实际上并不知道，所以感谢你分享这一切。&/p&&p&&b&Ian：&/b&你太客气了，谢谢你邀请我，这是很好的机会。&/p&&p&&b&吴恩达：&/b&好的，谢谢。&/p&&p&&b&Ian：&/b&非常感谢！&/p&&p&&br&&/p&&p&&br&&/p&&p&&br&&/p&&p&吴恩达采访 Ruslan Salakhutdinov&/p&&figure&&img src=&https://pic3.zhimg.com/v2-21d0d2eb8f2d038ff11e_b.jpg& data-caption=&& data-rawwidth=&1280& data-rawheight=&720& class=&origin_image zh-lightbox-thumb& width=&1280& data-original=&https://pic3.zhimg.com/v2-21d0d2eb8f2d038ff11e_r.jpg&&&/figure&&p&&b&吴恩达：&/b&欢迎你，Rus，很高兴今天你能接受采访。&/p&&p&&b&Rus：&/b&谢谢你，谢谢你，Andrew。&/p&&p&&b&吴恩达：&/b&现在你是苹果公司的研究主管，你也有一个教职，卡内基梅隆大学的教授，所以我很想听听你的个人故事，你是如何一步步进入深度学习领域工作的呢?&/p&&p&&b&Rus：&/b&是的，其实，某种程度上，我进入深度学习领域纯粹是运气，我在多伦多大学读的硕士，然后我休学了一年，我实际上在金融领域工作，很意外吧，那时候，我不太清楚是否要去读一个博士学位，然后发生了一些事情，发生了一些意外的事情，有一天早上我要上班路上遇到了Geoff Hinton，Geoff告诉我，嘿，我有这个好想法，来我办公室，我跟你说，所以我们基本上一起散步，然后他开始给我讲波尔兹曼机器，对比散度法还有其他算法，当时我并没有明白他在说什么，但真的，我真的很激动，太令人兴奋了，我非常兴奋，后来就这样，三个月内，我就跟着Geoff读博了，所以这是开始，因为那是2005 ，2006年的事了，这是一些原始的深度学习算法，使用受限玻尔兹曼机，无人监督的预训练，这些概念开始成熟，这就是一切的开始，真的是这样，那个特别的早晨，我偶然碰到了Geoff，完全改变了我未来的事业发展方向。&/p&&p&&b&吴恩达：&/b&然后你其实是早期一篇关于受限玻尔兹曼机的论文的合著者，真正让神经网络和深度学习的概念涅槃重生，你可以告诉我更多关于那个研讨会的工作吗?&/p&&p&&b&Rus：&/b&是的，这其实真的很激动人心，是的，那是第一年，我的PhD生涯的第一年，Geoff和我试图探索使用受限玻尔兹曼机的这些算法，使用预训练等技巧训练多层网络，具体来说 我们集中精力处理自动编码器，我们应该怎么高效的去做PCA的非线性拉伸呢?这是非常令人兴奋的，因为我们的系统能够处理MNIST数字，这是令人兴奋的，但那之后我们走的路，让我们看到这些模型真的可以推广到人脸识别，我还记得那时我们有这个Olivetti人脸数据集然后我们开始在想，是不是可以改善文档压缩，我们开始观察所有这些不同的数据，实值计数，布尔代数，用了整整一年，我还是博士生第一年，所以那是很充实的学习经验，但是 真的在六七个月内，我们已经能够得到非常有趣的结果，我是说非常好的结果，我想我们能够训练这些层次非常深的自动编码器，，这是当时还做不到的事情，用传统的优化技术做不到的事情，但接下来，这就变成了对我们来说非常激动人心的时期，那是超级激动人心的，是的，因为我那时不断在学习新知识，但同时，我们的工作出来的结果，真的很令人印象深刻。&/p&&p&&b&吴恩达：&/b&所以在深度学习复兴初期，很多研究都集中在受限玻尔兹曼机上，然后是深玻尔兹曼机，还出来了很多令人兴奋的研究，包括你们组的一些研究，但玻尔兹曼机还有受限玻尔兹曼机器现在怎么样了?&/p&&p&&b&Rus：&/b&是的，这是一个很好的问题，我觉得在早期，我们使用受限玻尔兹机器的方式，你可以想象一下训练一堆这些受限玻尔兹曼机，让你能够很有效地一次学习一层，有很好的理论基础，告诉你添加特定的一层之后，你可以在特定条件上证明它是有变分界限之类的，所以是有理论支持的，这些模型能够在预训练这些系统方面达到很好的效果，然后在2009年左右，2010年，计算力量开始出现了，GPU开始很强，我们很多人开始意识到，直接优化这些深层神经网络，可以得到类似的结果，甚至更好的结果。&/p&&p&&b&吴恩达：&/b&所以只是标准的反向传播，不带预训练的受限玻尔兹曼机。&/p&&p&&b&Rus：&/b&没错，没错，那之后大概过了三四年，大家都变得很兴奋，因为人们觉得，哇，你真的可以用预训练机制这么训练深层模型，然后，随着更多计算力量变强，人们突然发现，你可以直接做标准反向传播，那是2005年或2004年我们绝对做不到的事情，因为CPU计算要几个月的时间，所以这是一个很大的变化，另一件事，我们还没想清楚的是，如何使用玻尔兹曼机和深波尔兹漫机，我相信他们是非常强大的模型，因为你们可以把它们看成是生成性模型，它们试图对数据进行耦合分布建模，但是当我们开始研究学习算法时，现在学习算法，他们需要使用马尔可夫链，蒙特卡罗和变分学习等，它们并不像反向传播算法那样可以轻松扩展，我们还没有想出更有效训练这类模型的方法，还有卷积的使用，这些模型有点难以适应到现在的计算硬件，我还记得你当时有些工作用的是概率最大池化，来构建这些不同对象的生成模型，来构建这些不同对象的生成模型，但同时，训练这些模型还是很困难的。&/p&&p&&b&吴恩达：&/b&可行性有多高呢?&/p&&p&&b&Rus：&/b&是啊，可行性有多高呢?我们还是要弄清楚怎么办，另一方面，最近使用变分自动编码器的一些工作，例如，可以看成是可以看作是玻尔兹曼机的交互式版本，我们想出了训练这些模块的办法，是Max Welling和Diederik Kingma的工作，或者使用重新参数化技巧，我们现在可以在随机系统内使用反向传播算法，正在推动着各方面很大的进步，但是波尔兹曼机这边，我们还没想出应该怎么做到这点。&/p&&p&&b&吴恩达：&/b&这实际上是一个非常有趣的视角，我实际上并不知道在计算机较慢的早期 RBM，预训练真的很重要，只有计算硬件力量的上升才推动了到标准反向传播的转变，在社区对深度学习思想的演变方面，还有其他话题，我知道你花了很多时间思考这个，生成的无监督方法 vs 监督的方法，你可以给我们分享一下你的想法是如何随着时间推移演变的吗?&/p&&p&&b&Rus：&/b&是的，我觉得这真是，非常重要的话题，特别是如果我们考虑无监督，半监督或生成模型，因为某种程度上我们最近看到的很多成功案例是来自监督学习的，而在早期无监督学习主要被视为无监督预训练，因为我们不知道如何训练这些多层系统，即使在今天 如果你的系统面对的是大量无标签数据和一小部分有标签数据的样本，这些无监督的预训练模型建立这些生成模型可以帮到监督训练，所以我觉我们社区里很多人都抱有这样的信念，当我开始做博士后，做的都是生成模型并试图学习这些堆叠起来的模型，因为那时是训练这些系统的唯一途径，今天在生成建模领域里有很多工作，你们看看生成对抗网络，你们看看变分自动编码器，深度能量模型是我的实验室现在正在研究的，我认为这是非常令人兴奋的研究，但也许我们还没有把它弄清楚，再次，对于正在考虑进入深度学习领域的许多人来说，这个领域我觉得，我认为我们还会取得很大进展，希望在不久的将来。&/p&&p&&b&吴恩达：&/b&所以无监督学习。&/p&&p&&b&Rus：&/b&无监督的学习，对，或者你可以看成是无监督学习或者半监督学习，其中我们会给一些提示或者例子，说明不同东西的含义，然后丢给你大量的无标签数据。&/p&&p&吴恩达：所以这实际上是一个非常重要的见解，在深度学习的早期，那时计算机要慢一些，必须用到受限玻尔兹曼机和深玻尔兹曼机，初始化神经网络权重，但随着计算机变得更快，直接反向传播开始效果更好了。还有一个话题我知道你花了很多时间去想的，监督学习和生成模型，无监督学习的对比，你的看法呢?可以告诉我们，关于这个争议的看法是怎么随时间演变的?&/p&&p&&b&Rus：&/b&我们所有人都相信在那里可以取得进展，就是这些玻尔兹曼机，变分自动编码器，GAN 所有工作，你认为这里很多模型都是生成模型，但是我们还没有弄清楚如何真正让它们变得可行，如何利用大量数据，即使对于.. 我在IT业界见到很多，公司有大量的数据，大量的未标记的数据，有很多注释数据的努力，因为现在这是取得进展的唯一途径，我们应该能够利用这些无标签数据，因为实在太多了，我们还没弄清楚如何做到。&/p&&p&吴恩达：所以你提到对于要进入深度学习领域的人，无监督学习是令人兴奋的领域，今天有很多人想进入深度学习做研究或应用工作，对于这个全球性的社区来说，要做研究或应用工作，你会有什么建议?&/p&&figure&&img src=&https://pic3.zhimg.com/v2-bd45ebcd26f1f70af1dd43a_b.jpg& data-caption=&& data-rawwidth=&1280& data-rawheight=&720& class=&origin_image zh-lightbox-thumb& width=&1280& data-original=&https://pic3.zhimg.com/v2-bd45ebcd26f1f70af1dd43a_r.jpg&&&/figure&&p&&b&Rus：&/b&是的，我认为最关键的建议之一，要给进入这个领域新人的建议，我会鼓励他们尝试不同的事情，不要害怕尝试新事物，不要害怕尝试创新，我可以给你一个例子，当我是研究生时，我们正在研究神经网络，这些是非常难以优化的非凸系统，我还记得在优化社区的朋友聊天，他们的反馈总是这样，这些问题你们解决不了的，因为这些是非凸的，你们不了解优化，凸优化都那么难做，你们还要做非凸优化?然后令人惊讶的是在我们的实验室里，我们从来不关心这么具体的问题，我们正在考虑如何优化，看看能否获得有趣的结果，这种心态有效地推动了社区的发展，我们没有害怕，也许一定程度上是因为，我们没有认真研究优化背后的理论，但我会鼓励人们尝试，不要害怕，要试试挑战一些困难的问题。&/p&&p&&b&吴恩达：&/b&是的，我记得你曾经说过，不要只学编写高层次的深度学习框架，应该实际了解深度学习的底层。&/p&&p&&b&Rus：&/b&是的，没错，我认为，当我教深度学习课程时，我一直尝试去做的是，在作业里，我要求人们实际编写，卷积神经网络的反向传播算法，那很痛苦，但如果你做过一次之后，你就真正了解这些系统背后的运作原理以及如何在GPU上高效实现它们，我认为当你进入研究或工业界时，最重要的是你对这些系统实际在做的事情要有很深入的理解，所以我想这很重要。&/p&&p&&b&吴恩达：&/b&既然你有学术界当教授的经验，也有企业经验，我很好奇，如果有人想进入深度学习领域读博和进入公司各有什么利弊?&/p&&p&&b&Rus：&/b&是的，我认为这其实是个很好的问题，特别是在我的实验室里，我有各种背景的学生，有些学生想去走学术路线，有些学生想走工业路线，现在变得非常有挑战性了，因为在工业里你也能做出一流的研究，你也可以在学术界做出一流的研究，但利弊方面，在学术界，我觉得你有更多的自由来处理长期的问题或者如果你喜欢思考一些疯狂的问题，你想自由自在的工作，去研究，与此同时，在企业里的研究也很激动人心，因为很多情况下，你的研究可以直接影响到数百万用户，比如开发一个核心的AI技术，显然，在企业里你有更多的计算资源，能够做到非常惊人的事情，所以都有优缺点，这真的取决于你想做什么，现在环境非常有趣，有学术界转向工业界的，还有工业界的转向学术界的，虽然更少一点，但现在是非常令人兴奋的时代。&/p&&p&&b&吴恩达：&/b&听起来学术界机器学习不错，企业界机器学习也很棒，最重要的是跳进去，对吧?选一个，跳进去。&/p&&p&&b&Rus：&/b&这真的取决于你的喜好，因为你在什么地方都可以做出惊人的研究。&/p&&p&&b&吴恩达：&/b&所以你提到无监督学习是一个令人兴奋的研究前沿，你觉得还有其他领域你觉得是令人兴奋的研究前沿吗?&/p&&p&&b&Rus：&/b&是的，当然了，我想我现在看到，在现在的社区里看到，特别是在深度学习社区，有几个趋势，我认为有一个特别的趋于特别令人兴奋是深度加强学习领域，因为我们能够弄清楚，我们如何在虚拟世界中训练代理程序，这是过去几年里，我们看到很多的有很多进展，我们是如何把这些系统推广到更大规模上，我们如何开发新的算法，如何让代理程序互相沟通，我觉得这个领域，一般来说，你能和环境交互这些场合是非常激动人心的，我认为还有另一个领域令人兴奋，就是推理和自然语言理解的领域，我们可以建立基于对话的系统吗?&/p&&p&我们可以建立能够推理，能够读懂文本的系统，能够智能回答问题的系统吗?我认为这是现在很多研究的重点，然后还有另一类子领域也是，这个领域可以从很少的几个例子中学到知识，所以通常人们说是一次学习或迁移学习，你从环境习得某种东西，然后我给你一个新的任务，你可以很快地解决这个任务，就像人类一样，而不需要很多很多带标签的样本，所以这个概念是我们社区里很多人都想弄清楚的，我们应该如何做到，如何达到接近人类的学习能力。&/p&&p&&b&吴恩达：&/b&谢谢Rus给我们分享所有的评论和见解，更有趣的是，能听到你的早年故事&/p&&p&&b&Rus：&/b&谢谢 Andrew，是的，谢谢你的采访。&/p&&p&&br&&/p&&p&&br&&/p&&p&吴恩达采访 Yoshua Bengio&/p&&p&&b&吴恩达：&/b&Yoshua你好，很高兴您能参加我们的访谈活动(字幕来源：网易云课堂)。&/p&&figure&&img src=&https://pic4.zhimg.com/v2-37eba2d82ef3b132ba839f_b.jpg& data-caption=&& data-rawwidth=&1280& data-rawheight=&720& class=&origin_image zh-lightbox-thumb& width=&1280& data-original=&https://pic4.zhimg.com/v2-37eba2d82ef3b132ba839f_r.jpg&&&/figure&&p&&b&Yoshua：&/b&我也很高兴。&/p&&p&&b&吴恩达：&/b&您不仅仅是深度学习方面的研究员，工程师，还是该领域和学术研究界的代表人物之一，我很想知道您是如何入门的，您是如何进入深度学习这个领域 ，并不懈探索的。&/p&&p&&b&Yoshua：&/b&小的时候，我读了很多科幻小说和很多同龄人一样，1985年研究生阶段，我开始阅读神经网络方面的论文，当时特别兴奋，也逐渐对这个领域燃起了热情。&/p&&p&&b&吴恩达：&/b&1980年代中期 1985年。您还记得当时读到那些论文的情形吗？&/p&&p&&b&Yoshua：&/b&当时和专业人士们一起上经典的AI课程，我突然发现，这个领域研究的都是人类如何学习，人工智能，如何把人类学习与人工智能和计算机联系起来这样的问题，发现这类文献的时候我异常兴奋，于是开始拜读Geoff Hinton等人撰写的，关于联结主义的论文，我研究过循环神经网络，语音识别，HMN，图模型，之后我很快进入了AT&T贝尔实验室和麻省理工学院攻读博士后，并发现了训练神经网络的长期依赖问题，之后不久，我受聘来到蒙特利尔大学任教，我的年少岁月多半也都是在蒙特利尔度过的，过去几十年一直投身于此。&/p&&p&&b&吴恩达：&/b& 您一定深有感触，谈谈您对深度学习的看法以及神经网络这些年的发展历程吧。&/p&&p&&b&Yoshua：&/b&我们从实验，直觉认识入手，而后提出了一些理论，现在我们在认识和理解上清晰了很多，比如为什么Backprop（反向传播）如此行之有效，为什么深度如此重要，当时我们对这些概念没有任何可靠的论证依据，2000年初，我们开始研究深度网络的时候，我们直觉认为神经网络更深才会更加强大，但是我们不知道应该如何深化，如何优化，当然，我们最初进行的相关实验也未能成功。&/p&&p&&b&吴恩达：&/b&与30年前相比，您认为哪些最关键的设想得到了时间的验证，而哪些又错得最让人意想不到我犯过的一个最大的错误就是和当时90年代所有人一样，我也认为执行backprop需要光滑非线性算法，因为我觉得，如果当时我们有非线性矫正算法，它有些部分会比较平坦，训练起来就很难了，因为很多地方的导数都是0，2010年前后，我们开始在深度网络中尝试Relu算法，我当时执着地认为，我们应当注意导数为0区域上的神经元会不会太饱和，最终，ReLU比sigmoids函数的效果更好，这出乎我的意料，我们探索这个函数是生物连接的原因，并非我们认为它更容易优化，但结果证明它效果更好，之前我还认为它训练起来会比较难。&/p&&p&&b&吴恩达：&/b&请问，深度学习和大脑之间有什么关系，虽然有明确答案，但我更想知道您对此的看法。&/p&&p&&b&Yoshua：&/b&最初让我关注神经网络的一种见解是，连接主义者提出信息是分布在被激活的神经元中，而不是由祖母细胞来描述的，他们称之为“符号描述”，它是传统AI的观点，我依然相信这是非常重要的信息，甚至近期，人们重新发现它的重要性，它确实是一项重大发现，深度学习是后来才提出的，大约在2000年初，但是我90年代研究的并不是这些。&/p&&p&&b&吴恩达：&/b&是的，我记得，很早以前，您曾搭建过许多相对不深的词向量分布式表达。&/p&&p&&b&Yoshua：&/b&是的，没错，那是90年代后期，我很感兴趣的内容之一，我和我兄弟Samy一起做了尝试就是使用神经网络来解决维数灾难的问题，它是统计学习中的一个核心问题，我们能够以一种非常高效的方式，利用这些分布式表达来表示许多随机变量的联合分布，效果很好，之后我把它扩展到词序列的联合分布，这就是词向量的由来，因为我当时认为，这可以实现对拥有相似语义的单词的泛化。&/p&&figure&&img src=&https://pic2.zhimg.com/v2-50765edf6f12f027ce041d19fd93b409_b.jpg& data-caption=&& data-rawwidth=&1280& data-rawheight=&720& class=&origin_image zh-lightbox-thumb& width=&1280& data-original=&https://pic2.zhimg.com/v2-50765edf6f12f027ce041d19fd93b409_r.jpg&&&/figure&&p&&b&吴恩达：&/b&过去20年，您的研究小组完成了多项研究，提出了很多想法，短短几分钟之内无法细数，我好奇的是，小组中的哪项研究或想法，最让您感到自豪。&/p&&p&&b&Yoshua：&/b&好的，我前面提到了长期依赖的研究，我想人们依然不能很好理解它，然后是我刚提到的维数灾难，还有近期应用于神经网络的联合分布，它是由Hugo Larochelle负责的涵盖了应用于联合分布的，学习词向量的各项工作，然后，我觉得，我们最被关注的研究就是深度学习在自动编码器和RBMs堆栈上的应用，还有就是，如何更好地理解用初始化参数解决深度网络训练的难点，还有深度网络中的梯度消失，这项研究及后续实验体现了分段线性激活函数的重要性，其他重要研究还包括无监督学习，降噪自动编码，GANs，这些都是当前非常流行的生成式对抗网络，我们对基于注意力机制的神经网络机器翻译的研究，对翻译工作起到了很重要的作用，现在已经应用到工业系统中，如谷歌翻译，对注意力机制的研究确实改变了我对神经网络的看法，我们曾经认为神经网络只是机器，不过是向量之间的映射，但基于注意力机制，我们现在可以处理各种数据结构，这的确打开了很多有趣领域的大门，生物学联结方面，最近两年我一直在研究的一个课题是，就是我们如何想出像backprop这样的概念，而且大脑也可以执行，我们已经发表了几篇论文，神经科学界人士对此很感兴趣，我们将继续对这个课题的研究。&/p&&p&&b&吴恩达：&/b&我知道你一直关注的一个话题就是，深度学习与大脑之间的关系，能谈谈这个吗？&/p&&p&&b&Yoshua：&/b&我一直在思考两者这间的生物学关联，而且平日里也经常&幻想&，因为我觉得它就像个谜题，首先通过学习大脑，研究大脑，我们有这么多的证据，如穗时序依赖型可塑性，但另一方面，们又有这么多关于机器学习的概念，比如针对一个目标函数对整个系统进行全局训练，比如Backprop，，么Backprop到底是什么意思，还有 &信用分配&到底是什么意思，当我开始思考大脑如何能像backprop一样工作时，就想到，许在backprop背后，在着更通用的概念，可以让backprop更高效地工作，也许有很多方法可以完成信用分配，这也呼应了增强学习领域的一些问题，所以说这一点很有意思，一个简单的问题开始，你会一步步思考更多的问题，而让你把这么多不同的事物联系起来，像在解一个大谜题，这个过程持续了几年，我要说一点，这些所有的尝试大一定程度上是受了Jeff Hinton的启发，他在2007年的时候发表过一次演讲，当时是第一个关于深度学习的研讨会，他讲了他对于大脑工作方式的想法，比如怎么利用时间编码，来辅助backprop的一些工作，这件事对我近几年的一些探索起到了引导性的作用，说起来这一路走来，已经有10多年了。&/p&&p&&b&吴恩达：&/b&另外我经常听到你谈到的一个话题就是无监督学习，能说说关于这方面的想法吗？&/p&&p&&b&Yoshua：&/b&当然，无监督学习非常重要，目前业内的系统都是基于有监督学习的，这就要求人类先定义出当前问题的一些重要概念，并在数据库中讲这些概念标记出来，目前的玩具问题 服务，系统都是基于这个的，但人类本身其实可以做得更好，人类可以探索世界，通过观察发现新的概念并与世界互动，2岁的小孩，能自己理解直观物理概念，比如他们理解重力，理解压力，理解惯性，理解液体，固体，而且他们的父母并没有给他们解释过这些概念，那他们是怎么理解的呢，这就是无监督学习所要解决的问题，不是简单地在数据库中做不做标识的问题，而是如何构建一个精神结构，从而解决如何通过观察来解释世界，最近，我还在尝试，把无监督学习和增强学习整合在一起，因为我相信，我们在努力尝试解释的重要基础概念，原本是有很强的指示的，但我们可能没有把它们联系起来，也就是说，人类或机器如何通过与世界互动，通过探索世界，尝试不同的事物和控制事物，这些是我认为与无监督学习紧密关联的，所以我15年前一开始研究无监督学习时，从不同的机构，到RBM等等，最主要关注的是如何实现学习&良好的表现&，当然现在这个问题也仍然重要，但是我们不确定的是到底如何定义“良好的表现”，比如如何确定一个目标函数，过去几年我们试了好多方法，这也是无监督学习研究的一个魅力所在，解决方案的想法有很多，解决问题的方式有很多，也许明年我们就会发现一个完全不同的方案，也许大脑的工作方式跟我们现在所知的完全不一样，目前该领域还没有进入渐进式研究，它本身还是在探索一个完全未知的领域，我们现在还不能清晰地确定什么样的目标函数，能够评估一个系统在无监督学习上是否表现的很好，当然，这很有挑战性，但同时它也意味着更多未知的可能，而这一点正是研究人员最为着迷的，至少我是这样。&/p&&p&&b&吴恩达：&/b&今天，深度学习已经得到了长足的发展，我想目前不管对于谁来讲，都不太可能遍历现今所有关于深度学习的著作了，所以我比较好奇，关于深度学习 ，你最感兴趣的是什么。&/p&&p&&b&Yoshua：&/b&我比较有想法，我感觉现在关于深度学习的研究，已经脱离了我心目中最理想的方向，我感觉现在机器经常出现些小错误，说明它对世界的认知还很表面化，所以最让我兴奋的是，我们现在的研究方向，不是要让我们的系统实现什么功能，而是回到最本原的原理，如何让电脑来观察世界，与世界互动，发现世界，即使世界很简单，就像编一个电脑游戏，我们也没法做得很好，但是这点很好，因为我不用跟谷歌，Facebook，百度他们竞争，因为这就很根本的研究，谁都可以做，而且在家里的车库里就可以了，当然 ，解决这个问题的方向有很多，但我也看到很多沟通互动功能方面，深度学习和增强学习的融合起着很重要的作用，我非常激动的是，这个方向的研究进度，，在实际应用方面已经有了很大的成就，因为如果看一下我们在实际应用方面面临着巨大的挑战，比如如何应对新的领域 或新的范畴，现成的成功的案例很少，但是人类解决这些问题是完全没有问题的，而对于这些迁移学习的问题，如果我们能够让计算机更好地理解世界，处理这些就会效果好很多，更深度的理解，是吧，眼前的世界在发生什么，我看到的是什么，如何通过行为来影响我的所见所闻，这些是我最近最为关心的问题，另外过去20年人工智能面临的老问题，深度学习都已经有了变革性的发展，因为深度学习的大多数成功是在认知层面的，那接下来的目标呢，接下来的就是高级条件，就是在抽象层面明白事物的原理，现在我们在研究如何能让机器理解更高级的抽象层面，目前还没有达到，所以我们要继续努力，我们要研究原因，研究信息的时序处理，要研究因果关系，如何让机器自己来发现这些事物，未来可能还需要人类的指导，但主要还是要自主完成。&/p&&p&&b&吴恩达：&/b&根据你的描述来看，你是喜欢使用研究方法的，比如你在做的&玩具问题&实验——这里完全没有贬意，是的，但只是对于小问题，而且你相信这个未来可以转到大的问题上。&/p&&p&&b&Yoshua：&/b&是的，完全可以，当然我们先要一点点加大规模，从而最终实现，对这些问题的解决，但是之所以先从玩具问题入手，是因为它可以让我们更清楚地明白我们的失败，从而开始对直观物理概念认识的研究，让机器更容易地理解这些概念，算是经典的分步解决方法吧，另外，我觉得有些人可能没想过的是，其实研究周期是可以快很多的，如果几个小时就能做一个实验，我的进度就可以快很多，如果需要尝试一个较大模型，用来捕捉常识，和普通知识层面的事物，当然这个最后我们是要去做的，只是现有的硬件，每次实验都要花太多时间，所以在硬件运行速度提到上千上百万倍之前，我只能先做玩具问题的实验。&/p&&p&&b&吴恩达：&/b&您还说过，深度学习，不仅仅是一门工程学科，还要多下功夫去了解其中的来龙去脉，可否分享一下您的看法。&/p&&p&&b&Yoshua：&/b&是的，的确如此，我们目前的工作（方式）有点像盲人走路，我们运气不错，也发现了一些有趣的东西，但是，如果我们能够稍微停一停脚步，试着以一种可以转换的方式理解我们所做的事情，因为我们要归于理论，我所说的理论不一定是数学，当然 我喜欢数学，但是我不认为一切事物都要数学化，而是要逻辑化，并不是我可以让别人相信这样有用，可行，这才是最重要的，然后再通过数学来强化和精炼，但更多的是理解，还有做研究，不是要成为下一个基准或标杆，或者打败其他实验室，他公司的人，更多的是，我们应该提出哪些问题来帮助我们，更好地理解我们感兴趣的现象，比如，是什么导致更深度神经网络，或循环神经网络很难训练，我们已经有了一些认识 ，但还有很多东西我们不了解，所以我们设计实验 ，可以不以获得更好的算法为目的，而是以更好地理解现有算法为目的，或者研究某算法在什么情况下表现更好并找到原因，为什么才是真正重要的，科学的意义就是提疑解疑。&/p&&p&&b&吴恩达：&/b&现如今，有好多人希望进入这个领域，您会给那些想进入AI和深度学习领域的人一些什么建议呢？我知道在一对一活动上，您已经回答过很多次了，不过我还是代观看视频的所有网友问一问。&/p&&p&&b&Yoshua：&/b&首先大家可以从事的工作和目的各不相同，研究深度学习和应用深度学习来构建产品，所需要具备的东西可能并不一样，在认知水平上，这两种情况是不同的，但是无论哪种情况都需要亲身实践，想真正掌握一门学问，比如深度学习，当然，也需要大量阅读你必须自己动手编程，我经常面试一些使用过软件的学生，现在有太多即插即用的软件，使用者根本不了解自己在做什么，或是只停留在粗浅了解的程度，一旦出现问题，使用者很难解决 ， 也不知道原因，所以大家要亲自实践，即便效率不高，只要知道是怎么回事就好，这很有帮助，尽量亲自动手。&/p&&p&&b&吴恩达：&/b&所以不要用那种几行代码就可以解决一切，却不知道其中原理的编程框架。&/p&&p&&b&Yoshua：&/b&没错，没错，我还想说的是，如果可以的话，尽量从基本原理入手获取认识，真的很有帮助，当然，平时还要多阅读，多看看别人的代码，自己动手编写代码，多做实验，要真正理解自己做的每一件事，尤其是科学研究层面，多问问自己，我为什么要这么做，人们为什么要这么做，也许书中就能找到答案，所以要多读书，如果能自己搞清楚当然更好。&/p&&p&&b&吴恩达：&/b&很酷的建议，我读了您和Ian Goodfellow、Aaron Courville合编的书，各方评价很高。&/p&&p&&b&Yoshua：&/b&谢谢， 谢谢，是的 ，销量不错，有点超出预料，我感觉现在读它的人要比能读懂它的人多，呵呵呵，ICLR大会论文集可以说是，优秀论文最集中的所在，当然，NIPS&br&，ICML和其他大会也有非常优秀的论文，但如果你想阅读大量优秀论文，去看看最近几年的ICLR大会论文集就好，你会对这个领域有一个良好的认识。&/p&&p&&b&吴恩达：&/b&酷，有人会问 ，关于深度学习，如何才能做到掌握和精通 对此您有什么看法和建议呢。&/p&&p&&b&Yoshua：&/b&这个取决于你的背景，不要畏惧数学，只管发展直觉认识，一旦在你在直觉经验层面得心应手了，数学问题会变得更容易理解，好消息是，不需要攻读五年博士也可以精通深度学习，你可以很快速地上手学习，如果你具备良好的计算机科学和数学功底，几个月时间，你就可以学到足够的应用知识来构建系统，并开始进行研究性实验，接受过良好培训的人可能6个月左右吧，或许他们对机器学习一无所知，但是，如果他们精于数学和计算机科学，学起来会非常快，当然，这意味着你要具备良好的数学和计算机科学背景，有时候，计算机科学课程上学到东西还远远不够，你还要继续学习，尤其是数学知识，比如，概率，代数和最优化。&/p&&p&&b&吴恩达：&/b&了解，还有微积分。&/p&&p&&b&Yoshua：&/b&对，对，还有微积分。&/p&&p&&b&吴恩达：&/b&非常感谢Yoshua与我们分享这些看法，见解和建议，虽然认识您已久，但很