==============================================================&br&&b&不入法眼的应用&/b&&br&&br&1. 只显示一个模型动画或者视频的 Demo&br&2. 粗制滥造毫无 UI&br&3. 满大街乱抄还没原作好的&br&&br&移动平台应用可能会多一些，并可能包含一些和图像识别相关的应用。&br&==============================================================&br&&br&&b&艺术&/b&&br&&br&ARART&br&官网：&a href=&///?target=http%3A///& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&/&/span&&span class=&invisible&&&/span&&i class=&icon-external&&&/i&&/a&&br&&br&&figure&&img src=&/8a2a28ffa69d4c29fbbb_b.jpg& data-rawwidth=&512& data-rawheight=&212& class=&origin_image zh-lightbox-thumb& width=&512& data-original=&/8a2a28ffa69d4c29fbbb_r.jpg&&&/figure&&br&&br&艺术与 AR 的一次结合，不要以为人家只是用高通的图像识别技术显示一个视频，仔细看你就会发觉人家是多么注重细节。&br&每个动画由超过 50 张图片组成，图片只包含运动的部分并在边缘做了模糊处理，这使得整个画面更加真实。&br&&br&&figure&&img src=&/fcf25f897a_b.jpg& data-rawwidth=&512& data-rawheight=&269& class=&origin_image zh-lightbox-thumb& width=&512& data-original=&/fcf25f897a_r.jpg&&&/figure&&br&打开应用之后会事先载入资源，同时你会看到这个应用的特性以及如何使用的说明。点击开始来到摄像头界面，对着蒙娜丽莎的画像，动画便开始播放。动画并不是直接放完，在最后会有一小部分的循环。大家可以在官网下载物料图尝试，或者直接对着下面第三张图。&br&&figure&&img src=&/da832fe60e3a_b.jpg& data-rawwidth=&432& data-rawheight=&382& class=&origin_image zh-lightbox-thumb& width=&432& data-original=&/da832fe60e3a_r.jpg&&&/figure&&figure&&img src=&/c7beb06fa134fead1fa1749_b.jpg& data-rawwidth=&432& data-rawheight=&382& class=&origin_image zh-lightbox-thumb& width=&432& data-original=&/c7beb06fa134fead1fa1749_r.jpg&&&/figure&&br&&br&&b&String&/b&&br&官网：&a href=&///?target=http%3A//string.co/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&string.co/&/span&&span class=&invisible&&&/span&&i class=&icon-external&&&/i&&/a&&br&&br&&figure&&img src=&/de1f7b462c7ba76ebdf389_b.jpg& data-rawwidth=&512& data-rawheight=&288& class=&origin_image zh-lightbox-thumb& width=&512& data-original=&/de1f7b462c7ba76ebdf389_r.jpg&&&/figure&&br&追求视觉的极致，看一下它那狂拽酷炫吊炸天的官网就知道了。这个应用是 String SDK 的 Demo，没有任何复杂的东西，就是为展现 SDK 的技术效果。其中有一个值得称赞的特性是环境光源能够影响被渲染的物体。&br&&figure&&img src=&/9f99ba8aae04_b.jpg& data-rawwidth=&432& data-rawheight=&381& class=&origin_image zh-lightbox-thumb& width=&432& data-original=&/9f99ba8aae04_r.jpg&&&/figure&&br&交互例子中的反馈也做得十分出色。控制怪物走动的例子中，点按屏幕的反馈是粒子效果。在给鞋子换颜色的例子中，被点击的部位会有颜色的变换效果。下面是例子中最经典的一个。（测试图片集的 PDF 没找到，下次再发）&br&&figure&&img src=&/05fff66dad1948eadec3d577cfcd2f03_b.jpg& data-rawwidth=&512& data-rawheight=&358& class=&origin_image zh-lightbox-thumb& width=&512& data-original=&/05fff66dad1948eadec3d577cfcd2f03_r.jpg&&&/figure&&br&&br&&b&总结与展望&/b&&br&&br&说到 AR 与艺术结合，我们不得不提到 Openframeworks，一个用来做计算机互动艺术的引擎。在作品成列区里有各式各样富有创意的作品，其中有些你可能也曾看到过，例如下面的能够互动的梵高星空和能够将你的绘画转变为音乐的 Tunetrace。平时去看展览总喜欢那些可以互动的部分，大家不会喜欢死气沉沉的东西的，所以 AR 给艺术家们展现了很大的想象空间。&br&&br&&figure&&img src=&/297e0e4f073bc5cec6d21d8b4cfafe5b_b.jpg& data-rawwidth=&512& data-rawheight=&338& class=&origin_image zh-lightbox-thumb& width=&512& data-original=&/297e0e4f073bc5cec6d21d8b4cfafe5b_r.jpg&&&/figure&&figure&&img src=&/94ee90cceaeb37ba25e90_b.jpg& data-rawwidth=&512& data-rawheight=&288& class=&origin_image zh-lightbox-thumb& width=&512& data-original=&/94ee90cceaeb37ba25e90_r.jpg&&&/figure&&br&&br&==============================================================&br&&br&&b&浏览器&/b&&br&&br&&br&&b&Layar（ Aurasma 类似 ）&/b&&br&官网：&a href=&///?target=https%3A///& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://www.&/span&&span class=&visible&&/&/span&&span class=&invisible&&&/span&&i class=&icon-external&&&/i&&/a&&br&&br&&figure&&img src=&/9eeacd8a859bcd_b.jpg& data-rawwidth=&512& data-rawheight=&179& class=&origin_image zh-lightbox-thumb& width=&512& data-original=&/9eeacd8a859bcd_r.jpg&&&/figure&&br&定位于媒体杂志，提供最简便的编辑平台与 SDK。使用开源项目，二维码使用的是 ZXing 接口，使用 Fast 角点检测算法做特征点的检测，可以同时识别二维码与自然图像。 Layar 已被 Blippar 收购，Blippar 是专注于商业 AR 广告的公司，我们之后会提到。由于 Aurasma 在各个方面和 Layar 都很像而且在中国区下载不到，这边就不多介绍了。&br&&figure&&img src=&/3aee427a3d36a199312fe_b.jpg& data-rawwidth=&432& data-rawheight=&383& class=&origin_image zh-lightbox-thumb& width=&432& data-original=&/3aee427a3d36a199312fe_r.jpg&&&/figure&&br&Layar 提供了自行发行的 [AR 杂志(&a href=&///?target=http%3A///s/1mgiLFra& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&/s/1mgiLFr&/span&&span class=&invisible&&a&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&)]，共 20 页，其中你可以了解到 Layar 的使用情况，Creator 的使用人数、Layar 的下载人数及他在荷兰使用最多。Layar 支持的 AR 控件，覆盖了媒体杂志的基本需求。在视频方面，如果是短小且连续的视频它会将其下载播放，支持选择、滑动等操作及 3D 模型。&br&&br&忘了最后提醒一下要翻墙&br&&figure&&img src=&/cc3cb938aba6ab_b.jpg& data-rawwidth=&432& data-rawheight=&379& class=&origin_image zh-lightbox-thumb& width=&432& data-original=&/cc3cb938aba6ab_r.jpg&&&/figure&&figure&&img src=&/db120ccd2eff096ac795a627d448cca5_b.jpg& data-rawwidth=&432& data-rawheight=&379& class=&origin_image zh-lightbox-thumb& width=&432& data-original=&/db120ccd2eff096ac795a627d448cca5_r.jpg&&&/figure&&br&&br&&b&Junaio&/b&&br&官网：&a href=&///?target=http%3A///& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&/&/span&&span class=&invisible&&&/span&&i class=&icon-external&&&/i&&/a&&br&&br&&figure&&img src=&/61ec557f5c191aa3f203_b.jpg& data-rawwidth=&512& data-rawheight=&250& class=&origin_image zh-lightbox-thumb& width=&512& data-original=&/61ec557f5c191aa3f203_r.jpg&&&/figure&&br&Metiao 野心勃勃的产品，啥都想做。算法方面涉及人脸识别、自然图像跟踪、自然图像搜索、三维模型识别。销售的产品包括图像识别 SDK、视觉搜索服务、内容编辑器及内容云服务。虽然在各个点上都算不上精，但的确足够大，每年的 InsideAR 都是由 Metaio 主办的。&br&&br&&figure&&img src=&/cc561e73a19d559e356172f_b.jpg& data-rawwidth=&432& data-rawheight=&382& class=&origin_image zh-lightbox-thumb& width=&432& data-original=&/cc561e73a19d559e356172f_r.jpg&&&/figure&&figure&&img src=&/9d1ecd349cbe186091feafa9fd274b03_b.jpg& data-rawwidth=&432& data-rawheight=&380& class=&origin_image zh-lightbox-thumb& width=&432& data-original=&/9d1ecd349cbe186091feafa9fd274b03_r.jpg&&&/figure&&br&进入 App 后第一个界面是基于地理位置的 AR，点击左上方的搜索可以选择大家在 Junaio 上制作的小应用。这里吐槽一下感觉实在没料。点击右上角进入视觉搜索界面，在识别成功后下载小应用资源并展示。感兴趣的童鞋可以下载 [Demo 手册](&a href=&///?target=http%3A///s/1sjmFs77& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&/s/1sjmFs7&/span&&span class=&invisible&&7&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&) 尝试一下。&br&&br&&b&商业&/b&&br&&br&&b&Blippar&/b&&br&官网：&a href=&///?target=https%3A///en/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&/en/&/span&&span class=&invisible&&&/span&&i class=&icon-external&&&/i&&/a&&br&&br&&figure&&img src=&/a77d005e289ce_b.jpg& data-rawwidth=&512& data-rawheight=&289& class=&origin_image zh-lightbox-thumb& width=&512& data-original=&/a77d005e289ce_r.jpg&&&/figure&&br&&br&现在 AR 技术最赚钱的领域估计就要数商业广告了，一个单子估计能有不少钱。有了钱就能请到好的设计师、好的程序创作出好的内容，在这一点上 Blippar 甩 Layar 好几条街。Blippar 在收购 Layar 之后更是加入了编辑器功能，进军纸媒市场。&br&&figure&&img src=&/97f0d1fa4f595fa57c36e3aeb906a606_b.jpg& data-rawwidth=&443& data-rawheight=&778& class=&origin_image zh-lightbox-thumb& width=&443& data-original=&/97f0d1fa4f595fa57c36e3aeb906a606_r.jpg&&&/figure&&br&&br&Blippar 应用的基本流程是，先通过高通进行云端视觉搜索，得到结果后去下载 blipp 资源包，整个过程结束后播放效果，我一直没太搞清楚 Blippar 的渲染用的是哪家的，知道的童鞋可以告诉我一下。&br&&br&&b&社交&/b&&br&&br&&b&Taggar&/b&&br&官网：&a href=&///?target=https%3A///& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://www.&/span&&span class=&visible&&/&/span&&span class=&invisible&&&/span&&i class=&icon-external&&&/i&&/a&&br&&br&应用就像它的名字一样，给物体打 Tag，不过这里物体只能是矩形的刚体。在市场上还没有能够识别弯曲表面的情况下，这不失为一个很好的选择。Taggar 在载入资源时的特效也很有特色，在识别出的矩形范围内出现波动效果，给人一种似幻似真的感觉。&br&&figure&&img src=&/aa4ca8bc93afa3b358e406a24bb62e16_b.jpg& data-rawwidth=&440& data-rawheight=&779& class=&origin_image zh-lightbox-thumb& width=&440& data-original=&/aa4ca8bc93afa3b358e406a24bb62e16_r.jpg&&&/figure&&br&&br&登录 Taggar 的社交系统，感觉这款软件没有做啥很好的运营(没有上面的大图是因为在 Google 图片里就没有)，比起刚开始的那一版似乎方向有所改变，也开始做编辑器之类的了，希望它不要像 Stiktu 那样胎死腹中。&br&&br&&b&Seene&/b&&br&官网：&a href=&///?target=http%3A//seene.co/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&seene.co/&/span&&span class=&invisible&&&/span&&i class=&icon-external&&&/i&&/a&&br&&br&&figure&&img src=&/cfbe26ae70d873d84bdb5cf_b.jpg& data-rawwidth=&512& data-rawheight=&284& class=&origin_image zh-lightbox-thumb& width=&512& data-original=&/cfbe26ae70d873d84bdb5cf_r.jpg&&&/figure&&br&&br&拍摄 3D 的照片，一款很有创意的社交应用。通过小角度移动摄像头，应用采集特征点相对位置变化的数据最后生成一个可以在小角度查看的 3D 景象。真正的效果很难用语言表达，要自己下载应用来看。&br&&figure&&img src=&/14f7ed896dd3a3251f3cbf_b.jpg& data-rawwidth=&443& data-rawheight=&392& class=&origin_image zh-lightbox-thumb& width=&443& data-original=&/14f7ed896dd3a3251f3cbf_r.jpg&&&/figure&&br&&br&在这里要赞一下 Seene 的运营，挑选的图还是很不错的，有兴趣的童鞋可以上他们的官网一探究竟。&br&&figure&&img src=&/55f0b6afadcccee_b.jpg& data-rawwidth=&440& data-rawheight=&776& class=&origin_image zh-lightbox-thumb& width=&440& data-original=&/55f0b6afadcccee_r.jpg&&&/figure&&br&&br&&br&&b&工具&/b&&br&&br&&br&&b&PhotoMath&/b&&br&官网：&a href=&///?target=https%3A//photomath.net/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&photomath.net/&/span&&span class=&invisible&&&/span&&i class=&icon-external&&&/i&&/a&&br&&br&&figure&&img src=&/c7e4ac01a5ceddf04de1988_b.jpg& data-rawwidth=&512& data-rawheight=&341& class=&origin_image zh-lightbox-thumb& width=&512& data-original=&/c7e4ac01a5ceddf04de1988_r.jpg&&&/figure&&br&&br&功能是框选一个数学式子并帮你计算出答案，底部的菜单包括历史、闪光灯、计算步骤与帮助功能。虽然功能简单，但它的意义在于展现了 AR 加上图像识别技术可以帮助我们解决问题。&br&&figure&&img src=&/755eb72aff6a92cedf9ff_b.jpg& data-rawwidth=&439& data-rawheight=&774& class=&origin_image zh-lightbox-thumb& width=&439& data-original=&/755eb72aff6a92cedf9ff_r.jpg&&&/figure&&br&&br&PhotoMath 的开发公司还提供文字识别 SDK。个人很期待它能够与 Wolfram 合作提供更多问题的解答，而不是因为现在使用的人不多而搁浅。&br&&br&&br&&b&Looksery&/b&&br&官网：&a href=&///?target=http%3A///& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&/&/span&&span class=&invisible&&&/span&&i class=&icon-external&&&/i&&/a&&br&&figure&&img src=&/db00b27e612e8a44e291_b.jpg& data-rawwidth=&512& data-rawheight=&236& class=&origin_image zh-lightbox-thumb& width=&512& data-original=&/db00b27e612e8a44e291_r.jpg&&&/figure&&br&一款技术与特效都十分牛逼的拍摄工具，一开始就会有许多人被它的特效吓一跳。&br&作为工具型应用，Looksery 做得十分简洁，没有多余的废话，选择特效录制视频然后分享，如果面部跟踪有问题，可以再按一下特效重置。&br&&br&&figure&&img src=&/71e0d9a08d0ceef4423ed6_b.jpg& data-rawwidth=&428& data-rawheight=&621& class=&origin_image zh-lightbox-thumb& width=&428& data-original=&/71e0d9a08d0ceef4423ed6_r.jpg&&&/figure&&br&&br&个人觉得目前 Looksery 的风格太过那个那个啥了，很期待它能够结合上 Live2D 技术，把 2次元的萌妹子们都加入进去。&br&Live2D 官网：&a href=&///?target=http%3A///& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&/&/span&&span class=&invisible&&&/span&&i class=&icon-external&&&/i&&/a&&br&&figure&&img src=&/248a234cc3d0e0a7cec9a89649bcf7d3_b.jpg& data-rawwidth=&449& data-rawheight=&654& class=&origin_image zh-lightbox-thumb& width=&449& data-original=&/248a234cc3d0e0a7cec9a89649bcf7d3_r.jpg&&&/figure&&br&&br&==============================================================&br&未完待续...&br&&br&下次内容包括教育、游戏、国内。
============================================================== 不入法眼的应用 1. 只显示一个模型动画或者视频的 Demo 2. 粗制滥造毫无 UI 3. 满大街乱抄还没原作好的 移动平台应用可能会多一些，并可能包含一些和图像识别相关的应用。 ===============…
&p&说明：此回答主要专注于VR游戏入门，对VR/AR行业也有涉猎。&br&&/p&&br&&p&如果说2014年Facebook以20亿美元收购Oculus，让外界首次聚焦VR/AR行业的话，那么2016年则必定将成为VR/AR行业爆发的元年，各大公司齐步进军VR/AR，在主流科技媒体上，每天都会频繁出现关于VR/AR行业的报道、分析报告的出炉、市场的增量、投资的追加，以及新的入局者，无不预示着VR/AR行业的蓬勃向上。尤其是视频游戏行业，因为潜在市场巨大、对营收持乐观态度、以及用户的高期待，更成为VR行业的最佳入口。&/p&&figure&&img src=&/70d361cad8f7c0e059e5cc_b.jpg& data-rawwidth=&509& data-rawheight=&457& class=&origin_image zh-lightbox-thumb& width=&509& data-original=&/70d361cad8f7c0e059e5cc_r.jpg&&&/figure&（高盛：《VR与AR：解读下一个通用计算平台》产业报告中，对VR在各行各业在未来发展的预测，腾讯科技中文翻译）&br&&p&那么，如何入门VR游戏呢？&/p&&br&&p&&b&1&/b&&b&、VR/AR是什么？&/b&&/p&&p&&b&1&/b&&b&）VR&/b&&/p&&p&维基百科定义&/p&&blockquote&VR，是virtual reality的缩写，简称虚拟技术，也称虚拟环境，是利用电脑模拟产生一个三维空间的虚拟世界，提供使用者关于视觉等感官的模拟，让使用者感觉仿佛身历其境，可以及时、没有限制地观察三维空间内的事物。&/blockquote&&p&人话版&/p&&blockquote&VR，是利用电脑技术再造一个虚拟空间，利用VR设备的头部、动作监测技术追踪用户的动作，再反馈到内容中，为用户提供沉浸式的体验。因为呈现内容全为虚拟，VR设备也往往以全封闭的形式呈现。&/blockquote&&p&&b&2&/b&&b&）AR&/b&&/p&&p&维基百科定义&/p&&blockquote&AR，是Augmented Reality的简称，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在萤幕上把虚拟世界套在现实世界并进行互动。&/blockquote&&p&人话版&/p&&blockquote&AR，是利用电脑技术在现实世界上叠加上新的虚拟内容，相当于是现实世界的增强版。因此，AR设备通常需要保持透明或半透明状态，必须保证体验人员能看到现实场景，并利用集成影像投射原件，丰富现实场景。&/blockquote&&br&&p&&b&3&/b&&b&）区别&/b&&/p&&figure&&img src=&/e39f2bdada_b.jpg& data-rawwidth=&538& data-rawheight=&543& class=&origin_image zh-lightbox-thumb& width=&538& data-original=&/e39f2bdada_r.jpg&&&/figure&&br&&p&&b&2&/b&&b&、VR游戏软件/设备介绍&/b&&/p&&p&如果要学习制作VR游戏，必须有相应的VR软件和VR设备。&/p&&p&&b&1&/b&&b&）硬件：VR设备&/b&&/p&&p&如上所言，VR设备主要可分为PC端和移动端两块，目前发展的比较成熟的主要是PC端的头戴式设备（HMD）和平台，像HTC Vive甚至被誉为“没有体验过HTC Vive，就不算了解VR”，可见其效果斐然。另外，Sony的PlayStation VR也将在10月推出，可视为其支持平台游戏VR化的重要一步。&/p&&p&而移动端的VR设备，可以配合智能手持设备使用，更加简单、舒适，最具代表性的就是三星Gear VR，预订Galaxy 7就可免费获赠Gear VR，相对PC端产品，价格优势明显，但体验感也不及PC产品。而国内也有百元级定价的暴风魔镜在售，体验VR的门槛并不高。&/p&&figure&&img src=&/e7ec906ddcaec_b.jpg& data-rawwidth=&613& data-rawheight=&306& class=&origin_image zh-lightbox-thumb& width=&613& data-original=&/e7ec906ddcaec_r.jpg&&&/figure&&p&（德银：《VR时代到来》产业报告中，对VR硬件设备的分类，腾讯科技中文翻译）&/p&&br&&p&&b&2&/b&&b&）软件：游戏引擎&/b&&/p&&p&在使用VR硬件体验VR游戏之前，我们需要先使用游戏引擎实现VR特效，制作VR游戏。一般来说，Unity和Unreal是VR游戏制造商使用的主流游戏引擎。&/p&&figure&&img src=&/f9a5768f1fbb116ffea1ec_b.jpg& data-rawwidth=&285& data-rawheight=&126& class=&content_image& width=&285&&&/figure&&p&&b&Unity&/b&是一个用于创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的综合型创作工具，推出较早，学习、开发成本都相对较低，而且已经提供了一些现成的VR下的demo以供参考，但是画面渲染能力较弱，官方插件不全，对控制器的支持也一般。主要用于组件多但面数低的游戏制作，移动端较简单的VR的开发也基本是基于Unity实现的。&/p&&figure&&img src=&/f7a6b13f7a6ecfbbfcc8f_b.jpg& data-rawwidth=&324& data-rawheight=&202& class=&content_image& width=&324&&&/figure&&p&&b&Unreal&/b&同样是全球知名的商用游戏引擎，占据游戏市场80%的市场份额，学习、研发成本高难度大，操作复杂，并且有相当部分缺乏现成文档，完全处于探索阶段，bug也比较多，游戏打包编译时间也很久；但好处在于画面效果比Unity高出不少，渲染能力、插件支持和对控制器、手柄的操控都完全秒杀Unity。基于PC端开发的HMD类VR游戏，因为更强调画面感和真实性，基本都采用Unreal实现，现在也逐步进入手游领域开发。&/p&&p&目前，两款游戏引擎最新版本都已经与Oculus、Sony、HTC等主要VR厂商的合作，可以方便的开发VR游戏。&/p&&br&&p&&b&3&/b&&b&、学习资源&/b&&/p&&p&虽然VR游戏制作包括环节众多，游戏新手在面对策划、程序、美术、音效、特效等，会觉得无从学起，如果是这种情况，不妨以游戏引擎为切入点。最主要的是，VR效果最终要从游戏引擎中体现、输出，所以学会了游戏引擎的操作，也就是掌握了VR游戏开发的一大半。另一方面，在使用游戏引擎时，会接触到动画系统、GUI、美术、音效、特效、光照系统、关卡、游戏逻辑乃至最后的打包输出等多个环节，一次体验后，就能基本走遍游戏开发的全程。&/p&&br&&p&&b&1&/b&&b&）书籍&/b&&/p&&p&对国内行业来说，VR开发是新领域，很少有合适的教材、专著适合学习，一些中文教材要么引擎版本不是最新版，操作有脱节，要么知识点重复累赘，如果要从书籍入手学习，最合适的基本都是外文出版，少量有中文译著，价格都比较贵TAT&/p&&p&&b&《精通Unreal Engine 3卷Ⅰ》：&/b&&a href=&///?target=https%3A///subject/6886556/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&精通Unreal Engine 3卷Ⅰ (豆瓣)&i class=&icon-external&&&/i&&/a&&/p&&p&&b&《精通Unreal Engine 3卷Ⅱ》：&/b&&a href=&///?target=https%3A///subject/6895695/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&精通Unreal Engine 3卷Ⅱ (豆瓣)&i class=&icon-external&&&/i&&/a&&/p&&figure&&img src=&/b86e77e37d1a87dcc78a82_b.jpg& data-rawwidth=&306& data-rawheight=&435& class=&content_image& width=&306&&&/figure&&p&这两卷丛书是Unreal引擎的入门级基础丛书，作者来自三维设计教学领域的著名公司3DBuzz。本身教材编写的详略程度和难易程度是十分适合自学的，对着教材和Unreal练习，比较容易上手，如果结合视频更加事半功倍。&/p&&p&但有一个问题是，这本书因为出版较早，所使用的软件版本已经不是市面上主流的Unreal版本，因此一些操作会对不上。&/p&&br&&p&&b&《Unity 3.x Game Development Essentials》：&/b&&/p&&p&&a href=&///?target=https%3A///subject//& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Unity 3.x Game Development Essentials (豆瓣)&i class=&icon-external&&&/i&&/a&&/p&&figure&&img src=&/49f008dccbfd5a0a85db_b.jpg& data-rawwidth=&327& data-rawheight=&405& class=&content_image& width=&327&&&/figure&&p&这本书是Unity入门必备款，真·游戏开发零基础实操上手经典教材。学习内容安排有条理，难度也是逐级递进，还能在教方法的同时告诉你这款软件设计的机制和道理，对新手来说亲和力很足。如果认真跟着学完这本书，你差不多的就能自己完成一个小游戏制作了。&/p&&p&缺点也有：有点话唠，经常重复讲解同一个步骤，看两遍还好，五遍六遍，就很抓狂了；虽然是零基础，但是至少要懂一些程序语言；书中提到的Unity 3.x版本同样比较落后；外文书籍，语言障碍永远横亘在中间。 &/p&&br&&p&&b&《Unity 5.X从入门到精通》：&/b&&/p&&p&&a href=&///?target=https%3A///Unity-5-X%25E4%25BB%258E%25E5%%25E9%%25E5%%25E7%25B2%25BE%25E9%A-Unity-Technologies/dp/B01984AQB6/ref%3Dsr_1_1%3Fs%3Dbooks%26ie%3DUTF8%26qid%3D%26sr%3D1-1%26keywords%3Dunity%2B5.x%25E4%25BB%258E%25E5%%25E9%%25E5%%25E7%25B2%25BE%25E9%A& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://www.&/span&&span class=&visible&&/Unity-5-X%E4%&/span&&span class=&invisible&&BB%8E%E5%85%A5%E9%97%A8%E5%88%B0%E7%B2%BE%E9%80%9A-Unity-Technologies/dp/B01984AQB6/ref=sr_1_1?s=books&ie=UTF8&qid=&sr=1-1&keywords=unity+5.x%E4%BB%8E%E5%85%A5%E9%97%A8%E5%88%B0%E7%B2%BE%E9%80%9A&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&figure&&img src=&/19ef308ea80b3510bfd1bb2a1a7b5de3_b.jpg& data-rawwidth=&241& data-rawheight=&322& class=&content_image& width=&241&&&/figure&&p&官方出品，Unity 5.X最新版本，权威性和科学性毋庸怀疑，适合初学5.x版本的人。但也不适合完全零基础的人，起码的编程语言还是得略懂，另外这本书虽然很厚，但大部分都是图片，案例也不多。&/p&&p&&b&其他有需要的，推荐收藏两个豆列：&/b&&/p&&p&遊戲編程: 引擎及工具使用：&a href=&///?target=https%3A///doulist/1474762/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&遊戲編程: 引擎及工具使用&i class=&icon-external&&&/i&&/a&&/p&&p&遊戲編程: 引擎及工具開發：&a href=&///?target=https%3A///doulist/1472954/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&遊戲編程: 引擎及工具開發&i class=&icon-external&&&/i&&/a&&/p&&br&&p&&b&2&/b&&b&）网络资源&/b&&/p&&p&&b&·真·无程序语言基础·小白学员：&/b&&/p&&p&请从C#、JS基本语法开始学起，主要以C#为主，在开发中使用较多。至于C#如何上手，好像超出了这个回答的范围，万能的知乎已经有不少优质答案，请大家前往C#话题精华区自行寻找资料、课程、文档：&a href=&/topic//top-answers& class=&internal&&C# - 话题精华&/a&&/p&&p&例如：学习C#的正确姿势以及一些问题？&a href=&/question/& class=&internal&&学习C#的正确姿势以及一些问题？ - C#&/a&&/p&&br&&p&&b&·课程资源：&/b&&/p&&p&最佳的学习资源其实在Unity官网：&a href=&///?target=http%3A///cn/learn/tutorials& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Unity - Learn&i class=&icon-external&&&/i&&/a&&/p&&p&Unity wiki: &a href=&///?target=http%3A///index.php/Main_Page& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Unify Community Wiki&i class=&icon-external&&&/i&&/a&&/p&&p&Unity blog：&a href=&///?target=http%3A///category/technology/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Technology&i class=&icon-external&&&/i&&/a&&/p&&p&Unity answer: &a href=&///?target=http%3A///& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&The best place for answers about Unity&i class=&icon-external&&&/i&&/a&&/p&&p&Unreal Engine 4的文档：&a href=&///?target=https%3A///latest/INT/index.html& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&/l&/span&&span class=&invisible&&atest/INT/index.html&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&p&Unreal Engine 4 Answerhub：&a href=&///?target=https%3A///index.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&UE4 AnswerHub&i class=&icon-external&&&/i&&/a&&/p&&p&官网提供各类新手入门的视频教学（英文）和素材（素材和插件都可以在assetstore下载到，部分收费），教学内容比较基础。而跟着文档走，能扎实软件基础，初学者认真学完可以制作自己的第一个游戏。&/p&&p&如果对着教材学习比较乏味，可以考虑《Unity 3D游戏程序开发公开课》（&a href=&///?target=http%3A///course/introduction/713021.htm%23/courseDetail& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&/course/in&/span&&span class=&invisible&&troduction/713021.htm#/courseDetail&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&），《游戏特效 - Unity3d特效基础 - 入门到精通》（&a href=&///?target=http%3A///course/courseMain.htm%3FcourseId%3D& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&/course/co&/span&&span class=&invisible&&urseMain.htm?courseId=&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&）这类免费课程。&/p&&p&如果自控能力不够需要监督or自学遇到瓶颈需要指导的，可以选择有教师辅导的课程，比像网易云课堂的微专业《VR游戏设计师》（&a href=&///?target=http%3A//mooc./smartSpec/detail/.htm%3Futm_source%3Dutm_medium%3Dcps%26utm_campaign%3Daffiliate& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&mooc./smar&/span&&span class=&invisible&&tSpec/detail/.htm?utm_source=2045618&utm_medium=cps&utm_campaign=affiliate&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&）这类能业余时间学习，能在学习之余跟老师交流讨论，可以在学习中获得一些项目经验的就差不多了，美中不足的就是这类线上培训还比较少。&/p&&p&并不是特别赞成辞职专门去上个封闭培训班这类做法，就Unity的学习体验，Unity的入门很简单，跟着官网和文档就行，Asset Store插件也很多，所以动辄几万的培训班好像并没什么意思。但学下去后却发现，Mono脚本就能延伸出来的一堆问题，在开发中还要整合游戏开发中干卡制作、特效合成等等多种技术，与各环节人员反复沟通调节。在初级到进阶之间，很容易遇到瓶颈期，有老师能做个提点还是很有必要的，所以比较轻量的线上培训，或者学习者相互交流平台倒是个不错的选择。&/p&&br&&p&&b&·VR资讯网站/论坛：&/b&&/p&&p&VR789：&a href=&///?target=http%3A///& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&首页&i class=&icon-external&&&/i&&/a&&/p&&p&一个比较完整的VR导航网站，包括垂直网站、VR设备、VR开发等都包含在其中，出入门者可以去这里找到自己需要的内容浏览查看。&/p&&p&摩多VR：&a href=&///?target=http%3A///& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&VR｜虚拟现实｜VR眼镜｜Oculus&i class=&icon-external&&&/i&&/a&&/p&&p&除了一般的VR资讯之外，还提供各类平台的VR游戏下载，相当于一个带资讯的应用市场。&/p&&p&87870：&a href=&///?target=http%3A///& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&87870虚拟现实网&i class=&icon-external&&&/i&&/a&&/p&&p&新闻资讯+评测+VR游戏+社区的综合体，各方面都比较完整的一个网站。&/p&&p&Yivian：&a href=&///?target=http%3A///& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&YiViAn | 虚拟现实（VR）布道者，虚拟现实（VR）媒体国际品牌&i class=&icon-external&&&/i&&/a&&/p&&p&VR科技博客，原创内容很多，并且随手摘录各种VR行业报告、关注指数，类似VR圈中的月光博客。&/p&&br&&p&&b&·国外网站也有两个推荐，但平时看的不多：&/b&&/p&&p&VRfocus ：&a href=&///?target=http%3A///%250dVRscout& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&/&i class=&icon-external&&&/i&&/a&&/p&VRscout：&a href=&///?target=http%3A///& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&VRScout - Virtual Reality News and VR Videos&i class=&icon-external&&&/i&&/a&&br&&p&&b&·与VR相关的贴吧，比较推荐入门者关注：&/b&&/p&&p&VR吧、oculusrift吧、htcvive吧之类的，虽然贴吧广告很多，但人气还是可观的。&/p&&p&&b&·微信公众号：&/b&&/p&&p&VR次元（qqtechvr）&/p&&p&腾讯科技出品的VR专业微信账号&/p&&p&VR观察（VRguanchajun）&/p&&p&VR观察网出品的公众号，各类行业报告、内容数值都比较全。&/p&&p&&b&4&/b&&b&、一些建议&/b&&/p&&p&1）从真实世界的角度设计游戏关卡和动作&/p&&p&传统游戏的代入感不强，但VR游戏的逼真感，却能让一些华丽酷炫的动作吓到游戏者，特别是一些杀人场景，更需要考虑到玩家的代入感和虚拟环境中的道德感。所以设计VR游戏时，即使移植其他平台的游戏，也不能原样照搬。&/p&&br&&p&2）恰当利用VR的感染力&/p&&p&VR的逼真感在另一方面也能增加玩家的“在场感”，提升虚拟人物与玩家的眼神交流、肢体接触等，都是加强体验感的不错方式。&/p&
说明：此回答主要专注于VR游戏入门，对VR/AR行业也有涉猎。 如果说2014年Facebook以20亿美元收购Oculus，让外界首次聚焦VR/AR行业的话，那么2016年则必定将成为VR/AR行业爆发的元年，各大公司齐步进军VR/AR，在主流科技媒体上，每天都会频繁出现关于VR/AR行…
&p&&i&兔斯霁注：此文章获得&a href=&/& class=&internal&&亮风台信息科技&/a&首席科学家&a href=&/?target=http%3A//www.dabi.temple.edu/%7Ehbling/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&凌海滨&i class=&icon-external&&&/i&&/a&老师的授权而发布。如需转载请注明原作者及本文链接地址。除了这段文字之外，以下全部为正文内容。&/i&&/p&&br&&br&&p&声明：本文的目的主要在于概念介绍和技术科普，远非严谨的学术论文。亲爱的学术界朋友们请保持你们一贯的宽容友好正能量满满的态度，不要提出和点赞无关的意见。关于AR的详细严谨的导论推荐王涌天老师的《增强现实技术导论》。&/p&&br&&p&&b&从现实到&/b&&b&增强现实&/b&&/p&&p&&b&增强现实（&/b&&b&Augmented
Reality&/b&&b&，简称&/b&&b&AR&/b&&b&）&/b&和&b&虚拟现实（&/b&&b&Virtual
Reality&/b&&b&，简称&/b&&b&VR&/b&&b&）&/b&概念的出现已经有了几十年的历史了，然而VR/AR大量出现在科技媒体上吸引各方眼球也就是最近的事情。在本节中我们简单介绍一下这两个概念以及它们的历史，同时澄清一下它们的区别。&/p&&p&首先，让我们来想一想：什么是现实？好哲学好深邃的问题，古希腊思想家帕拉图说过。。。哦，扯远了，回到大家赖以养家糊口的计算机世界，沿用俗语让我们定义现实为：“&b&眼见为实&/b&”。再具体的说，我们关心的现实就是&b&以影像的方式呈现给人类视觉系统的对于真实世界的感知信息&/b&。简单的说，就是真实世界的影像。&/p&&p&上述定义显然给了有进取心的计算机牛人们一个后门：如果以某种方式生成影像，只要足够逼真，是不是就能愚弄人类的眼睛甚至整个大脑呢？有道理，这不就是黑客帝国的原型嘛。这种虚拟出来的现实，毫无悬念就是&b&虚拟现实（&/b&&b&VR&/b&&b&）&/b&的定义。当然，目前的技术能力还远远无法实现黑客帝国中的那种迷人的沉浸感。事实上，从最早的VR原型，1962年由Morton
Helig发明的虚拟现实3D个人影院Sensorama（图1），到最近拉风的Oculus，虚拟现实技术带来的沉浸感始终处在一种需要用户&b&主动相信&/b&的状态。当然，这种状态对于很多应用来说不是什么问题，所以才有了如今大热的各种VR产品和资本热捧的各个VR大鳄和新秀。&/p&&figure&&img src=&/1d4feadbdb348ca0ffcf267_b.jpg& data-rawwidth=&311& data-rawheight=&255& class=&content_image& width=&311&&&/figure&&br&&p&那么，增强现实（AR）又是个啥？&/p&&p&经常收到热心朋友的“你们公司的VR做得真棒”的赞，虚荣心满足的同时，作为一个严谨的技术工作者，其实我是很有些尴尬的。很多时候我真的很想说：亲爱滴，我们做的是AR，是AAAAA R啊！言归正传，让我们引用一下维基百科的定义：&/p&&blockquote&“&b&Augmented reality&/b& (AR) is
a live direct or indirect view of a physical, real-world environment whose
elements are augmented (or supplemented) by computer-generated sensory input
such as sound, video, graphics or GPS data. As a result, the technology
functions by enhancing one's current perception of reality.”&/blockquote&&p&请注意定义中的“physical, real-world
environment”。就是说AR中的R是真实的R，相比之下，VR中的R就是个山寨版的。那么A这个增强的概念就比较广大虚了：笼统的说，凡是能对R有附加额外的信息的都算。除了象Hololens中那样在实时影像上叠加的各种花哨东西以外，实用系统如ADAS里面实时叠加的车道线，辅助生产系统中头显里显示的指示箭头等等，都可以算。再次强调的是，AR里面的信息是叠加到真实的场景里面的，而不是虚拟的场景（即VR）里面的。一个有意思的小众研究方向是将一部分真实场景中的内容叠加到虚拟场景中，学名Augmented
Virtualization，简称AV。&/p&&figure&&img src=&/1d135db8ce5afabe7a8d01a90115ec60_b.jpg& data-rawwidth=&790& data-rawheight=&562& class=&origin_image zh-lightbox-thumb& width=&790& data-original=&/1d135db8ce5afabe7a8d01a90115ec60_r.jpg&&&/figure&&p&图2中的例子也许能更好地反映AR和VR的区别。上方显示的是典型的VR设备和人眼接收到的VR影像，下方则是AR设备和AR影像。这一组例子中我们可以看到VR是将人和真实世界完全隔离的，而AR则相反。AR和VR的优缺点在这里就不啰嗦了。当然，睿智如你，一定不喜欢被虚拟的假象蒙蔽双眼的感觉，对吧？另外值得一提的Digi-Capital对于它们市场前景的预测：到2020年，AR/VR的市场体量总共是1500亿美元，其中AR占1200亿，VR300亿。&/p&&p&从另一角度来看，它们的也有一个比较明显相似之处，都是通过影像的方式实现人和计算机之间的交互，所以它们都需要有生成或者加工影像的能力和将影像呈现给人眼的途径。前者是AR和VR之间很不同的地方，VR基于虚拟生成，AR则基于对现实的加工。而在影像呈现的方面AR和VR基本上是一致的，这也是行外人士难以区分二者的原因。简而言之VR和AR的区别是：&/p&&p&&b&
VR&/b&&b&是趋近现实；&/b&&b&AR&/b&&b&是超越现实。&/b&&/p&&br&&p&接下来我们主要讨论AR，重点讨论AR和VR不同的那一部分。那么AR是如何发展起来的呢？一般认为，AR的鼻祖是哈佛大学Ivan
Sutherland教授1966年发明的光学透射式头盔显示器（STHMD），该设备使得虚实结合成为可能。增强现实这个术语最早是由波音公司的研究员Thomas P.
Caudell在90年代初提出的。1992年，两个早期的原型系统，Virtual
Fixtures虚拟帮助系统和KARMA机械师修理帮助系统，由美国空军的Louis
Rosenberg和哥伦比亚大学的S. Feiner等人分别提出。&/p&&figure&&img src=&/2f8babc1be683bfdcc483c1af4f48c90_b.jpg& data-rawwidth=&822& data-rawheight=&261& class=&origin_image zh-lightbox-thumb& width=&822& data-original=&/2f8babc1be683bfdcc483c1af4f48c90_r.jpg&&&/figure&&p&早期的AR系统多是应用在工业制造维修或类似场景中的，笨重而且画质粗糙（相对于现在的系统而言）。这一方面是由于当时的计算能力和资源所约束，另一方面也是算法技术的发展还没有到位，同时移动数字影像设备还远未普及到一般个人用户。之后，随着这几个方面的迅猛发展，AR的应用和研究也有了长足的进步。尤其值得一提的是2000年Bruce
Thomas等研发的ARQuake系统和2008年推出的Wikitude，前者将AR推向了移动可穿戴的领域，而后者将AR直接落户到了手机端。至于最近开始拉风无比的Hololens和神秘兮兮的Magic
Leap，更是将对AR的关注引向了从所未有的高度。&/p&&figure&&img src=&/b2f1d5f9a3e7e42afaf9f_b.jpg& data-rawwidth=&421& data-rawheight=&311& class=&origin_image zh-lightbox-thumb& width=&421& data-original=&/b2f1d5f9a3e7e42afaf9f_r.jpg&&&/figure&&br&&p&从下面开始，我们将从软件技术和智能理解的角度介绍AR。&/p&&br&&br&&p&&b&2.AR&/b&&b&中的视觉技术 &/b&&/p&&p&&b&增强现实技术流程&/b&&/p&&p&按照Ronald Azuma在1997年的总结，增强现实系统一般具有三个主要特征：虚实结合，实时交互，和三维配准（又称注册、匹配或对准）。近二十年过去了，AR已经有了长足的发展，系统实现的重心和难点也随之变化，但是这三个要素基本上还是AR系统中不可或缺的。&/p&&p&图4描绘了一个典型的AR系统的概念流程。从真实世界出发，经过数字成像，然后系统通过影像数据和传感器数据一起对三维世界进行感知理解，同时得到对三维交互的理解。3D交互理解的目的是告知系统要“增强”的内容。例如，在AR辅助维修系统中，如果系统识别出修理师翻页的手势，就意味着下面要叠加到真实图像中的应该是虚拟手册的下一页。相比之下，3D环境理解的目的就是告知系统要在哪里“增强”。比如在上面的例子中，我们需要新的显示页和以前的看起来在空间位置上是完全一致的，从而达到强烈的真实感。这就要求系统实时对周围的真实3D世界有精准的理解。一旦系统知道了要增强的内容和位置以后，就可以将进行虚实结合，这个一般是通过渲染模块来完成。最后，合成的视频被传递到用户的视觉系统中，就达到了增强现实的效果。&/p&&figure&&img src=&/56a965c457472abb2ffad133a6bbeb6e_b.jpg& data-rawwidth=&692& data-rawheight=&270& class=&origin_image zh-lightbox-thumb& width=&692& data-original=&/56a965c457472abb2ffad133a6bbeb6e_r.jpg&&&/figure&&p&在AR的技术流程中，数据的采集（包括影像和传感器）已经比较成熟，显示端和渲染端的技术也有了长足的进步。相对而言，中间的对于环境和交互的精准理解就是目前的瓶颈了。聪明的同学一定会想到，如果中间这部分使用基本虚拟生成的内容，不就可以了吗？恭喜你来到热闹的VR界：据说从2015年以来，国内已经涌现了好几百个VR公司，光做VR眼镜就上百，不会几个VR名词的话都不好意思和人打招呼，呵呵。当然，本文讨论的是AR，上图中间的基于多模态（简单说就是影像+传感器）的环境和交互理解，是两个充满了各种或明或暗的坑的领域，足以让很多假的猛士知难而退。&/p&&p&&b&环境和交互理解的难点和机会&/b&&/p&&p&那么，真的猛士将会直面什么样惨淡和淋漓的坑群呢？下面我们来共同赏析几个常见坑型：&/p&&p&1、环境坑：据说人的脑细胞里面大多数都是用来处理和理解双眼所获取的视觉信息的，很多我们惊鸿一瞥就能理解和感知的东西得益于我们强大的脑处理能力。各种环境变化对视觉信息的影响我们不但能轻松应对，有时还能加以利用。比如我们的认知能力对光照明暗的变化相当的鲁棒；比如我们可以通过阴影来反推三维关系。而这些对于计算机（确切些说是计算机视觉算法）来说都是不折不扣的坑或者大坑。理解了这种坑，就不难理解为什么很多看起来美轮美奂的demo实用起来那么的悲催，可能的原因包括光照变了形状变了纹理变了姿态变了相机变了背景变了前景变了有阴影了有遮挡了有噪声了有干扰了有畸变了等等等等。更加悲催的是，这些影响系统效果的因素在我们人类的视觉系统中经常是难以察觉的，以至于小白用户们经常对我们的工作能力表示狐疑并产生亲自上手的冲动。总的来说，成像环境的变化常常计算机视觉算法以及AR带来很大的挑战，所以我把相关的坑统称环境坑。&/p&&p&2、学术坑：对于环境和交互的理解重建基本上属于计算机视觉的范畴，计算机视觉是一个有着半个世纪积累的领域，和AR相关的学术成果可以成吨来计。比如，如果对跟踪感兴趣的话，光文章题目中含有“tracking”的顶级会议论文（比如CVPR），每一年都能有几十篇。夸张一点的说，每篇都有坑，区别只在大小深浅明暗。为什么会这样？哦，这个嘛，要发一篇CVPR，我们要想法新理论强公式繁结果好速度还不能太慢（艾玛我容易嘛我），程序不过拟合数据真的很难，文章不藏着limitations（注意是复数）也很难。不是说这些学术成果没有用，相反，正是这些前仆后继的学术进展才慢慢催生了领域的进步。重点是，从实用的解决方案的角度来看学术论文，尤其是新的论文，一定要小心其中的设定和有些话外的信息，多想一下诸如该算法是否对光照敏感，是否可能在手机端达到实时，等等。简单的建议是：对于一篇计算机视觉的论文，未有相关经验的观众请在有相关训练的成熟观众陪伴下谨慎观看。&/p&&p&3、上帝坑：上帝是谁？当然就是用户了。上帝的坑当然得长得有创意，常常激起开发者灵光一动恍然大哭的欲望。比如上帝说，要能判别视频中人的性别，80%的准确度，100万。哇，你是不是感动的热泪盈眶（仁慈的上帝啊），用各种时髦的方法轻松超额10%搞定。可是，交货的时候上帝说你这个系统咋认不出我们家小baby的性别啊！Oh my God，你是不是又激动得想哭了。和环境坑比较像，CV的算法很多时候是需要有假设的，强烈的假设。那怎么办呢？上帝总是正确的，所以唯一的办法就是尽早教育上帝让他更加正确：需要苦口婆心地尽早和用户科普以及尽量明确定义需求，防范坑于未成。还不行的话咋办？上帝啊，请再加点工钱吧。&/p&&p&其实还有其他类型的坑，比如开源代码坑，这里就不详述了。那么，这么一个充满忧患的领域，为什么又会有那么多追随呢？最重要的原因就是巨大的应用前景和钱景了。往小了说，很多具体的应用领域（比如游戏）都已经成功地引入了AR的元素；往大了说，AR的终极形态可能从根本上改变当前的非自然人机交互模式（请脑补微软Win95的成功和现在的Hololens）。上面说的那些坑，在很多是应用上，是可能避免的或者可能填得不那么深的。举个例子：某AR游戏里面需要在跟踪的Marker上进行游戏内容叠加，而该游戏的特殊性使跟踪的精确性难以保证（好吧，其实是算法做的不够给力）从而导致影响用户体验的抖动。这种情况下，一个简单有效的办法是把要叠加的内容做得动感十足，这样一来用户就感觉不到令人不爽的抖动了。类似的实战例子非常多，有的是从渲染端解决的，还有更多的是针对具体用例做算法层面的优化定制的。总的来说，一个好的AR应用往往是需要算法工程实现、产品设计、内容制作等方面的深度结合。&/p&&p&好了，水货讲的太多了，下面我们开始讲技术了。主要是跟踪配准方面，一来是这些技术在AR中的核心重要性，二来嘛，其他方面我其实也不太懂（看我多谦虚，呵呵）。&/p&&p&&b&AR&/b&&b&跟踪配准技术发展&/b&&/p&&p&三维配准是链接虚实的最核心技术，没有之一。大致说来，在AR中配准的目的是对影像数据进行几何上的精确理解。这样一来，就决定了要叠加的数据的定位问题。比如说，在AR辅助导航中如果想把导航箭头“贴在”路面上（如图5），就一定要知道&b&路面在哪里&/b&。在这个例子中，每当手机摄像头获取到新一帧图像，AR系统首先需要将图像中的路面定位，具体的说就是在某个事先设定的统一的世界坐标系下确定地面的位置，然后将要贴的箭头虚拟地放在这个地面上，再通过与相机相关的几何变换将箭头画在图像中相应的位置（通过渲染模块完成）。&/p&&figure&&img src=&/d1f9f424061fcb9f722f2aab3ec2c2e7_b.jpg& data-rawwidth=&432& data-rawheight=&254& class=&origin_image zh-lightbox-thumb& width=&432& data-original=&/d1f9f424061fcb9f722f2aab3ec2c2e7_r.jpg&&&/figure&&p&如前所述，三维跟踪配准在技术上存在很多挑战，尤其在考虑到移动设备有限的信息输入和计算能力的情况下。鉴于此，在基于视觉AR的发展历程中，经历了从简单定位到复杂定位的几个阶段，下面简单介绍一下这个发展过程，更多的技术细节在下一节讨论。&/p&&ul&&li&&b&二维码&/b&&b&：&/b&和大家如今广为使用的微信二维码原理一样，二维码主要的功能在于提供稳定的快速的识别标识。在AR中，除了识别以外，二维码还兼职提供易于跟踪和对于平面进行定位的功能。因为这个原因，AR中的二维码比一般的二维码来说模式显得简单以便于精确定位。图6给出了AR二维码的例子。&/li&&/ul&&figure&&img src=&/dcdc584b069c617a78707fca233ad3b3_b.jpg& data-rawwidth=&120& data-rawheight=&148& class=&content_image& width=&120&&&/figure&&ul&&li&&b&二维图片：&/b&二维码的非自然人工痕迹很大得局限了它的应用。一个很自然的拓广是使用二维图片，比如纸币、书本海报、相片卡牌等等。聪明的小白朋友一定已经发现：二维码本身也是二维图片，那为啥不把二维码的方法直接用到二维图片上呢？哦，是酱紫：二维码之所以简单就是因为它上面的图案是设计出来的让视觉算法可以迅速的识别定位的，一般的二维图片则不具备这种良好的性质，也需要更强大的算法。并且，不是所有的二维图片都可以用来进行AR定位的。极端情况下，一个纯色的没有任何花纹的图片是无法用视觉的方法定位的。图7的例子中，两张卡牌用来定位两个对战重点的虚拟战士。&br&&/li&&/ul&&br&&figure&&img src=&/2d8aae622faaa41fdbe787d_b.jpg& data-rawwidth=&271& data-rawheight=&166& class=&content_image& width=&271&&&/figure&&ul&&li&&b&三维物体：&/b&二维图片的自然扩展当属三维物体。一些简单的规则三维物体，比如圆柱状可乐罐，同样可以作为虚实结合的载体。稍微复杂一些的三维物体通常也可以用类似的方法处理或分解成简单物体处理，如在工业修理中的情况。但是，对于一些特定的非规则物体，比如人脸，由于有多年的研究积累和海量的数据支持，已经有很多算法可以进行实时精准对齐。然而，如何处理通用的物体仍然是一个巨大的挑战。&br&&/li&&li&&b&三维环境：&/b&在很多应用中我们需要对整个周围3D环境的几何理解，很长时间以来和可预期的一段时间以内，这一直是个充满挑战的问题。近年来，三维环境感知在无人车和机器人等领域的应用取得了成功的效果，这让人们对在其在AR中的应用充满憧憬。然而，相比无人车等应用场景，AR中可以使用的计算资源和场景先验常常捉襟见肘。受此影响，AR中的三维场景理解研发主要有了两个显而易见的思路，一是多传感器的结合，而是对于应用的定制。两个思路的结合也是实用中常见的手段。&/li&&/ul&&p&在以上提到的技术中，二维码和二维图片的识别跟踪技术已基本上成熟，也已经有了广泛的应用。技术方面的发展目标主要是进一步提高稳定性以及拓宽适用范围。相比而言，三维物体和三维场景的识别理解还有很大的探索空间，即使是目前火爆的Hololens所展现的令人惊艳的跟踪稳定性，从追求完美的角度还有很多可以提升的空间。&/p&&br&&br&&p&&b&3.单目AR识别跟踪简介 &/b&&/p&&br&&p&由于识别跟踪的重要性，下面简单介绍一下AR中的二维图片跟踪和三维环境理解。二维码的技术已经很成熟而应用有较受限制，三维物体识别的技术大致上介于二维图片和三维场景之间，所以就偷懒不提了。&/p&&p&&b&二维平面物体的&/b&&b&AR&/b&&b&跟踪&/b&&/p&&p&一般情况下， AR中二维平面物体的跟踪可以归结为如下问题：给定一个模板图片R，在视频流中时刻检测该图片的（相对相机的）三维精确位置。比如在图8的例子中，R是实现知道的人民币图片，视频是从手机端实时获取的，通常记为It (表示在时间t获得的视频图像），而需要得到的是R在It 中的几何姿态（通常包括三维旋转和平移），记为Pt。换句话说，模板图片R通过由Pt表示的三维变换就可以被贴到它在图像It中的位置。跟踪结果的用途也很显然，既然知道了这个姿态Pt，我们可以用一个美元的图片以同样的姿态叠加到视频中来替换人民币，从而达到6倍以上的炫富效果。好吧，例子中没有那么俗气，而是叠加了一个庄严的视频。&/p&&figure&&img src=&/1afaefca96c3d8b006c9d2fb0a01538d_b.jpg& data-rawwidth=&388& data-rawheight=&155& class=&content_image& width=&388&&&/figure&&p&那么，上面例子中的跟踪定位是如何做到的呢？主流的方法大致有两类，一类是直接法（direct
method，有时也称为全局法），另一类叫间接法，哦不对，叫控制点法（keypoint-based）。&/p&&p&&b&直接法&/b&：直接法里的“直接”是说直接用优化方法去找最好的目标，即姿态Pt。这里牵涉到三个主要元素：（1）怎么定义好和不好，（2）在哪里找Pt，（3）怎么找。对于（1），一个直观的办法是：假设模板图按照姿态Pt变换后对应图像It上的一个小区域，那么这个区域可以抠出一个图像T，T（经过归一化以后）应该和模板R长得越像越好。对于（2），我们可以在所有可能的姿态中去找Pt。不过这个策略显然是很费时的，考虑到在视频中相邻图像帧的变化有限，所以我们通常是在上一时刻的姿态（通常记为Pt-1）附近去寻找。至于怎么找，这就转化成一个优化问题了，简单的说，就是要在Pt-1的一个邻域里面找一个Pt，使得通过Pt抠出来得图像块T和R最相似。&/p&&p&当然，实际操作时候上面三个部分都各有讲究。比如（1）中对于T和R是否相似可能要考虑光照的变化，（2）中如何定义姿态空间的邻域以及合理的邻域大小，（3）中具体用什么样的优化算法来尽量对抗局部极值的干扰而又不能太耗时。不同的处理方式产生出了不同的跟踪算法，其中典型的代表工作之一是ESM算法和它的一些变种。&/p&&p&ESM是Efficient
Second-order Minimization的缩写，源自Benhimane和Malis在2004年在IROS上发表的工作。该算法采用重构误差平方作为衡量R和T相似性的指标，然后对于姿态空间进行了在李群（Lie Group）上的重新构建使得搜索的步长更为理性，在寻优上面使用的二阶近似的快速算法。这个算法的结构清晰，各模块都可以比较容易的独立扩展，所以在其基础上衍生出了不少改进算法，通常是针对实用场景中不同的调整（比如处理强光照或者运动模糊）。&/p&&p&&b&控制点法&/b&：基于控制点的方法由于其实时高效成为目前业内主流方法。控制点类的方法并不直接对姿态Pt进行寻优，而是通过控制点匹配的方法来计算Pt。控制点法的一个典型流程参见图9。其基本出发点在于使用图像中特别的点（通常是角点）来建立模板R和视频图像It的之间的映射，通过该映射建立方程组，然后求解出姿态Pt。比如说模板是一张人物的相片，那么我们在视频中定位的时候并不需要对于脸上的所有点进行匹配，而可以通过一些控制点（眼角，鼻尖，嘴角等）迅速定位。&/p&&figure&&img src=&/6dbdaad6cdee69cccd4daf_b.jpg& data-rawwidth=&172& data-rawheight=&575& class=&content_image& width=&172&&&/figure&&p&稍微数学一点的解释是这样的：由于姿态Pt是由若干参数（一般是8个）控制的，那么求解Pt的一个办法是弄一个方程组出来，比如说8个线性的方程，那么我们就可以求出Pt了。那么这些方程怎么来呢？我们知道，Pt的作用是把模板R变到图像It中，也就是说R中的每个点经过一个由Pt决定的变换就可以得到它在图像中的位置。那么，反过来，如果我们知道图像中的一个点（比如眼角）和模板中就是同一个点（就是说他们匹配上了），我们就可以用这一对匹配点给出两个方程（X、Y坐标各一个），这样的点就是所谓的控制点。当我们有了足够多的控制点对以后，就可以求解姿态Pt了。&/p&&p&总结起来，控制点法包括三个主要元素：（1）控制点提取和选择，（2）控制点匹配，（3）姿态求解。控制点的基本要求一是要能从周围环境中脱颖而出（减少位置上的歧义），而是要经常而且稳定地出现（易于找到）。各种图像中的角点因此闪亮登场，各种PK。比较知名的有SIFT、SURF、FAST等。注意，上述排名分先后的：按照能力来说越往前越好，按照速度来说越往后越好。实际应用中可以根据用户机型做决定。那么，这些点提取后就可以用了吗？No，一般来说还需要进行取舍：一是要去掉没用的点（即outlier），二是使选取后的点尽量均匀以降低不必要的误差，同时也要防止点太多带来的大量后续计算。控制点匹配的目的是在两个图像的控制点集间找到匹配的点对（鼻尖对鼻尖，眼角对眼角）。通常这个由控制点之间的相似性和空间约束协同完成。简单的方法有紧邻匹配，复杂的基本上二分匹配的各种变种（bipartite
matching or two-dimensional assignment）。完成了匹配之后，就可以求解得到姿态Pt了：由于通常使用的点数远多于最小需求（为了稳定性），这里的方程数目远大于未知变量的数目，所以最小二乘法之类的解法在这里会派上用场。&/p&&p&以上三个步骤初看起来泾渭分明，实际使用时却经常是交织在一起的。主要原因是很难保证得到精确无误的控制点。有用的可靠控制点常常夹杂在各种真假难辨的山寨们一起到来，所以经常需要往返迭代在三个步骤之间，比如用RANSAC之类的方法选择控制点来得到服从大多数的姿态。相比直接法，控制点法的基本算法框架比较成熟，工程实现上的细节很大程度上决定了算法的最终效果。&/p&&p&这两类方法的优缺点根据具体实现略有不同，大致上可以总结如下：&/p&&br&&figure&&img src=&/a873f0bf942c48ddc45d83b77bb407eb_b.jpg& data-rawwidth=&600& data-rawheight=&121& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&/a873f0bf942c48ddc45d83b77bb407eb_r.jpg&&&/figure&&br&&p&
这两类方法的优缺点有很明显的互补性，所以一个自然的想法就是二者的结合，具体的方式也有不同变种，这里就不罗嗦了。
&br&&/p&&p&&b&三维环境的&/b&&b&AR&/b&&b&跟踪&/b&&/p&&p&对于三维环境的动态的实时的理解是当前AR在技术研究方面最活跃的问题。其核心就是最近火热的“即时定位与地图构建”（SLAM，Simultaneously
Localization And Mapping），在无人车，无人机和机器人等领域也起着核心作用。AR中的SLAM比其他领域中一般难度要大很多，主要是因为AR赖以依存的移动端的计算能力和资源比起其他领域来说要弱很多。目前在AR中还是以视觉SLAM为主，其他传感器为辅的局面，尽管这个情况正在改变。下面的讨论主要局限于视觉SLAM。&/p&&p&标准的视觉SLAM问题可以这么描述为：把你空投到一个陌生的环境中，你要解决“我在哪”的问题。这里的“我”基本上等同于相机或者眼睛（因为单目，即单相机，请把自己想象成独眼龙），“在”就是要定位（就是localization），“哪”需要一张本来不存在的需要你来构建的地图（就是mapping）。你带着一只眼睛一边走，一边对周边环境进行理解（建图），一边确定在所建地图中的位置（定位），这就是SLAM了。换句话说，在走的过程中，一方面把所见到（相机拍到）的地方连起来成地图，另一方面把走的轨迹在地图上找到。下面我们看看这个过程大致需要哪些技术。&/p&&p&从图像序列反算出三维环境的过程，即mapping，在计算机视觉里面属于三维重建的范畴。在SLAM中，我们要从连续获取的图像序列来进行重建，而这些图像序列是在相机的运动过程中采集的，所以相关的技术就叫基于运动的重建（SfM，Structure
from Motion）。题外话，SfX是视觉中泛指从X中进行三维重建的技术，X除了运动以外还可以有别的（比如Structure
from Shading）。如果相机不动怎么办？很难办，独眼龙站着不动怎么能知道周围三维的情况呢？原理上来说，一旦获取的两张图像之间有运动，就相当与有两个眼睛同时看到了场景（注意坑，这里假设场景不动），不就可以立体了吗？这样一来，多视几何的东西就派上用场了。再进一步，运动过程中我们得到的实际是一系列图像而不只是两张，自然可以用他们一起来优化提高精度，这就是令小白们不明觉厉的集束约束（Bundle
Adjustment）啦。&/p&&p&那么localization又是怎么回事呢？如果有了地图，即有了一个坐标系，定位问题和前述2D跟踪在目的上基本一致（当然更复杂一些）。让我们考虑基于控制点的方法，那么现在就需要在三维空间找到并跟踪控制点来进行计算了。很巧的是（真的很巧吗？），上面的多视几何中也需要控制点来进行三维重建，这些控制点就经常被共用了。那么可不可以用直接法呢？Yes we
can！但是，如后面会讲到的，由于目前AR中计算资源实在有限，还是控制点法经济实惠些。&/p&&br&&p&从三维重建的方法和结果，SLAM大致可以分为稀疏、半稠密和稠密三类。图10中给出的典型的示例。&/p&&ul&&li&&b&&b&稠密&/b&&b&SLAM&/b&：简单的说，稠密SLAM的目的是对所相机所采集到的所有信息进行三维重建。通俗的说，就是对看见的每一个空间上的点算出它到相机的方位和距离，或者知道它在物理空间的位置。在AR相关的工作里面最近的影响力较大的有DTAM和KinectFusion，前者是纯视觉的，后者则使用了深度相机。由于需要对几乎所有采集到的像素进行方位计算，稠密SLAM的计算量那是杠杠的，所以不是平民AR（比如一般的手机，手握6S/S7/Mate8的朋友不要侧漏傲气，这些统统都算“一般”）。&br&&/b&&/li&&/ul&&br&&figure&&img src=&/8d3a3ce0dd729cd06c908_b.jpg& data-rawwidth=&435& data-rawheight=&168& class=&origin_image zh-lightbox-thumb& width=&435& data-original=&/8d3a3ce0dd729cd06c908_r.jpg&&&/figure&&ul&&li&&b&稀疏&/b&&b&SLAM&/b&：稀疏SLAM的三维输出是一系列三维点云。比如三维立方体的角点。相对于实心的三维世界（比如立方体的面和中腹），点云所提供的对于三维环境的重建是稀疏的，是以得名。实际应用中，在这些点云的基础上提取或推理出所需要的空间结构（比如桌面），然后就可以根据这些结构进行AR内容的渲染叠加了。和稠密SLAM版本相比，稀疏SLAM关心的点数低了整整两个维度（从面堕落到点），理所当然地成为平民AR的首选。目前流行的稀疏SLAM大多是基于PTAM框架的一些变种，比如最近被热捧的ORB-SLAM。&br&&/li&&li&&b&半稠密&/b&&b&SLAM&/b&：顾名思义，半稠密SLAM的输出密度在上述二者之间，但其实也没有严格的界定。半稠密SLAM最近的代表是LSD-SLAM，不过对于在AR中的应用，目前还没有稀疏SLAM热门。&br&&/li&&/ul&&br&&p&
由于稀疏SLAM在AR中的流行度，下面我们简单介绍一下PTAM和ORB-SLAM。在PTAM之前，由A. Davison在2003年提出的单目SLAM开创了实时单目SLAM的先河。这个工作的基本思想还是基于当时机器人等领域的主流SLAM框架的。简单地说，对于每一帧新到来的图像，进行“跟踪-匹配-制图-更新”的流程。然而这个框架在移动端（手机）上的效果和效率都不尽人意。针对移动端AR的SLAM需求，Klein和Murray在 2007年的ISMAR（AR领域的旗舰学术会议）展示了效果惊艳的PTAM系统，从而成为单目视觉AR SLAM的最常用框架，暂时还是之一。
&br&&/p&&p&PTAM的全称是Parallel
Tracking And Mapping，上面已经暗示过了，PTAM和之前的SLAM在框架是不同的。我们知道，SLAM对每一帧同时（Simultaneously）进行两个方面的运算：定位（Localization）和建图（Mapping）。由于资源消耗巨大，这两种运算很难实时的对每一帧都充分地实现。那我们一定要每一帧都同时定位和建图吗？先看定位，这个是必须每帧都做，不然我们就不知道自己的位置了。那么制图呢？很幸运，这个其实并不需要每帧都做，因为隔上几帧我们仍然可以通过SfM来感知场景。试想一下，把你扔到一个陌生的场景，让你边走边探索周边环境，但是每秒钟只让你看10眼，只要你不是在飞奔，相信这个任务还是可以完成的。PTAM的核心思想就在这里，不是simultaneously定位和制图，而是把他们分开，parallel地各自奔跑。这里的定位以逐帧跟踪为主，所以就有了tracking。而制图则不再逐帧进行，而是看计算能力而定，啥时候处理完当前的活，再去拿一帧新的来看看。在这个框架下，再配合控制点选取匹配等各项优化组合，PTAM一出场就以其在华丽丽的demo亮瞎观众（这可是近10年前啊）。&/p&&p&故事显然没有这样结束。我们都知道，demo和实用是有差距滴，何况还是学术界的demo。但是在PTAM思想的指引下，研究人员不断的进行改进和更新。这其中的佼佼者就有上面提到的ORB-SLAM。ORB-SLAM由Mur-Artal,
Montiel和Tardos在2015年发表在IEEE
Transaction on Robotics上，由于其优异的性能和贴心的源码迅速获得工业界和学术界两方面的青睐。不过，如果打算通读其论文的话，请先做好被郁闷的心理准备。不是因为有太多晦涩的数学公式，恰恰相反，是因为基本上没有啥公式，而是充满了让人不明觉厉的名词。为什么会这样？其实和ORB-SLAM的成功有很大关系。ORB-SLAM虽然仍然基于PTAM的基本框架，不过，做了很多很多改进，加了很多很多东西。从某个角度看，可以把它看作一个集大成的且精心优化过的系统。所以，区区17页的IEEE双栏论文是不可能给出细节的，细节都在参考文献里面，有些甚至只在源码里。在众多的改进中，比较大的包括控制点上使用更为有效的ORB控制点、引入第三个线程做回环检测矫正（另外两个分别是跟踪和制图）、使用可视树来实现高效的多帧优化（还记得集束约束吗）、更为合理的关键帧管理、等等。&/p&&p&有朋友这里会有一个疑问：既然ORB-SLAM是基于PTAM的框架，那为啥不叫ORB-PTAM呢？是酱紫的：尽管从框架上看PTAM已经和传统SLAM有所不同，但是出于各种原因，SLAM现在已经演变成为这一类技术的统称。也就是说，PTAM一般被认为是SLAM中的一个具体算法，确切些说是单目视觉SLAM的一个算法。所以呢，ORB-PTAM就叫ORB-SLAM了。&/p&&p&尽管近年来的进展使得单目SLAM已经能在一些场景上给出不错的结果，单目SLAM在一般的移动端还远远达不到随心所欲的效果。计算机视觉中的各种坑还是不同程度的存在。在AR中比较刺眼的问题包括：&/p&&ul&&li&&b&初始化问题&/b&：单目视觉对于三维理解有着与生俱来的歧义。尽管可以通过运动来获得有视差的几帧，但这几帧的质量并没有保证。极端情况下，如果用户拿着手机没动，或者只有转动，算法基本上就挂掉了。&br&&/li&&li&&b&快速运动&/b&：相机快速运动通常会带来两方面的挑战。一是造成图像的模糊，从而控制点难以准确的获取，很多时候就是人眼也很难判断。二是相邻帧匹配区域减小，甚至在极端情况下没有共同区域，对于建立在立体匹配之上的算法造成很大的困扰。&br&&/li&&li&&b&纯旋转运动&/b&：当相机做纯旋转或近似纯旋转运动时，立体视觉无法通过三角化来确定控制点的空间位置，从而无法有效地进行三维重建。&br&&/li&&li&&b&动态场景&/b&：SLAM通常假设场景基本上是静止的。但是当场景内有运动物体的时候，算法的稳定性很可能会受到不同程度的干扰。&br&&/li&&/ul&&br&&p&对AR行业动态有了解的朋友可能会有些疑惑，上面说的这么难，可是Hololens一类的东西好像效果还不错哦？没错，不过我们上面说的是单目无传感器的情况。一个Hololens可以买五个iPhone
6S+，那么多传感器不是免费的。不过话说回来，利用高质量传感器来提高精度必然是AR SLAM的重要趋势，不过由于成本的问题，这样的AR可能还需要一定时间才能从高端展会走到普通用户中。&br&&/p&&br&&br&&p&&b&4.SMART: &/b&&b&语义驱动的多模态增强现实和智能交互&/b&&/p&&p&单目AR（即基于单摄像头的AR）虽然有着很大的市场（想想数亿的手机用户吧），但是如上文所忧，仍然需要解决很多的技术难题，有一些甚至是超越单目AR的能力的。任何一个有理想有追求有情怀的AR公司（比如我亮风台J），是不会也不能局限于传统的单目框架上的。那么除了单目AR已经建立的技术基础外，AR的前沿上有哪些重要的阵地呢？纵观AR和相关软硬方向的发展历史和事态，横看今天各路AR诸侯的技术风标，不难总结出三个主要的方向：语义驱动，多模态融合，以及智能交互。遵循业界性感造词的惯例，我们将他们总结成：&/p&&p&&b&SMART&/b&&b&：&/b&&b&Semantic
Multi-model AR inTeraction&/b&&/p&&p&即“语义驱动的多模态增强现实和智能交互”。由于这三个方面都还在飞速发展，技术日新月异，我下面就勉强地做一个粗浅的介绍，表意为主，请勿钻牛角尖。&/p&&p&&b&语义驱动&/b&：语义驱动在传统的几何为主导的AR中引入语义的概念，其技术核心来源于对场景的语义理解。为什么要语义信息？答案很简单，因为我们人类所理解的世界是充满语义的。如图11所列，我们所处的物理世界不仅是由各种三维结构组成的，更是由诸如透明的窗、砖面的墙、放着新闻的电视等等组成的。对于AR来说，只有几何信息的话，我们可以“把虚拟菜单叠加到&b&平面&/b&上”；有了语义理解后，我们就可以“把虚拟菜单叠加到&b&窗户&/b&上”，或者邪恶地“根据&b&正在播放的电视节目&/b&显示相关广告”。&/p&&figure&&img src=&/8c3d9f2c5cc5d92ffdce0c_b.jpg& data-rawwidth=&453& data-rawheight=&184& class=&origin_image zh-lightbox-thumb& width=&453& data-original=&/8c3d9f2c5cc5d92ffdce0c_r.jpg&&&/figure&&p&相比几何理解，对于视觉信息的语义理解涵盖广得多的内容，因而也有着广得多的应用。广义的看，几何理解也可以看作是语义理解的一个子集，即几何属性或几何语义。那么，既然语义理解这么好这么强大，为啥我们今天才强调它？难道先贤们都没有我们聪明？当然不是，只是因为语义理解太难了，也就最近的进展才使它有广泛实用的可能性。当然，通用的对任意场景的完全语义理解目前还是个难题，但是对于一些特定物体的语义理解已经在AR中有了可行的应用，比如AR辅助驾驶和AR人脸特效（图12）。&/p&&figure&&img src=&/a0e1ccd6e3cd5cb_b.jpg& data-rawwidth=&218& data-rawheight=&179& class=&content_image& width=&218&&&/figure&&p&&b&多模态融合&/b&：随着大大小小的AR厂家陆续推出形形色色的AR硬件，多模态已经是AR专用硬件的标配，双目、深度、惯导、语音等等名词纷纷出现在各个硬件的技术指标清单中。这些硬件的启用显然有着其背后的算法用心，即利用多模态的信息来提高AR中的对环境和交互的感知理解。比如，之前反复提到，作为AR核心的环境跟踪理解面临着五花八门的技术挑战，有些甚至突破了视觉算法的界限，这种情况下，非视觉的信息就可以起到重要的补充支持作用。比如说，在相机快速运动的情况下，图像由于剧烈模糊而丧失精准性，但此时的姿态传感器给出的信息还是比较可靠的，可以用来帮助视觉跟踪算法度过难关。&/p&&p&&b&智能交互&/b&：从某个角度来看，人机交互的发展史可以看作是追求自然交互的历史。从最早的纸带打孔到如今窗口和触屏交互，计算机系统对使用者的专业要求越来越低。近来，机器智能的发展使得计算机对人类的自然意识的理解越来越可靠，从而使智能交互有了从实验室走向实用的契机。从视觉及相关信息来实时理解人类的交互意图成为AR系统中的重要一环。在各种自然交互中，基于手势的技术是目前AR的热点。一方面由于手势的技术比较成熟，另一方面也由于手势有很强的可定制性。关于手势需要科普的一个地方是：手势估计和手势识别是两个紧密相关但不同的概念。手势估计是指从图像（或者深度）数据中得到手的精确姿势数据，比如所有手指关节的3D坐标（图13）；而手势识别是指判断出手的动作（或姿态）说代表的语义信息，比如“打开电视”这样的命令。前者一般可以作为后者的输入，但是如果手势指令集不大的情况下，也可以直接做手势识别。前者的更准确叫法应该是手的姿势估计。 &/p&&figure&&img src=&/5d0afe8dcba8f4376096ab_b.jpg& data-rawwidth=&132& data-rawheight=&194& class=&content_image& width=&132&&&/figure&&br&&p&&b&5.结语&/b&&/p&&p&增强现实的再度兴起是由今年来软硬件的进展决定的，是科学和技术人员几十年努力的推动成果。一方面，很幸运我们能够赶上这个时代提供的机会；另一方面，我们也应该警惕过度的乐观，需要脚踏实地得趟过每一个坑。&/p&
兔斯霁注：此文章获得首席科学家老师的授权而发布。如需转载请注明原作者及本文链接地址。除了这段文字之外，以下全部为正文内容。 声明：本文的目的主要在于概念介绍和技术科普，远非严谨的学术论文。亲爱的学术界朋友们请保持你们一…
&i&兔斯霁注：此文章来自亮风台信息科技&a href=&/?target=http%3A//mp./s%3F__biz%3DMjM5MDM3MjEyMA%3D%3D%26mid%3D%26idx%3D1%26sn%3Db9b634ed027fac1fc637d%26scene%3D1%26srcid%3D0907KxbGEM6kPEnH28PlnB2d%23rd& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&官方微信&i class=&icon-external&&&/i&&/a&，作者：陈儿。&/i&&br&&p&微水导语，可略过：&br&&/p&&blockquote&&p&9月2日晚间19:00—21:00，我厂厂长、AR大神廖博士做客腾讯GAD分享会，和AR爱好者，AR事业参与者一起”细谈AR游戏人生“，近两个小时的分享就涉及了AR、AR游戏、AR爆款游戏Pokemon GO火爆原因分析、AR游戏技术原理、AR发展历程，还解答了小伙伴们爆棚的问题。在这点时间里，各点兼顾、干货满满，最重要的是还不晦涩，陈儿我瞬间粉转红粉！&/p&&p&正如廖博士所说，每一次人机交互的革新，都会带来整个社会的重大产业变革，在AR的浪尖，握住风口，做时代的引领者，而不是拖动者，AR参与者们如此幸运。但要想让风口的猪，牢牢稳住，不摔成肉饼，从底层技术，到应用层面，每个脚印都要够深、够有力，这也是许许多多和亮风台一样的行业参与者的前进印迹。&/p&&p&这两个小时的分享，陈儿不知道你的收获如何，但据说不少人都脑细胞哗哗死，感觉上周好充实，还说我们厂长“低调儒雅有内涵”，有内涵什么的，儒雅什么的，技术男什么的，以后就叫“低儒涵”厂长好了。全程在廖厂长对面的我，不会告诉你结束后廖厂长喝了两大杯水，然后好想葛优瘫（我猜的）。&/p&&/blockquote&&p&错过的想要温故知新的小伙伴们，可看直播回放，另，文中视频DEMO较多，没有全部放出，看全部视频最好也看直播回放哈，地址：&br&&/p&&p&&a href=&/?target=http%3A//zhibo./course/lesson/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&zhibo./course&/span&&span class=&invisible&&/lesson/&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&p&本文不是直播内容全部实录，有整编，廖博士的直播更为有趣生动。&/p&&p&废话这么多，干货开始，准备好脑容量。&/p&&p&全文约6500字，阅读大约需要15分钟，消化时长看你水平，和智商。&br&&/p&&br&&br&&p&&b&大致提纲：&/b&&/p&&p&什么是AR&/p&&p&什么是AR游戏&/p&&p&Pokemon Go为何会火爆&/p&&p&AR应用解决方案实例&/p&&p&AR游戏基础技术体系&/p&&p&
——图像识别&/p&&p&
——SLAM in AR&/p&&p&AR的前世、今生和未来&/p&&br&&br&&p&》&a href=&/?target=http%3A//mp./s%3F__biz%3DMjM5MDM3MjEyMA%3D%3D%26mid%3D%26idx%3D1%26sn%3Db9b634ed027fac1fc637d%26scene%3D1%26srcid%3D0907KxbGEM6kPEnH28PlnB2d%23rd& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&继续阅读&i class=&icon-external&&&/i&&/a&《&/p&&br&&br&&p&&b&注意：由于原文中有较多视频，故不直接在这里贴上全文。请点击&a href=&/?target=http%3A//mp./s%3F__biz%3DMjM5MDM3MjEyMA%3D%3D%26mid%3D%26idx%3D1%26sn%3Db9b634ed027fac1fc637d%26scene%3D1%26srcid%3D0907KxbGEM6kPEnH28PlnB2d%23rd& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&继续阅读&i class=&icon-external&&&/i&&/a&查看原文。&/b&&/p&
兔斯霁注：此文章来自亮风台信息科技，作者：陈儿。 微水导语，可略过： 9月2日晚间19:00—21:00，我厂厂长、AR大神廖博士做客腾讯GAD分享会，和AR爱好者，AR事业参与者一起”细谈AR游戏人生“，近两个小时的分享就涉及了AR、AR游戏、AR爆款游戏Pok…
&figure&&img src=&/af9dd3723c51_b.jpg& data-rawwidth=&1920& data-rawheight=&732& class=&origin_image zh-lightbox-thumb& width=&1920& data-original=&/af9dd3723c51_r.jpg&&&/figure&&p&近两年来，增强现实（Augmented Reality，AR）技术越来越备受关注。兔斯霁作为从业者来说，也是倍感欣慰吧。之前也是收到 UCD Shanghai 的邀请，给各位设计师朋友们分享了 AR相关的内容。所以，兔斯霁打算将分享内容分为多篇文章发到&a href=&/mylcl& class=&internal&&LCLの海 - 知乎专栏&/a&，希望能让大家对 AR 技术有更多的了解。&/p&&p&本篇讲一下 AR 发展的简要历史。&/p&&p&&b&前言&/b&&/p&&p&&figure&&img src=&/ae63df2b62adf4892f25b_b.png& data-rawwidth=&857& data-rawheight=&405& class=&origin_image zh-lightbox-thumb& width=&857& data-original=&/ae63df2b62adf4892f25b_r.png&&&/figure&via：&a href=&/?target=http%3A//jayse.tv/v2/%3Fportfolio%3Diron-man-iii-hud-design& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Iron Man 3&i class=&icon-external&&&/i&&/a&&/p&&br&&p&增强现实－Augmented Reality
(AR)&/p&&blockquote&增强现实（Augmented
Reality，简称 AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。- Wikipedia&/blockquote&&p&这是 Wikipedia 上对于 AR 的定义，那么简单的来说，我个人对于 AR 最直观的解释就是：现实世界与虚拟内容融合而形成的效果，让人们更方便更直观地获取到信息。这些 AR 效果也在很多美国大片中出现过，比如说钢铁侠、妇联、美队等等，我想大家也应该有都看到过。这些其实就是 AR 效果，当然那些都是电影中的特效，现在还没有能力达到那个水平。&/p&&br&&figure&&img src=&/b9deeafcf29f_b.png& data-rawwidth=&604& data-rawheight=&343& class=&origin_image zh-lightbox-thumb& width=&604& data-original=&/b9deeafcf29f_r.png&&&/figure&&p&via：Magic Leap
&a href=&/?target=https%3A///watch%3Fv%3DREoI1QC7Uy0& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Youtube Video&i class=&icon-external&&&/i&&/a&&/p&&p&上面这张图我想圈内圈外的或多或少也有所了解，Magic Leap，一家炙手可热的 AR 公司。这张图片也是宣传视频的截图，偌大的体育馆内鲸鱼向你扑面而来，当时也是震惊了不少人。虽然它也只是一个电影的特效，但是也是我们对于AR的发展，以及对于未来世界的一个景愿。&/p&&p&时下，AR、VR，甚至是又有人提出的 MR。AR 和 VR 我想大家都比较容易区分，一个是沉浸式的体验，一个则是基于现实世界的增强，MR 本质上其实也跟 AR 差不多，都是源于现实，但高于现实。&/p&&br&&br&&p&&b&兔斯霁了解的 AR 发展史&/b&&/p&&br&&figure&&img src=&/dafebb2fca953_b.jpg& data-rawwidth=&720& data-rawheight=&540& class=&origin_image zh-lightbox-thumb& width=&720& data-original=&/dafebb2fca953_r.jpg&&&/figure&&p&左边这位 Ivan sutherland，算是 AR 鼻祖式的人物吧，也是1988年图灵奖的获得者，计算机科学家。他之前也来了中国进行访问，我的 leader 也前去拜访问候。在1966年，他领导开始研发 The Sword of Damocles（达摩克利斯之剑）这套系统，被普遍认为是 HMD 头戴式显示设备以及增强现实的雏形。最终，Ivan 在1968年完成了整个系统。&/p&&br&&p&不过，当时在业界也还没有增强现实这个概念。直到1990年，波音公司的研究员 Tom Caudell 提出了「增强现实」这个词组。随后的几年，AR 才慢慢开始在专业领域内开始展露头脚。比如1992年，美国空军研发的虚拟帮助系统以及哥伦比亚大学的 KARMA 修理帮助系统。&/p&&figure&&img src=&/aa3a5a7a311478edd4b5_b.jpg& data-rawwidth=&720& data-rawheight=&540& class=&origin_image zh-lightbox-thumb& width=&720& data-original=&/aa3a5a7a311478edd4b5_r.jpg&&&/figure&&br&&p&可能由于各方面的限制，AR 还不是一项非常大众化的技术。而带领 AR 走出实验室，逐步走向大众应用，有个项目功不可没，那就是 &a href=&/?target=http%3A//artoolkit.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&AR Toolkit&i class=&icon-external&&&/i&&/a&。&/p&&p&&figure&&img src=&/f81dc4e367e5c8ed34105f_b.jpg& data-rawwidth=&720& data-rawheight=&540& class=&origin_image zh-lightbox-thumb& width=&720& data-original=&/f81dc4e367e5c8ed34105f_r.jpg&&&/figure&其实，第一次兔斯霁知道 AR Toolkit
还是当我在大学的时候。一天突然在网上看到一个视频，内容是一个 miku
的模型（初音未来），她站在一个类似于二维码的纸片上在跳舞。当时觉得效果不错，然后就在网上搜搜，最后找到了 AR Toolkit。后来自己也尝试去做，遗憾失败了