Pro双11背后的阿里技术有哪些技术

很多人看不懂,解密华为P20 Pro三镜头背后的技术
华为P20 Pro是当下拥有最好拍照的手机,这一点毋庸置疑,这主要依赖于华为和徕卡投入大量精力而打造的独特摄像头,但华为P20 Pro三镜头背后的技术到底如何?下面就来讲讲,但是即使讲的很通俗易懂,但相信还是有很多人看不懂。
为P20 Pro拥有三个摄像头,4000w像素的主摄像头+2000w像素的副摄像头+远摄相机800万像素,下面就来一一讲解这三个镜头。
镜头一:4000w像素的主摄像头
作为主摄像头自然也是华为P20 Pro的主要卖点,而这个镜头拥有1/1.7英寸的感光面积,这是目前手机中最高的,甚至超越第二名很多。
此之外,这个传感器还具有称为Quad Bayer滤波器的特性,但我们首先解释一下Bayer滤波器,相机传感器具有“像素”,但它们与屏幕上的像素不同,它们没有任何种类的RGB子像素或子像素。相反,每个像素前面都有一个滤色片,通常是红色,绿色或蓝色,每个像素仅获得关于三种原色中的一种的信息。
拜耳过滤器是镶嵌式结构,其绿色像素的数量是红色或蓝色的两倍(人眼对绿色最为敏感)。这意味着一个1200万像素的摄像头拥有600万个绿色像素和300万个红色和蓝色。那么,最终的照片如何拥有1200万像素的RGB?其实每个像素都会从其相邻像素那里借用一些数学信息来获取其他两种原色的信息,在大多数情况下,这都没有问题,但是插值总会出现一些伪像。
在Quad Bayer排列中,四个像素分组在一个正方形中共享相同的颜色滤镜。看起来像这样:
这个像素仍然有其他两个原色的邻居,但它们不像常规拜耳那样紧密排列,总体结果并不准确,这意味着与具有常规拜耳过滤器的4000w像素传感器相比,您获得的细节更少,但对Quad有一个好处。
您可以将P20 Pro上的图像传感器视为交错在一起的两个传感器。这允许两个“传感器”拍摄同一主题但不同曝光的照片,然后将其叠加到HDR照片中。
手机不得不依次拍摄两张照片,但速度较慢,移动的拍摄对象会在拍摄之间切换并模糊不清。时间计算如下:曝光#1 +一些处理时间+曝光#2。由于P20 Pro上的华为/莱卡相机可以同时拍摄两张照片,因此只需要两次曝光中较长的时间。
镜头二:800万像素的远程摄像头
为P20 Pro拥有一个800万像素的远程摄像头。它的镜头具有80毫米(相当于)的焦距,相比其他两款相机的27毫米 - 这是3倍光学变焦。由于远程摄像头与4000万像素摄像头相邻,因此他们能够将图像重叠,使得芯片组可以将来自两台摄像头的信息组合起来,以实现5倍混合变焦。质量虽然不如光学变焦,但它远远超过其他手机。
镜头三:2000w像素的副摄像头
为P20 Pro的副摄像头为黑白相机,其根本就没有拜耳过滤器,不需要记录颜色,你会发现,过滤器可以清除大部分光线,所以很少到达像素。黑白相机在黑暗中处理得更好,但大多数人都需要彩色图像。
回想一下,4000万像素摄像机和黑白摄像机都有相同的焦距(27mm),这意味着他们可以看到大致相同的图像,不仅像tele / 40 MP相机这样重叠的图像,而且从左到右,从上到下实际上是相同的图像(除了视角的小变化外)。
这使得P20 Pro可以将黑白摄像机的弱光拍摄优势与来自4000w像素传感器的颜色信息合并为一个明亮而多彩的夜间拍摄。我们怀疑华为即使在白天也会使用黑白摄像机。
除此之外,P20 Pro是目前市场上唯一能够将ISO提升到102,400的手机,当然,更高的ISO意味着更高的噪点。对于夜间风景摄影,您想要增加曝光时间。幸运的是,华为的AI供电稳定器可让您拍摄手持式的多秒曝光。
自然,4000万像素摄像头和远程摄像头都具有光学防抖功能,华为和徕卡也改进了激光自动对焦系统,该系统现在工作长达2.4米(是P10的激光自动对焦的两倍),还有运动预测的“4D自动对焦”,以确保被摄体保持对焦。
华为和徕卡制造了市场上最先进的移动摄像头之一,请记住这一点,在大部分拍摄中,它都使用其三个传感器中的两个,并无缝融合其图像。
责任编辑:
声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
手机耳机、数据线,尾插,排线,听筒等微商城。
国内专业的手机维修问答软件
今日搜狐热点关于大疆Mavic Pro 还有哪些技术秘密你不知道?
&其实,Mavic最核心的地方在于计算机视觉&,Mavic Pro发布后大疆的一名视觉工程师如此向雷锋网强调着,彼时大家对于这款在很多方面都超越Phantom 4的无人机更多的讨论还是围绕在便携和巧妙的工业设计上,而作为其中的参与者,Mavic Pro新增的智能功能才是让他最为兴奋的。按照公开资料来看,这些新增的智能功能让Mavic Pro算得上是全球首款基于深度学习的消费级无人机。
首先我们将Mavic Pro与Phantom 4对比一下,Mavic Pro新增了哪些智能功能:1. 手势自拍;2. 物体识别;3. 视觉跟随中的平行跟随、焦点跟随、 自动环绕;4.精准降落。
这里面每一个功能的背后,都是在试图解决计算机视觉和机器人学领域里最核心也是最头疼的难题,同时也是大疆隐藏最深的秘密。
如今很多小型无人机都自称自拍无人机,不过其实都是属于跟拍,通过跟踪人或人脸来实现拍摄,大疆在今年3月的Phantom 4已经实现过,如今包括正火的Hover Camera等无人机也都实现了这一功能。而Mavic Pro则是实实在在地实现了脱离遥控器的自拍,也就是通过手势来进行抓拍。
当你走到画面里,Mavic Pro会自己识别移动的人,并且你可以向它挥手让它来跟着你飞行,在跟踪过程中只要做出拍照手势,它就会帮你抓拍。如此一来,你就能在拍照过程中完全将遥控器放收在包里。并且即使跟踪丢失时,也可以在不需要遥控器的帮助时,重新走回画面中,让飞机继续跟随。值得一提的是,当开启GPS辅助时,飞机会融合GPS的信息来进行矫正。
对于一般的手势识别系统而言,整体的步骤大概分为三步,也就是手部的定位、建模和识别。手部建模现在主要有两种方法,2D和3D,主要是看使用了什么样的摄像头,建模好后最后再进行识别,比如你的手是张开的还是握拳的。据悉从这个3D手部模型到手势识别是有不同的方法的,有的是直接拿3D手部模型去识别,有的是把3D模型转化成2D图像,再在这个基础上利用深度学习进行分类识别。目前在室内环境中,由于距离较近,手势识别的难度并不大,像微软的Kinect就在电视游戏上得到很好的应用。但在户外的场景下,在无人机上用这种摄像头远距离识别手势,大疆应该算是首个尝试的。
Mavic Pro并没有使用3D摄像头,而是通过2D主相机来进行识别的,其难度要比使用3D摄像头大很多。首先,飞机要在没有深度信息的前提下准确地识别和定位画面中的人,其次,要完成一系列手部的定位、建模和动作的识别。
Mavic Pro据称使用的是深度学习,而深度学习对于计算设备有较高要求,一般研究者需要NVIDIA Titan X这类GPU才能实现。Titan X旧版的处理性能大概在6T的Flops(每秒计算的浮点数),而大疆使用的是联芯LC 1860,官方给出的总处理能力在8GFlops,相差大概700倍,在这么低的处理平台上做深度学习,就面临着神经网络设计上的突破,训练的技巧,模型的精简与压缩,底层实现的优化等问题。
关于Mavic Pro的手势自拍,雷锋网(公众号:雷锋网)在体验过程中的感受是,反应还比较及时,大多数情况都能做到准确识别,功能方面比较好。体验方面,闪烁灯提示在阳光下比较弱,闪烁3秒后开始拍照,如果倒计时开始时加个声音提示可能会更好。
物体的检测和识别
物体的识别,是指对于画面中的主体进行分类判定。其分类方式既可以是粗粒度的类别(比如汽车),也可以细粒度的类别(比如奔驰C200、宝马X5)。物体的检测,是指在画面中自动找出感兴趣物体,并标出它们的轮廓。全世界著名的ImageNet竞赛,比拼的就是物体识别和检测的准确性。
Phantom 4的智能跟随功能的一个痛点是需要用户手动在屏幕上框出要跟随的目标,而由于小白用户常常难以做到,尤其当目标在运动中。一方面会因为框的不准确,而造成智能跟随表现不理想,另一方面对于正在运动中的物体,很难框中。而物体检测和识别技术,可以让用户实现即点即走,让智能跟随的体验有了质的提升。这次Mavic Pro可以自动检测识别多种常见物体(人、汽车、卡车、动物、船、人骑自行车或摩托车等),并号称其跟随的动作会根据不同的物体有相应的优化。
Mavic Pro对人的跟随,图片来自网络体验视频
Mavic Pro对船的跟随,图片来自网络体验视频
手机游戏推荐“其实,Mavic最核心的地方在于计算机视觉”,Mavic Pro发布后大疆的一名视觉工程师如此向雷锋网强调着,彼时大家对于这款在很多方面都超越Phantom 4的无人机更多的讨论还是围绕在便携和巧妙的工业设计上,而作为其中的参与者,Mavic Pro新增的智能功能才是让他最为兴奋的。按照公开资料来看,这些新增的智能功能让Mavic Pro算得上是全球首款基于深度学习的消费级无人机。首先我们将Mavic Pro与Phantom 4对比一下,Mavic Pro新增了哪些智能功能:1. 手势自拍;2. 物体识别;3. 视觉跟随中的平行跟随、焦点跟随、 自动环绕;4.精准降落。这里面每一个功能的背后,都是在试图解决计算机视觉和机器人学领域里最核心也是最头疼的难题,同时也是大疆隐藏最深的秘密。手势自拍如今很多小型无人机都自称自拍无人机,不过其实都是属于跟拍,通过跟踪人或人脸来实现拍摄,大疆在今年3月的Phantom 4已经实现过,如今包括正火的Hover Camera等无人机也都实现了这一功能。而Mavic Pro则是实实在在地实现了脱离遥控器的自拍,也就是通过手势来进行抓拍。当你走到画面里,Mavic Pro会自己识别移动的人,并且你可以向它挥手让它来跟着你飞行,在跟踪过程中只要做出拍照手势,它就会帮你抓拍。如此一来,你就能在拍照过程中完全将遥控器放收在包里。并且即使跟踪丢失时,也可以在不需要遥控器的帮助时,重新走回画面中,让飞机继续跟随。值得一提的是,当开启GPS辅助时,飞机会融合GPS的信息来进行矫正。对于一般的手势识别系统而言,整体的步骤大概分为三步,也就是手部的定位、建模和识别。手部建模现在主要有两种方法,2D和3D,主要是看使用了什么样的摄像头,建模好后最后再进行识别,比如你的手是张开的还是握拳的。据悉从这个3D手部模型到手势识别是有不同的方法的,有的是直接拿3D手部模型去识别,有的是把3D模型转化成2D图像,再在这个基础上利用深度学习进行分类识别。目前在室内环境中,由于距离较近,手势识别的难度并不大,像微软的Kinect就在电视游戏上得到很好的应用。但在户外的场景下,在无人机上用这种摄像头远距离识别手势,大疆应该算是首个尝试的。Mavic Pro并没有使用3D摄像头,而是通过2D主相机来进行识别的,其难度要比使用3D摄像头大很多。首先,飞机要在没有深度信息的前提下准确地识别和定位画面中的人,其次,要完成一系列手部的定位、建模和动作的识别。Mavic Pro据称使用的是深度学习,而深度学习对于计算设备有较高要求,一般研究者需要NVIDIA Titan X这类GPU才能实现。Titan X旧版的处理性能大概在6T的Flops(每秒计算的浮点数),而大疆使用的是联芯LC 1860,官方给出的总处理能力在8GFlops,相差大概700倍,在这么低的处理平台上做深度学习,就面临着神经网络设计上的突破,训练的技巧,模型的精简与,底层实现的优化等问题。关于Mavic Pro的手势自拍,雷锋网在体验过程中的感受是,反应还比较及时,大多数情况都能做到准确识别,功能方面比较好。体验方面,闪烁灯提示在阳光下比较弱,闪烁3秒后开始拍照,如果倒计时开始时加个声音提示可能会更好。物体的检测和识别物体的识别,是指对于画面中的主体进行分类判定。其分类方式既可以是粗粒度的类别(比如汽车),也可以细粒度的类别(比如奔驰C200、宝马X5)。物体的检测,是指在画面中自动找出感兴趣物体,并标出它们的轮廓。全世界著名的ImageNet竞赛,比拼的就是物体识别和检测的准确性。Phantom 4的智能跟随功能的一个痛点是需要用户手动在屏幕上框出要跟随的目标,而由于小白用户常常难以做到,尤其当目标在运动中。一方面会因为框的不准确,而造成智能跟随表现不理想,另一方面对于正在运动中的物体,很难框中。而物体检测和识别技术,可以让用户实现即点即走,让智能跟随的体验有了质的提升。这次Mavic Pro可以自动检测识别多种常见物体(人、汽车、卡车、动物、船、人骑自行车或摩托车等),并号称其跟随的动作会根据不同的物体有相应的优化。Mavic Pro对人的跟随,图片来自网络体验视频Mavic Pro对船的跟随,图片来自网络体验视频智能跟随的模式升级无人机跟随主要有两种方式,一种是依靠GPS,一种是依靠视觉。GPS跟随需要用户携带额外的遥控接收器,并且依赖于空旷的环境以确保GPS信号足够强。此外,让用户最过头疼的是,GPS跟随难以保证拍摄主体在画面中。视觉跟随可以很好地克服这些缺点,但是视觉跟随的难度也比较大。由于视觉跟随过程中是没有人类交互的,告诉算法的所息都在第一帧的框里,这个框告诉了算法什么是目标,什么是背景,而算法并不知道的是,这个目标在其它视角的样子是什么,也不知道这个目标如果自身会改变成什么样的形态。如果目标的姿态变化过大,或者目标在另一个视角下看起来跟一开始的样子差别很大,算法还需要判断现在框里的还是不是当初那个目标,或者是不是已经变成另一个物体了。也就是说,第一帧的框,是不是能紧紧框住目标的边缘,不包含太多背景。也不遗漏掉目标的其它部分,这对于跟随的算法来说至关重要。Phantom 4已经实现了视觉跟随,不过仅限于前方与侧前方跟随,Mavic Pro为用户带来了多种跟拍模式,包括焦点跟随,以及用户期待已久的平行跟随和自动环绕。这两个模式能够帮用户拍出一些意想不到的视频。但在这些模式下,飞机看到目标的视角和样子也千变万化,对算法的鲁棒性提出了更高的挑战。要做到低空高空都能任意跟随的话,在目标跟踪领域里也是一大难题。而Mavic Pro能够在低成本低性能的平台上实现对任意物体的跟随,并且根据目标的类型而选择合适的跟随策略进行控制。YouTube上这则用户使用ActiveTrack的自动环绕功能的视频,其中的目标包含了各种姿势的形变,包括站起、蹲下、趴下,在水面的遮挡干扰,光线的强弱变化等等干扰因素下,ActiveTrack仍然顺利完成了跟踪任务。精准降落与其他大疆无人机产品一样,Mavic Pro在与地面端失去联系或低电量情况下将自动返航,并加入全新的“精准降落”功能:两台下视相机会在每次起飞时拍摄一组照片,在返航着落过程中通过对下视观测和起飞记录照片的匹配来实现厘米级别的精准降落。Mavic Pro精准降落是用到了SLAM中的回环检测技术,飞行过程中会记录视觉传感器看到的图像信息,并且根据这些信息来进行精准降落。也就是说,它降落的时候,一直在和当时起飞的时候所看到的图像进行对比,并且持续调整自己的方向。并且最近Mavic Pro的升级更新,据说增加了识别地面是否平整,以及地面是否是水面的功能,从而很大程度提高了降落的安全性。可以看出大疆对用户体验的重视以及对产品精益求精的追求。“史上最智能无人机”背后是大疆的成功转型Mavic Pro发布之时,大疆用了“史上最智能无人机”来概括这些新增功能,而关于更多的细节部分则甚少提及。因此,也很少人注意到,这些功能背后是大疆早已默默地从一家“飞行相机”企业成功转型为机器人企业。其实早在今年3月,大疆创始人汪滔曾以“欢迎来到计算机视觉时代”一语点出了Phantom 4的核心所在,同时,大疆默默把自己的描述从以前的”Flying Camera” 变为了”Flying Robot”。Phantom 4面世所带来的意义,即&机器视觉时代”的到来,以往几十年全世界人对于计算机视觉的期待仅仅停留在论文和实验室以及有限的工业场景中,而现在,计算机视觉以一种更好玩、更动感、更直接的表现形式回来了,让大众消费者都能感受到它带来的便利。而这一切,都源自大疆过去两年中在计算机视觉上所做的准备。图片来自大疆官网计算机视觉的结果要转化为辅助控制做决策的过程中,要能结合各个模块传感器做出实际可用的应用,要涉及到相机、云台、IMU惯导模块、气压计、GPS、超声波、前视双目、下视双目以及视觉里程计等非常多和复杂的模块。成熟的SDK架构也贡献很大,大疆的无人机和飞控都有一套非常规整的SDK(开发套件)提供API给第三方开发者使用。大疆还主办各类飞行器及机器人比赛,从与福特汽车合作的SDK开发者大赛,任务是依靠目标识别进行无人机的移动汽车平台降落,到堪称最炫酷机器人比赛的全国大学生RoboMasters中的敌方机器人识别和自动瞄准,各个比赛中的视觉功能所占比例也是重中之重,而底层完善的SDK支持都是开发者效率的保障。Robomasters中机器人正在利用计算机视觉技术对面板上的图案进行识别并选择正确的图案攻击大疆筹办这类比赛一方面是对社会人才培养的回馈和贡献,另一方面更多也是为了人才储备,因为赢得比赛往往意味着赢得一张去大疆工作的Offer,为大疆源源不断地输送计算机视觉和控制类的顶尖人才。另外,虽然大疆在业内一向很低调,不过在各大学术会议中则是积极者。CVPR是计算机视觉领域中最顶级的会议,在今年6月末开启的CVPR 2016上,大疆作为重要赞助商出现在了CVPR的会场,其参展的展位就在Apple、Intel、Microsoft和Google中间,而且还对与会的研究人员们做了演讲。可以说,就在其他无人机企业还在寻找哪个方向才是正道时,大疆早就明确要走哪条路并且知道要干什么。今年大量小型无人机出现在市面上,很大原因是大家以为大疆不会做小型无人机,而Mavic Pro出来后,他们又将面临曾经跟精灵系列正面竞争的相似局面。而对于大疆来说,做大无人机还是小无人机,或是说做航拍无人机还是自拍无人机,这些并不是最重要的,只要掌握了最核心的技术,做什么样的无人机只是一个选择而已。还记得2015年11月大疆与美剧神盾局特工主演汪可盈合作拍摄的Phantom X概念视频吗?里面汪可盈用优美的太极动作来控制无人机在空中作画。如今也不过一年时间,当时觉着天方夜谭的场景,现在再看看Mavic Pro是不是觉得很近了呢?卡西欧PRO TREK有什么独特的技术?会有什么用?_百度知道
卡西欧PRO TREK有什么独特的技术?会有什么用?
我有更好的答案
很多啊,电波太阳能,不仅是太阳光,连微弱的日光灯源也可以被吸收转化成电能,储存在大容量的蓄电池里,保证各项功能运行,三重感应器,可以对方位,气压/温度和高度进行测量。
采纳率:50%
主要是气压,温度,高度,指南针。对于登山,测气压,判断天气,指引方向等一个测量和参考。还有电波对时,太阳能充电等,反正就是一个字“永远不用换电池”,呵呵!我现在用的就是 5100T
卡西欧独创的全球6局电波接收功能是独一无二的技术,6局包括中国,日本(2局),美国,德国,英国,可以通过接收这些国家的电波信号,自动校时,尤其是经常出差的人,选购卡西欧PRO TREK的表绝对是明智之选。还有太阳能动力,化光为动力的卡西欧PRO TREK独有的太阳能驱动系统,不仅仅是太阳光,连微弱的日光灯源也能转化为电能,并储存于大容量的蓄电池里,可保证各种功能的稳定运行。
卡西欧的强韧机芯也是挺特别的,有全球6局电波接收、太阳能、指针位置自动修正以及多重保护构造技术,是一项很全面的功能。
其他1条回答
为您推荐:
其他类似问题
trek的相关知识
换一换
回答问题,赢新手礼包
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。首款内置谷歌Tango的手机,联想Phab 2 Pro背后有哪些技术?;解析Phab2 pro的三摄像头:舜宇供模组
首款内置谷歌Tango的手机,联想Phab 2 Pro背后有哪些技术?
在刚过去的联想TechWorld 2016大会上,我们欣赏了联想带来的各种新奇产品和技术,其中最吸引眼球的无疑是Phab 2 Pro手机。这款巨屏手机的配置属于目前中上水平:高通骁龙652八核处理器,6.4寸QHD显示屏,4G内存,前800万像素,后1600万像素摄像头,4050毫安电池,指纹识别加全金属机身,跟最近上市的小米Max高配版非常相似。如果联想只是做这样一款中端机,定价在$499美元的话,相信在北美市场还是很有性价比的。但在这个平凡的外观下是它让人着迷的另一个身份——首款内置谷歌Tango技术的手机。
Tango是什么
Project Tango是谷歌为实现移动设备位置感应而研发的一系列产品与技术的集合。它源自于Google Advanced Technology and Projects group(ATAP),一个类似于Google X实验室的尖端技术研究部门。跟X实验室不一样是在于它们的项目往往有更短的周期,有明确的产品与上市时间表。Project Tango就是在这样的环境里,在很短的时间和非常有限的人力资源下成功实现技术突破与产品化的。
简单描述Tango,它的核心技术是下面三块:
首款内置谷歌Tango的手机,联想Phab 2 Pro背后有哪些技术?
运动追踪 Motion Tracking-通过移动设备自带的多种传感器,在不通过外界信号的情况下(例如GPS,WiFi,蓝牙Beacon等),实时获取设备的姿态与位置,追踪设备在三维空间中的运动轨迹。
环境学习 Area Learning-利用视觉信息记录与引索外界环境,自动矫正环境构建与运动追踪中积累的误差,识别重复环境。
深度感应 Depth Perception-利用自带的深度传感器扫描外界三维环境,构筑三维模型。
目前在移动设备上实现上面任何一项技术都相当有挑战的,可以说在Tango发布之前,市面找不到基于移动设备本身进行计算而且售价仅在$499的解决方案。
下面聊一聊这几个技术主要的难点和Tango的突破:
传统的运动追踪办法可以简单分为两类,一类是靠外界参照系,比如GPS通过计算设备到轨道中不同位置的卫星距离可以判断出设备在地球表面上的具体位置,精度可以到达厘米级别,或者计算手机跟不同基站之间(包括蜂窝网,WiFi网,蓝牙Beacon)的信号衰减来做三角定位法,这样的精度可能从数米到几百米之间。对于室内环境,要么GPS信号接收不到,要么没有庞大的基础设施提供准确的参照系,所以并不是室内移动设备适用的办法。
第二类办法则叫船位推测法(dead reckoning),就是利用物体现有的位置,速度以及运动方向计算未来位置。千百年来人类在没有导航系统之前就是用这样的办法航海与航空的,甚至现在科学家发现许多动物精准的远距离迁移也是因为他们进化出了这种船位推测法的能力。这里面就引入了新的一个概念, 惯性测量单元(Inertial Measurement Unit or IMU)。IMU 包含三轴的陀螺仪与三轴的加速器,用来测量物体的姿态角度和加速度。
dead reckoning在航空里的应用:
我们知道从物体加速度可以积分得出速度,速度再次积分可以算出绝对位置。然而传统消费电子设备里面的IMU受限于成本,精度与采用率都很低,十几秒的两次积分就能累计到骇人的误差,导致位置结果完全不可用。
Tango创新性的采用了鱼眼相机与IMU结合的办法来解决上面提到的这些问题。首先为IMU开发了一套精准的传感器融合算法(Sensor Fusion),保证设备在不同环境和运动状态下还能长时间积累很小的误差,尤其是对姿态角度的计算。鱼眼相机则追踪每一帧视频中出现的特征物,无论是边沿或者角落,然后比较帧与帧之间的图像差别来计算运动变化。由于Tango可以准确的追踪相机姿态,通过加速度估算出帧与帧之间的大概运动,结合图像信号,它能够算出比现有技术精准许多的运动状态,通过一次积分就可以得出设备运动轨迹。这样依然还会有一些积累误差但是已经比传统的办法好了许多倍。
然而只知道运动轨迹并不够,因为设备并不了解它在所处环境中的位置,它也不会记住曾经见过的不同环境,所以Tango的第二项技术环境学习就变的非常有用了。当设备初次进入一个新的环境时,在它不断移动进行运动追踪的同时,它会记录下所见的环境信息。当再次进入熟悉的环境时,设备可以很快的找到自己在这个环境中的位置,并且不断更新和矫正之前记录中不准确或者已经发生变化的地方。
这个功能描述起来很容易,但实施起来则相当的困难,首先设备会对它见到的每一帧提取特征,然后对出现的特征进行保存和引索,再利用一些高效的储存和搜索算法,实时的判断新的一帧是否跟过去曾经看到的环境有相似之处,如果匹配准确的话,设备可以立即利用之前已经收集的环境信息。
因为上一步的运动感应会慢慢的积累一些测量误差,环境学习另外一个重要的功能就是实现位置的矫正。如果设备通过环境匹配确定自己回到了之前曾经到过的某一点,即使运动感应积累的结果说自己在另一点,系统也应该把新的位置矫正过来,因为外界环境一般是恒定不变的而且相对可靠的。
这张插图解释环境学习是如何矫正设备积累的偏移量的。
Tango设备背面都有特殊的距离感应传感器,用来测量物体到设备的距离与尺寸。目前市面有三种深度感应技术,各有一些利弊,第一代的Tango原型平板采用的是类似第一代Kinect的结构光(Structured Light)技术,而到了第二代的Tango原型手机以及这次发布的量产机型Phab 2 Pro则采用了跟第二代Kinect类似的Time of Flight技术,主要的优势在于不需要红外界发射器与接收器之间保持比较大的距离,很适合做在手机这种长宽非常有限的设备里。
深度感应对于Tango设备来说意义非常大,它提供了详细的环境深度信息,用来构筑三维的环境模型。同时配合运动追踪,它可以告诉用户在空间中的位置,与四周障碍物的距离。这就完全解决了HTC Vive和Oculus头盔需要依靠外界传感器才能判断用户空间位置的问题。
以上这三项技术相互结合,就让设备拥有了以前从未有过的对环境的感应和学习能力。Tango项目同时提供了大量基于安卓和Unity平台的开发工具,方便开发者利用这些独特的功能开发出让人振奋的游戏与应用。
Tango可以做什么
用户可以用Tango轻松扫描家庭环境空间,在添置家具时看到家具在室内的摆放效果。美国家具巨头Lowes已经开发了类似的App,会成为Tango手机的首发零售商来推动这项应用。
对于视觉障碍的用户,Tango第一次给他们带来了低成本,高可靠性的导航工具。
另外用户可以扫描身边房间环境然后玩逼真的AR游戏,比如谷歌展示的在房间里现实外星人demo。
Tango意味着什么
聊完了Tango的技术和功能,再来聊下它的战略意义,这款拥有独创技术的Phab 2 Pro手机很可能对手机与VR、AR行业产生不小影响:
实现跟VR系统的完美结合
现有的HTC Vive和Oculus是比较单一的VR内容平台,并没有很好的环境感应能力。从Vive需要搭建的复杂的环境感应器就可以看出,简易的环境感应能力是VR系统急需的功能。在其他公司需要外置传感器和性能庞大的PC的今天,谷歌通过Tango在一个低功耗的移动设备上实现了类似的功能,其技术的先进性是毋庸置疑的,而这正好是谷歌在VR领域的完美结合与补充。
对大众市场教育与普及AR技术
目前AR系统主要集中在眼镜与头盔的形式,技术与人机界面的成熟度都还很低,更别说动辄上千美元的价格。Phab 2 Pro以一个低廉的价格($499),大众熟悉的手机模式,给用户起到了教育与普及AR技术的作用,激发更多AR应用的探索与成熟。
制定类似Daydream的技术与设备标准
Google Daydream是Cardboard进一步发展的VR平台,是一套面向所有安卓设备厂商的开放标准。Tango所需的许多技术和标准其实跟Daydream是非常相似的,比如都需要低延时,低误差的IMU传感器,都需要高精度,同步的时钟系统,以及对传统的非实时性的Linux内核提出了更严格的实时性要求。这些标准如果都是由谷歌主导和推进,采用廉价甚至免费的形式提供给设备厂商,它对未来手机行业的控制就会进一步加强,对上下游产业都会有更强的影响力。
引领新技术发展,颠覆iPhone对创新应用的垄断
很长时间以来优质和创新的应用都会选择iOS作为首发平台。最近几年Apple在手机革命性技术方面的投入似乎有所变缓,而谷歌趁机构筑Cardboard,Daydream,Tango这些将对手机应用和形态产生深远影响的技术与标准。随着大量设备厂商与内容商拥抱谷歌标准,iPhone未来在手机行业中的领先位置将会受到很大的冲击。
深度解析Phab2 pro的“三只眼”:舜宇供模组
如今AR/VR的风已经吹遍全球各个角落,有不少行业巨头纷纷开始玩跨界。然而不论是对比或者联系,与AR/VR关系最为紧密的其实一直是智能手机产业。目前手机品牌推出的相关产品多是已智能眼镜的形式出现,诸如三星Gear、索尼Morpheus、HTCVive等。
就在几天前,沉寂许久的国产终端品牌联想也终于发声。
在刚结束的TechWorld2016大会上,联想发布了联合谷歌推出的全球首款搭载Tango技术的消费级AR体验智能手机——Phab2pro。
据了解,用户能够通过AR应该在现实场景中进行游戏、娱乐;另外,该应用也能够完成绘制室内空间等功能,而这些应用皆是通过这款手机后置的3颗16M后置摄像头完成。
Phab2pro同时配备3颗16M后置摄像头,1颗前置8M摄像头;搭载高通骁龙652处理器,全金属机身,6.4英寸2K屏幕;除此之外,该机还配置4GBRAM,支持杜比5.1立体声音效,内置一款4050mAh电池并支持快充,且拥有目前国产品牌手机主流的指纹识别功能。
毫无疑问,这款新机最大的亮点就是通过配备多个摄像头及传感器来实现的AR体验。
(图1:联想Phab2pro后置三颗1600万像素摄像头)
为准确区分,笔者将三个摄像头按照排列先后顺序分别标示为1、2、3。观察图1可以发现,这款产品后置三颗16M镜头是以一种“2+1”的形式进行排列。其中1和2两颗镜头被划在一个模块,第3颗镜头则单独置于最下方。
笔者通过对业内人士采访了解到,这样的布局中也颇有文章。
据介绍:第三颗镜头是该机主摄像头,负责日常用拍照成像;而1和2镜头组合的主要功能,正是为了AR功能的实现。组合中分别以一颗TOF镜头发射脉冲光及一颗鱼眼镜头进行动态捕捉,通过两颗镜头同时运行来完成物体的3D建模。
由于上述三颗镜头并不是单纯的拍照用模组,市面上并没有其他产品采用同类型的模组组合,所以导致眼下在行业中尚未有一个标准品作为参照,这无疑加大了产品研发制造的难度。
据了解,Phab2pro后置的三颗16M镜头模组均是由大陆模组厂商舜宇光学提供。 通过采访舜宇内部人士了解到:“由于后置的三颗镜头中模组均为独立的摄像头模组,需要分开进行精准定位,因此相对于市面上的单、双摄来说,这款手机模组的制造难度确实更大”。
如前所述,Phab2pro后置摄像头模组生产难度及数量同时增加,那么可想而知的是,模组的制造成本必然也会增加。
“因为产品的独特性,所以在摄像头模组内置部件几乎都是专门定制,价格不菲;这个产品的制造成本与以往的摄像头模组相比,两者之间的差距目前无法以一个数字来衡量。”该内部人士表示。
考量到颇高的制造成本,再回顾phab2pro在Tango技术上实现的应用似乎有些匮乏。
有业内人士也表示:“将谷歌Tango技术与智能手机结合能否在市场上得到普及,关键还是要看是否有相应的应用进行支持。就phab2pro而言,目前的应用较少,且缺乏一些实用性。”
由于该产品及市场尚有不确定性,phab2pro目前尚未开始量产。据知情人透露:“目前该机摄像头模组出货量仅为10K左右,前期出货量预计不超过100K。”未来也将有其他厂商会采用Tango技术,但真正的产品上市会在明年以后。而舜宇内部人士也对笔者透露:“现在除联想之外,并没有与其他终端厂商进行相关项目的接洽”。
责任编辑:
声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
今日搜狐热点

我要回帖

更多关于 双11背后的阿里技术 的文章

 

随机推荐