虹软 摄像头的双摄算法有哪些手机在用啊?

手机的双摄像头有多厉害?你再不了解就OUT啦~
我的图书馆
手机的双摄像头有多厉害?你再不了解就OUT啦~
有人说,双摄像头是手机摄影的革命(注意,是革XX的命!)也有人会说,双摄像头只是个科技噱头!从华为P9到如今正式和大家见面的iPhone7,双摄像头始终站在器材党舆论的风口浪尖上,它来自何方?有何真本事?未来会如何发展?科学技术的发展都是建立在前人的成就之上的,摄影器材作为一种极其精密的光学仪器,我们已经走过了177年的变革,发明摄影术的达盖尔想不到胶片的诞生,生产胶片的柯达想不到自己被像素压断气。混沌理论告诉我们——人类难以预测未来将有何变化,而且似乎充满着偶然性,但作为普通大众的我们,或者说,作为买不起5D的手机摄影狗们深知——了解器材的发展历程和了解它的技术原理,同样是成就未来黑科技的基础知识,虽然未来技术不由我们去创作,但也不必灰心,我们始终是一群有目标有梦想的摄影人,比如,先赚他一个亿,再考虑要不要割肾。废话不说,转入正式话题,iPhone 7将采用双摄像头基本已经坐实,那么,双摄像头技术发展到现在,都经历了怎样的过程?和市场上形形色色的双摄像头手机又有何区别呢?注:以下内容授权转载自雷锋网(leiphone-sz)我们来聊聊下双摄像头的发展历程| 早年不成功的尝试其实,搭载双摄像头的手机并非是这几年才有的产品,早在2011年就已经出现于市场,HTC G17、HTC EVO 3D和LG Optimus 3D都搭载了双摄像头。不过,正如任何技术都会经历一个从新生到不断改进、不断成熟的过程,而在技术成熟前,会有不少探索者折戟沉沙。HTC和LG在当年就扮演了这样的一个悲情的探索者角色,虽然HTCG17和LG Optimus 3D都通过搭载两颗500万像素摄像头,在理论上获得了直接拍摄3D照片和视频的能力,但由于技术相对不成熟,双摄像头的噱头意义远大于实际效果,加上其他一些因素,两款手机在市场上的销量并不理想。| 两种不同的发展道路在2014年,除了HTC对双摄像头痴心不改外,华为也玩起了双摄像头,华为荣耀6plus和HTC M8都搭载了双摄像头,拍照效果相对于传统的单摄像头有一定提升,不过两者的双摄像头有一定的区别,走上了两条不同的发展道路。HTC M8采用的是主摄像头+辅摄像头的做法,主摄像头负责成像,而副摄像头负责测量景深数据。2015年和2016年发布的中兴AXON天机、红米pro、HTC One M9+等都属于这类双摄像头手机的典型例子。HTC M8采用一个400万像素的主摄像头和一个起辅助作用的景深摄像头,主摄像头负责拍照取景,而辅摄像头则主要用于测算景深范围,从而获得类似先拍照后对焦、背景虚化等类似光场相机的效果。不过,实践证明,这种主摄像头+辅摄像头的做法对画质的提升效果有限,只是在背景虚化等景深特效方面有一定效果。(红米pro)相对于HTC的主摄像头+辅摄像头的做法,华为玩起了仿生平行双镜头。该技术由华为在2014年年底推出,被用于华为荣耀6Plus。和之前讲到的主摄像头+辅摄像头相比较,华为荣耀6Plus采用的摄像头为两个一模一样的800万像素摄像头(早期传感器用的是OV公司的,后来也有索尼公司的),华为在其官网上广告语为“双眼看世界”,在介绍中称为仿生平行双镜头,这种双摄像头技术的拍照原理是,两颗摄像头通过三角测距原理能记录全景深信息,在华为公司的宣传中,荣耀6Plus手机能拍出接近单反级的背景虚化照片,并且由于采用仿生平行双镜头,会有更大的进光量,这就能有效提高暗光、夜拍环境下的成像效果。不过,仿生平行双镜头虽然在理论上看起来高大上,但实际上依旧存在一些问题,比如仿生平行双镜头设计和加工难度高——两颗摄像头必须处于同一平面,而且镜头的位置和角度的精度要求非常高;又比如对软件算法的要求非常高,如果软件算法优化不到家,那么,仿生平行双镜头的优势就很难得到发挥。也正是因此,该项技术在荣耀6Plus昙花一现后,就埋没于历史中,华为在2016年发布的P9等双摄像头手机则采用了另一项技术。| 相对成熟的双摄像头技术相对于之前这些走地雷战的双摄像头技术,在2015年下半年问世的黑白摄像头+彩色摄像头的做法则是一项比较成熟的技术,加上莱卡认证的镜头,华为P9也有赖于该项技术实现相对于华为以往手机在拍照性能上的超越。那么,黑白摄像头+彩色摄像头到底是怎么回事呢?由于CMOS传感器只能记录光的明暗而不能记录光线的颜色,为了能拍出彩色的照片,就必须在CMOS传感器上增加一层拜耳滤镜。正如古语有得必有失,在使用拜耳滤镜后,虽然能拍出彩色的照片,但会损伤近2/3的进光量,以至于在光线不好的环境下噪点大幅增加。而黑白摄像头采用的是只能记录明暗的黑白传感器,也就是拿掉拜耳滤镜的CMOS传感器,虽然这会导致一个摄像头变成色盲,但却使黑白CMOS传感器获得了近乎于3倍的进光量,在暗光条件下,能有效提高像素细节。在使用黑白摄像头+彩色摄像头拍摄照片时,黑白传感器强化画面细节捕捉,彩色传感器负责色彩还原,图像处理器对黑白和彩色照片进行合成,最终产生一张清晰度高,色彩还原逼真的照片。特别是由于黑白CMOS传感器有相对较高的进光量,在暗光环境下,照片的噪点也会相对偏少,华为P9、荣耀8和荣耀V8、360奇酷旗舰版都采用了黑白摄像头+彩色摄像头,区别只在于两者选用摄像头传感器的具体型号不同。| ISP和软件算法非常重要至于苹果公司会采用上述那种方案,目前还不为人所知,甚至苹果会采用双摄像头也有可能是提前释放的烟雾弹。在此,笔者要声明,其实决定成像效果的不仅仅是手机的镜头和CMOS传感器,一直为人们所忽略的ISP和软件算法对手机最终成像效果影响很大。如果用人类的视觉系统去和手机的拍照系统做比喻的话,镜头类似于人眼中的晶状体和玻璃体,CMOS传感器类似于人类的视网膜,睫状肌的作用类似于对焦系统,ISP则相当于是人类视觉神经中枢。因此,ISP对手机拍照成像的作用至关重要。软件算法和ISP一样,也对最终成像起到重要作用。其实,软件算法是比较稀缺的资源,全球在这方面做的比较好的仅有Corephotonics、Arcsoft、Altek、Linx等一些公司,正是因为软件算法的重要性,苹果公司收购了以色列的LinX公司。另外,为了使双摄像头能够更好地合成照片,就必须把ISP的架构开放给算法公司,由算法公司做算法植入和预制调试,在这种产业链深度合作方面,影响力和体量巨大的苹果公司显然比国内公司有着更强的议价能力和协调能力。相比之下,国内手机公司更加注重宣传手机硬件配置,对软件算法却一字不提,其实,在当今硬件趋同化的时代,真正重要的是算法,只有算法优秀,才能充分发挥出双摄像头的硬件优势。因此,以苹果公司的资金、技术和供应链把控能力,笔者猜测,即便是采用华为P9、360奇酷旗舰版的黑白摄像头+彩色摄像头模式,其产品的拍照效果也不会输于国内一众双摄像头手机。毕竟在软件算法上,收购了Linx的苹果公司更具有优势。~那么问题来了~是基于什么,让“双眼”如此傲世?| 双摄像头构造一般来讲,目前的智能手机的摄像头接口都是MIPI(Mobile Industry Processor Interface)接口。之前手机平台都只有2路MIPI接口,分别给前摄像头和后摄像头。做双摄像头,就要求平台至少支持三路MIPI接口。其实在之前的高端平台上,为了实现更高像素,已经用双路ISP(Image Signal Processing,图像信号处理器)了,比如为了支持16M的摄像头,会用2路8M能力的ISP。这类平台很有可能只有2路MIPI,但这个无法阻止工程师去做前单摄像头+后双摄像头。| 双摄像头应用那问题来了,双摄像头到底能做什么?1、双摄像头可以测距,可做距离相关的应用人眼很容易对一个物体的距离进行定位,但当人闭上其中一个眼睛后,定位能力就会下降很多。双摄像头就是模拟人眼的应用。简单的说,测距离的话,就是通过算法算出,被拍摄物体与左/右摄像头的角度θ1和θ2,再加上固定的y值(即两个摄像头的中心距),就非常容易算出z值(即物体到Camera的距离)。不过这也很容易推算,若两个摄像头中心距过小的话,可计算的物体距离就会很近。若想算出更远距离,就必须让左右摄像头的距离拉远。如上图,由于双摄像头通过算法,可以判断被摄物体的距离,所以通过此特性,很容易做出一些特效,如:A、背景虚化单反相机最出众的特色之一就是大光圈。由于双摄像头可以测出不同被拍摄物体的距离,对需要进行大光圈的物体对准,其他不同距离的物体虚化,可以轻松实现大光圈的效果。(原图) &&(以美女为中心对焦,虚化背景和手上的蘑菇)(以蘑菇为中心对焦,虚化背景和美女)B、背景替换 &&由于可以测量距离,可以将被拍摄物体里的主体提取出来,更换背景,就可以比PS还简单,进行抠图。C、背景特效由于可以测量距离,分出主题和背景,所以很容易对背景做任何处理,就不在这里过多描述。D、测量距离这个图就非常明显的标识出不同物体的距离,这个距离信息用不同颜色标识出来。当AP获得了不同物体的距离信息,就可以做到上述的各种功能。2、双摄像头可以做光学变焦光学变焦主要是左右摄像头使用不同的FOV(可视角),这样两个摄像头取景不同。当用户需要广角照片,则用视角为85度的左摄像头取景,获得广角效果。当用户需要长焦照片,则用视角为45度的右摄像头取景,获得长焦效果。为了使左右摄像头拍摄的物体重叠度高,光学变焦的双摄像头模组不能像做距离应用的摄像头的模组那样距离过大,而是需要将左右摄像头摆得越近越好。若两个Camera的FOV不一样,一个大FOV,一个小FOV,再通过算法实现两个光学镜头之间的效果,就可以轻松做到光学变焦。若不用双摄像头,放大图片后,文字不清楚若使用双摄像头,放大图片后,文字依然清楚此图就是融合了广角的图和长焦的图,通过算法算出了中间态度照片,让细节不失真3、暗光效果增强一般来讲,做暗光增强就是在两个摄像头中:一个用RGBG的标准摄像头,一个用去掉RGBG滤波片的黑白摄像头。RGBG用来获得物体的色彩,而黑白摄像头用来获得更好的进光量,来判断被拍物体的光强强度。然后将两个图片融合即可获得更好的暗光增强。目前有两种融合方法:以黑白图片为主体,将彩色图片上获取的每个像素的颜色贴至黑白图片上,将两种图片融合。以彩色图片为主体,将黑白图片上获取的每个图像的光强补偿到彩色照片上,将两种图片融合。至于哪种方式更合适做融合,可能仁者见仁智者见智,就不在这展开讨论了。同样,做暗光增强,为了让左右摄像头拍摄的物体重叠度高,此类双摄像头模组也是要求越近越好。需要说明的事,华为P9其实选用的就是这个方式的模组当然有些业内人士也表示这种算法目前做的效果并不明显。暗光补偿对用户来说的确很有帮助,尤其拍夜景的时候。不过有些客户认为索尼和三星的Dual PD技术就非常好,更愿意用Dual PD摄像头来做暗光补偿。到底是双摄像头还是Dual PD的暗光补偿效果好,大家可以比较一下华为P9和三星的Galaxy S7 edge,就会有答案了。这个一般使用彩色+黑白的摄像头。通过黑白摄像头获取图片的光亮强度,来对图片暗光补偿。4、3D拍摄以及3D建模3D拍摄和3D建模的算法其实跟距离应用有点类似,只是它的精度要求更高,甚至有时会需要用红外测距进行更准确的距离判断。提到双摄像头的算法,不得不提到ISP(Image Signal Processing 图像信号处理器),ISP主要作用是对前端图像传感器输出的信号做后期处理,主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等,依赖于ISP才能在不同的光学条件下都能较好的还原现场细节,ISP技术在很大程度上决定了手机的成像质量。功能机时代,ISP都是做在摄像头上的,不同像素的摄像头搭配不同性能的ISP。随着手机摄像头像素越来越高,对ISP性能的要求越来越高,若将ISP集成到摄像头Sensor上,势必造成摄像头的模组过大,甚至影响拍照效果。所以智能机时代,ISP一般都是在主芯片SoC上。部分品牌客户为了实现更好的效果,甚至不惜成本的外加一颗ISP用来达到更好更专业的拍照效果。好的拍照算法就需要搭配好的ISP,ISP和算法相辅相成,缺一不可。而双摄像头对ISP性能要求更多。首先,为了使左右摄像头的信号能够同时被处理,单一的ISP已经无法满足双摄像头的需求。这就需要双路ISP实现此功能。以暗光增强为例,彩色/黑白图像分别进入各自的ISP通道和校准通道,然后将两副图片做匹配(如将两幅图片相同的部分提取出来,去除只有一个摄像头拍到的部分),然后通过遮挡,检测,补偿等算法处理相关的图片。最后将两幅图片融合起来,实现颜色的增强。当然实际上ISP配合算法做的事情,远远比这图片上写的要多。当然,在这里面也有一个小小的插曲。毕竟是两个ISP,两个ISP多少有一些处理速度、处理能力不同的问题。为了保证两个ISP能在同一时间上取样,就需要双摄像头拍出来的图片是同一时间拍出来的。其中一个解决办法就是让Sensor有一个同步信号引脚。将两个摄像头的同步信号对接,在每次读取图片时,将图片都打上一个时间戳,ISP通过时间戳,保证左右摄像头拍出来的照片在同一时间拍摄,最终再进行融合。不同于一般的3D电影的拍摄。手机上的两个摄像头无法在图像的拍摄过程中就产生足够的视觉差,这是由于两个摄像头中间的距离和人眼不一样。而且为了能够让人们更明显地得到3D视觉效果。所以往往需要算法进行增强。由于可以测出距离,后续的双摄像头不仅仅可以实现3D摄影,还可以进行3D建模,到这个时候,我想双摄像头的重要性则会更加重要。其他的效果增强,比如HDR、提高分辨率,这些功能其实单摄像头也可以实现,只是双摄像头可以让效果更好,就不一一列举了。小结:目前来看,这几个功能是双摄像头手机最常见的功能。背景虚化/更换,暗光效果给用户带来了更多的拍照效果;光学变焦则让我们感受了变焦功能的相机功能;但个人觉得未来最让人激动的则是3D功能。今年VR这么火,VR的素材哪里来?还是得靠双摄像头算法的优化。若3D拍照和建模的算法成熟后,将会让双摄像头变得更加流行。| 双摄像头的生态链前文我们讲了双摄像头的应用及其原理。现在我们就重点来说说双摄像头的产业链。1、双摄像头算法供应商由于算法是需要跟ISP配合的,所以算法和ISP是相辅相成的,想把算法做好,也得有好的ISP。作为主平台供应商,高通/联发科都有自己的ISP,所以也自己开发了双摄像头算法。至于其算法好坏,还有待市场的检验。而作为Sensor供应商,Sony、Samsung、OV也在积极开发双摄算法,暂时也没有看到量产的产品。不过在功能机时代,是没有ISP的。这些Camera sensor的供应商做2M/5M的时候,都得搭配自家的ISP,所以这些供应商都是有自己开发ISP的经验。所以开发双摄像头算法,相对来说也是有相关的经验的。Apple去年收购了Linx,也拥有了多摄像头的专利和算法,是否会用在自家的双摄像头机型,那就看今年的iPhone7。理论来上说,Linx有足够多的算法,所以Apple不至于跟某大厂去买双摄像头的IP授权。除了这些平台,sensor供应商和智能机的品牌商会自己开发双摄像头算法外,其他供应商我们一一列举一下:1996年成立于台湾的华晶,主要开发独立的ISP芯片。部分高端手机、相机和车载都有用其ISP的案例。双摄像头手机也有用其ISP的。距离应用、光学变焦和暗光补偿都有所建树。一家以色列的公司。其算法的优势主要在光学变焦和暗光补偿上。景深方面,也有一定的研究。从媒体宣传来看,hTC有机型采用了其算法。虹软成立于1994年,总部在美国,在上海,杭州和南京都有技术中心。虹软的强项是光学变焦和暗光补偿。上一篇里的第二个光学变焦图和暗光补充的图就来自虹软。上海兴芯微是一家成立于2011年的公司,主要从事图像处理器的研发,目前产品主要应用在车载市场。做为为数不多的研发独立ISP的公司,目前也在开发双摄像头的算法和ISP。在双摄像头市场起来后,X-Chip将会是一匹非常有潜力的黑马。双摄像头也是刚刚出来, 所以算法方面,各家都有各自的优点和缺点。不过从目前已经推出的双摄像头手机效果来看,各家的算法还有待提高。等各种算法能力上去后,势必会让双摄像头成为手机的标配。2、双摄像头sensor供应商由于双摄像头在拍照的时候,需要两个摄像头同步时间戳,这就需要Camera Sensor有同步信号。目前有此同步信号的sensor供应商有Sony、Samsung、OV、格科微。所以双摄像头的Sensor主要用这几家的产品。3、双摄像头模组供应商目前能做双摄像头的模组厂很多,有光宝、舜宇、信利、Namuga、O-Film、三星机电、丘钛。不过有量产经验的主要是光宝、舜宇和信利。华为的机型主要是用光宝和舜宇的模组。而O-Film和三星机电凭借其强大的工厂能力,现在也大举进军双摄像头模组领域。Namuga则是跟各算法公司保持良好的沟通关系,并为三星手机的供应商,也逐渐在双摄像头模组领域发力。不过不同功能对模组要求不一样。我们继续拿上文说的四个功能为例:距离方面的应用,一般的做法,就是大小摄像头,常见的摄像头规格如13M+2M,13M+5M。如下图:或者就是把两个摄像头放得远一些,如下图:通过这两种方式,才能更好的计算被拍摄物体到镜头的距离。光学变焦的双摄像头模组,最主要是两个摄像头需要有不同的FOV,类似下图:不同的FOV,拍出来的聚焦点不同,再通过算法,就可以实现光学变焦功能。 &&一般的暗光增强,都是通过一个RGB全彩色的摄像头+一颗MONO黑白的摄像头进行拍摄,如下图:算法方面,主要是通过右面的黑白摄像头读取进光量的多少,从而补偿左边RGB摄像头的色彩。3D拍摄和建模,这种方式跟距离相关的模组有点类似。只是3D对距离的精准度要求更高。这种情况下,更需要将两个摄像头的距离摆得远一点,甚至有些会采用外加红外辅助定位来实现距离测量,最终实现3D拍摄和建模的作用。双摄像头模组制作的难点:双摄像头的做法,一般有两种:共基板,或者共支架。如下图:若共基板,则是将两个Camera Sensor共同放在同一个基板上,然后一个FPC从此基板上引出来即可。若共支架,如上图,通过支架将Sensor固定住,每个Sensor有自己的基板和自己的FPC。共基板的优点:两个Sensor可以坐在同一个平板上,而且抗跌落。共基板的缺点:良率低,造成价格昂贵。共支架的优点:良率高,价格较好。共支架的缺点:因为是两颗独立Sensor模组,需要通过AA校准使其在同一个平面上,难度大,抗摔落也差。总之两种方法各有优缺点,目前只有华为采用的是共基板的方式。但无论哪种方式,目前良率都是较差的,所以成本还是很高的。| 双摄像头的未来若算法提高,模组良率提高,双摄像头还是有很多优势值得大家去做的。不过由于不同功能对模组摆放要求不同,双摄像头目前来看,有可能完全无法满足大家对摄像头的要求。由于谷歌推出Project Tango的时候,很聪明地提出了一个三摄像头的概念:当需要测距和3D建模的时候,可以用两个距离远的摄像头;若做光学变焦和暗光补偿,可以用两个距离近的镜头。甚至此Depth Sense可以结合红外,更准确的测量距离。无论如何,随着双摄像头算法的演进,VR需求的增加,摄像头发挥的作用越来越大。双摄像头,甚至前双摄像头+后三摄像头的手机,明后年很有可能变得越来越常见。进学手机摄影群你错过的热门内容:▲深度好文,值得点阅▲你的手机镜头要升级啦!
喜欢该文的人也喜欢双摄像头都是噱头吗? 聊聊 iPhone 的双摄 by DxOMark
稿源:爱范儿
说真的,在编译 DxOMark 的这篇文章之前,我还是想说一说。虽然双摄被很多不明所以的人称作是营销产物,但实际上双摄,乃至多摄仍在新生阶段,所以并未产生应有的收效。而在此之前,对于关注移动成像领域的爱好者而言,我们应该去了解如今的手机制造商,和双摄方案提供商在前期做 “奠基人” 的问题上究竟扮演了什么样的角色。普通消费用户知道双摄解决方案的突破口应该是前不久魅蓝 Note 6 发布的时候,魅蓝告诉各位,其双摄解决方案来自虹软。实际上为国内手机制造商提供双摄解决方案更有名的是 Corephotonics,这家来自以色列的 vendor 为小米、OPPO、一加都提供过 ISP 算法方案(包括今年 MWC 大会上 OPPO 的 5 倍变焦相机)。对双摄图像融合算法的一些理论常识感兴趣的同学可以去看看他们前不久公布的图像融合白皮书:IMAGE FUSION – Corephotonics其实无论是深度地图(depth map)的构建,还是焦外弥散圆的表现方式,抑或双摄所做的抑噪和消除视差的 “遮蔽” 修正等等,双摄现如今的发展都还的确比较初期。多摄方案上的极致应该是 2015 年名为 Light L16 的相机(呃… 话说光场相机不能算多摄吧),那款相机有 16 颗镜头,总共分成三组(35mm、70mm 和 150mm 焦距),合成 5200 万像素照片,拍完的照片可调整景深、焦点,拍摄也支持变焦——变焦方案其实和现如今很多手机地广角 + 长焦双摄方案是差不多的,只不过在图像融合算法上可能会更复杂。这类形态相机的本质,包括双摄手机,都是为了在保持机身轻薄的基础上,提升画质,甚至模拟单反能够做到的某些特性,比如浅景深、变焦。我觉得就算很多人看不起双摄,或认为它就是个噱头,也不应该否认双摄的这种目标,也不要因为市场上存在一些劣质的双摄手机就对其失去信心——双摄市场的每个参与者其实都在积极地进行技术改良,不光是图像传感器制造商、算法解决方案,还包括芯片制造商其实也越来越倾向于集成双摄方案支持,高通和联发科都已经这么做了。现在连影像评测机构也开始这么做了,比如 DxOMark,所以双摄的这种趋势几乎已经板上钉钉。下面这篇文章实际上是 DxOMark 为了阐述自己针对 Mobile 类设备做评测和打分的新标准而写的。这次新标准的出现其实就是为了适应现如今的双摄手机,所以 DxOMark Mobile 评分的子项多了 “变焦(Zoom)” 和 “焦外(Bokeh)” 两项。而对双摄的评判标准也不像很多人想象得那么简单。其实如果你对成像比较了解的话,那么这篇文章能够给出的干货不算多,比如说 iPhone 对焦外高光位置的虚化呈现方式还不够真(或者说模拟得不够传神);比如 iPhone 7 Plus 双摄模拟的虚化程度大约相当于全幅单反之上的 f/3.5 光圈;再比如你可能不知道,在 100 lux 略暗但不是很暗的照度下,如果用 iPhone 7 Plus 进行 2 倍变焦,则手机会对两颗摄像头拍下的照片进行融合;还有,你可能知道暗光环境下用人像模式拍照,噪点多到无法接受,但更不能接受的是照片前后景的噪声分布是不均的;双摄模拟的虚化效果,只虚化了后景,却并未虚化前景。一个冷知识:808Pureview 在 DxOMark Mobile 评分中,“变焦” 项目的得分为 42 分,只比 iPhone 7 Plus 低了 4 分,却比 iPhone 7 高了 7 分。我们现在已经开始采用最新的 DxOMark Mobile 协议。新版评测标准可用于测试苹果 iPhone 7 Plus 的双摄像头系统,并将之与 iPhone 7 和其他旗舰机型进行更为公平的比较。我们先前已经采用新标准对 iPhone 7 Plus 进行了评测,并且也对 iPhone 7 进行了重新测试。这篇文章将展示,我们是如何测试 iPhone 7 Plus 的长焦摄像头和人像拍摄功能的,以及这些项目对于总分的影响。iPhone 7 家族:两款机型的共性相较前代产品,iPhone 7 和 iPhone 7 Plus 对摄像头进行了又一次提升,而且还增加了一些新特性——苹果期望以这种方式让 iPhone 再度成为最受欢迎的拍照设备。虽然部分新特性仅针对 iPhone 7 Plus,但两款设备的升级都是比较充足的——包括更大的光圈、更出色的图像处理能力、四颗闪光灯,以及光学防抖(OIS)。iPhone 7 和 7 Plus 的主摄像头都采用 1/3 英寸 1200 万像素图像传感器、广角(等效 28mm)f/1.8 镜头——支持光学防抖。两款机型拍照时都支持全新的广色域,用苹果或者其他支持 DCI-P3 色域的高端显示器查看照片,可以获得更丰富的色彩。苹果在新版图像处理器上还采用全新的算法,以每次按下快门拍摄多张照片的方式来获得最佳成像。在我们的测试中,我们将展示这些新技术是怎么发挥作用的。在室外明亮日光条件下,iPhone 7 和 7 Plus 拍照不仅曝光准确,而且动态范围广、自动白平衡表现出众、色彩渲染和细节呈现都不错。所以两款设备的子项评分都很棒,暗光环境拍摄是唯一短板——相对精细的细节存在缺失,在各种光照条件下对焦都不算太稳定,另外还有些可见的明度噪点。视频拍摄时稳定性表现佳,快速平稳的自动对焦、出色的细节呈现、光照充足时色彩生动,所以两款机型的视频拍摄子项得分也都达到了 76 分。iPhone 7 Plus:双摄是差异所在iPhone 7 Plus 由于采用双摄结构,所以增加了一些新特性。其第二颗摄像头支持 2 倍光学变焦,可用于计算深度信息。所谓的人像模式,就是通过分析两颗摄像头来获取深度信息,以此进行背景虚化,并保持被摄主体清晰锐利。人像模式实际上就是为了模拟浅景深,一般浓重的背景虚化效果需要高端相机才能做到。iPhone 7 和 7 Plus 摄像头的主要差异就在于后者有颗长焦摄像头(译者注:长焦原则上只可用于形容镜头,但本文不对 “长焦摄像头” 和 “长焦镜头” 两个词作区分),这颗摄像头不仅可用于远摄(变焦),还能用于获得背景虚化效果。所以我们的评测也会对这颗长焦摄像头做研究,包括其优势和缺点。iPhone 7 Plus 的双摄规格iPhone 7 Plus 的第二颗摄像头和主摄像头还是存在较大区别的,虽然分辨率都是 1200 万像素,但这颗摄像头的镜头采用更长的焦距(等效 56mm 焦距),因此光圈也相对更小(f/2.8),并且为了让 iPhone 7 Plus 与 iPhone 7 保持差不多的厚度,这颗长焦摄像头的图像传感器也更小。更小的图像传感器尺寸也就意味着其单个像素尺寸也更小(1μm,主摄像头的单个像素尺寸为 1.22μm),信噪比可能会更低。这样一来,iPhone 7 Plus 有了第二颗摄像头,不仅可以做到 2 倍焦距拍摄(光学变焦的依据),而且在采用人像模式拍摄的时候,相机还能模拟浅景深,也就是背景虚化效果。理解 iPhone 7 Plus 的光学变焦手机摄像头的一大短板在于无法实现真正的光学变焦,几乎所有智能手机摄像头都采用定焦广角镜头,也就是说如果你要拍个特写,唯有改变拍摄距离,即与被摄对象靠得更近才行,或者也可以用数码变焦。而 iPhone 7 Plus 采用一种合理的方式,用户就能在不影响体验的情况下,从广角镜头无缝切换到长焦镜头,实现所谓的变焦。虽然这颗长焦镜头也不支持变焦,但更长的焦距令 iPhone 7 Plus 可以拍摄相较主摄像头放大 2 倍的画面。这种方案有几个好处。长焦镜头拍摄到放大 2 倍的画面(译者注:实际上是被摄物放大两倍,而视野变窄)比数字变焦更清晰,细节也明显更多,后者其实只是截取画面的一部分暴力放大而已。另外,有了更长的焦距,摄影师就可以离被摄对象更远,拍摄画面的透视效果也不会太夸张——比如用广角镜头拍人像,如果靠的太近,人像的鼻子可能就会看起来很大。(译者注:所以说 35-50mm 是拍摄人像的黄金焦距,太短或太长的焦距拍人像都充满了恶意。)下面这两张照片就是用 iPhone 7 Plus 拍摄的,分别是 1 倍焦距和 2 倍焦距(译者注:也就是分别用主摄像头和第二颗摄像头拍的):如果采用 2 倍数码变焦(比如 iPhone 7 如果像上面这么拍,第二张就只能数码变焦了),那么效果肯定不会像 iPhone 7 Plus 的长焦镜头拍的那么锐利。在光照充足的环境下,采用 iPhone 7 Plus 的 2 倍变焦拍照,拍到的画面细节都比 iPhone 7 或者 Google Pixel 更为丰富。给 iPhone 7 和 7 Plus 的变焦打分上面已经谈到,在光照条件比较好的情况下,iPhone 7 Plus 的长焦镜头在拍照的时候,相比一般手机摄像头的数码变焦效果更好。不过苹果的双摄方案也存在局限性,由于第二颗摄像头相比主摄像头,图像传感器更小,而且采用更慢的镜头(也就是更小的光圈),镜头也不支持光学防抖——这些妥协实际上也是为了配合 iPhone 的机身厚度。在暗光环境下,即便用 2 倍焦距拍摄,iPhone 7 Plus 仍然只用主摄像头,所以暗光环境下 2 倍焦距拍摄的照片和 iPhone 7 是差不多的。(译者注:上图横轴是照度,纵轴是锐度;浅蓝色柱状条代表数码变焦,深蓝色柱状条代表光学 + 数码变焦;柱状条上方标注的 W 代表采用广角摄像头拍摄;T 代表采用长焦摄像头拍摄;三组柱状图分别列出 20 lux、100 lux 和 700 lux 照度下 iPhone 7 和 iPhone 7 Plus 拍摄照片的锐度情况。)为了评估这种妥协究竟带来了什么样的后果,我们采用全新的 “变焦(Zoom)” 评测方式,来测试两台设备。我们的测试模拟了各种光照条件,从极低照度到明亮光照环境,以此来了解这些拍照设备的实际表现究竟如何。我们发现,在光照条件充足的情况下,iPhone 7 Plus 摄像头有较大的领先优势;而在稍暗的光照条件下(如上图中的 100 lux 照度下),iPhone 7 Plus 在细节呈现方面的领衔优势就变小了;在暗光环境下(如上图的 20 lux 照度),双摄的优势就不复存在了。这是因为在暗光环境下,iPhone 7 Plus 会完全采用广角摄像头(而不再启用长焦摄像头),所以其成像素质就和 iPhone 7 差不多了,此时 Google Pixel 拍到的细节更多。光学变焦带来更多的噪点长焦镜头虽然带来更多的细节,但由于单个像素尺寸更小,所以成像噪声有所增加。我们对比摄像头变焦表现的方法,是将摄像头调整到等效 50mm 和 85mm 两个焦距之上拍摄样张,不管摄像头的变焦机制是怎么做的(包括光学、数码和混合式)。随后我们再评估画面的特定区域表现如何,以锐度为衡量标准。摄影师是站在固定距离下拍摄的,我们对拍摄对象细节进行评估。不难想见,iPhone 7 Plus 的双摄方案由于带一颗长焦镜头,所以在 “变焦” 这个项目上会有更高的得分。不过因为在较暗的光照条件下,iPhone 7 Plus 会对两颗摄像头拍下的画面进行合成,或者只采用主摄像头进行数码变焦,所以 iPhone 7 Plus 在这一项的得分也只比 iPhone 7 高出 9 分,前者与后者的得分分别为 46 分和 35 分。虽然还是存在一定优势,但和某些机型比起来就毫无优势了,比如诺基亚 808Pureview “变焦” 项目的得分是 42 分,而 808Pureview 采用的无损变焦方案,实际是对 4100 万像素图像传感器资源做充分利用,这台设备也是不支持光学变焦的。所以如果和相机比起来,手机摄像头的 “变焦” 能力还是有很大的提升空间,如下图这三张从 “变焦” 测试样张中截取的画面对比。给 iPhone 7 Plus 的虚化打分(人像模式)现如今像单反一类高端相机,和手机摄像头之间的最大差异即在于,前者很容易创作出被摄主体清晰锐利,而背景则像奶油般模糊的照片,也就是所谓的 “刀锐奶化”。唯有较大的图像传感器,配合大光圈镜头才能营造出这种浅景深效果。而手机的图像传感器要小得多,所以即便光圈 f 值看起来比较大,也是不大可能创作出 “刀锐奶化” 的作品的。某些后期桌面软件可用于模拟这种效果,不过还是需要较多的手动操作,去选中被摄对象,并确定背景的模糊程度。而苹果的 “人像模式”,就是以自动的方式来达到这样的背景虚化效果,向单反看齐。虚化效果:部分模拟了浅景深以 iPhone 7 Plus 的光学设计和条件,要真的拍出景深比较浅的照片是不现实的,因为其图像传感器较小,且镜头焦距也短。不过利用双摄拍下的照片,却能实时模拟出这样的效果。iPhone 首先会预估场景中每个被摄物的距离,并计算图像每部分要进行何种程度的虚化,越远的地方虚化越多,同时保证被摄主体及靠近被摄主体的部分是清晰锐利的。苹果似乎刻意减少了对前景的虚化,可能是为了防止穿帮和不自然。(译者注:这段话需要对 “景深” 这个概念有一定的理解才能明白,如果你对于为何越远的位置虚化越多,以及为何前景也需要虚化感到困惑,欢迎看我的另一篇回答:欧阳洋葱:用算法合成的背景虚化效果与用大光圈镜头拍出的效果相比差距有多大,主要区别在哪里?译者注:另外提一点,国内很多泛科技媒体早在 HTC One M8 时代就说,这款手机的第二颗摄像头 “用于记录景深信息”,这是种完全错误的表达,这里的 “景深信息” 指的应该是深度信息,而且也没有单颗摄像头能 “记录” 深度信息这样的黑科技存在,双摄虚化的根本就是通过两颗摄像头拍摄照片的视差——或者可能应该说成是位差,来大致推断被摄主体的边界,现在可能还会配合深度学习(Deep Learning)算法来识别被摄物,以最终构建的 depth map 深度地图为依据进行不同程度的虚化。)注解:软件模拟浅景深的方法有很多种,有些软件是通过估算场景中被摄物的距离来构建深度地图。由于两颗摄像头的位置是不一样的,每颗摄像头拍到的场景视角会有差异,iPhone 7 Plus 也就能够利用两者间的差异来估算摄像头和场景中被摄物的远近。iPhone 7 Plus 开启人像模式时,就会模拟背景虚化效果。iPhone 7 Plus 的背景模糊程度,大约相当于全画幅单反,配合 f/3.5 光圈镜头拍摄,如下图所示:虚化的短板:噪声分布不一、前后景过渡不自然因为深度地图实际上并不精准,所以画面不同区域的过渡很多时候还是不自然的,下面这张图就是全画幅单反真正的背景虚化,和 iPhone 7 Plus 模拟背景虚化效果的差异:全画幅单反采用 50mm 镜头,f/3.5 光圈拍摄;中间这张图是单反及其镜头呈现出的效果,而第三张图则是 iPhone 7 Plus 拍摄的,注意观察两张图小星星边缘位置与背景过渡时的差别,iPhone 7 Plus 拍下的画面存在一定程度的边界误判和过渡不自然。iPhone 7 Plus 采用人像模式拍摄,在暗光环境下也会有问题。iPhone 7 Plus 第二颗摄像头的光圈相比主摄像头更小,这就需要更慢的快门速度作为补偿,但问题是这颗摄像头不支持光学防抖,所以又无法采用太慢的快门,这样一来在暗光场景下,iPhone 7 Plus 的长焦摄像头很难获得充足的曝光量。所以如果在暗光环境下使用人像模式拍摄,画面被摄主体的噪声会显得比较严重,而焦外部分的噪点控制相对更好,因为虚化相对降低了这部分的噪声——这让整个画面看起来不够自然。和单反真正拍到的浅景深不一样,iPhone 的人像模式拍下的照片,前后景的信噪比水平存在差异。在光照充足时,噪声没这么明显,但暗光时这种噪声分布的不均衡,实际上是比较诡异的,如下图所示。衡量 “焦外” 的准确性评估虚化表现的另一个要点在于被摄主体是否突出。真正的浅景深是光学属性使然,而不是模拟出来的。iPhone 7 Plus 在开启人像模式之后可以模拟浅景深。但问题在于,iPhone 7 Plus 对前景的虚化程度,比背景弱得多。苹果这么做可能是有原因的,可能是为了避免前景看起来不够自然。为了表现这一点,下面这张测试板和相机采用 45° 角放置。测试板右边离相机更近,对焦位置选择在测试板中央。不难发现,下面这张图,全画幅单反 + 50mm 焦距镜头拍下的照片,近处和远处都有虚化;而 iPhone 7 Plus 只虚化了远处。蓝色部分表示焦内区域(译者注:也就是景深范围)。iPhone 7 Plus 只虚化了后景,而蔡司镜头拍下的照片前后景都有虚化。如果要让 iPhone 7 Plus 也对前景做虚化,则需要前景离被摄主体非常远才行。测试虚化表现除了需要评判照片背景虚化程度,焦外高光部分的形状、亮度其实都有讲究(这些也是评测标准)。相机镜头拍下的照片,如果虚化的部分是讨喜的,我们就说其焦外成像很出色。如果用软件来模拟虚化效果,像 iPhone 7 Plus 这样,我们就需要评估其模拟虚化的表现如何了,毕竟相机镜头是靠真正的浅景深呈现出的虚化,那才是真是的虚化。我们在实验室里也对比了 iPhone 7 Plus 和全画幅单反 + 高端镜头的焦外成像,如下图所示:全画幅单反加镜头,呈现出了更为传统和自然的焦外成像,即便采用 f/4 光圈也是如此。焦外高光处的形状,看起来是否讨喜对摄影师来讲很重要,轮廓内部呈现也很重要。出色的焦外虚化应该是边缘一圈稍亮,同时边缘较锐。(译者注:维基百科针对 Bokeh 的描述中有这样两段话:Bokeh is often most visible around small background highlights, such as specular reflections and light sources, which is why it is often associated with such areas. However, bokeh is not l blur occurs in all out-of-focus regions of the image. …… Bokeh characteristics may be quantified by examining the image’s circle of confusion. In out-of-focus areas, each point of light becomes an image of the aperture, generally a more or less round disc. Depending on how a lens is corrected for spherical aberration, the disc may be uniformly illuminated, brighter near the edge, or brighter near the center. 供对焦外成像感兴趣的同学参考,至少反射高光部分,以及小光源的焦外成像,会是 Bokeh 好或不好的重要评价标准。这里的 circle of confusion 就是弥散圆的意思。依据镜头对于相差的修正,焦外小光点可能在亮度上并不均匀,或光点边缘位置会更亮。我感觉 DxOMark 最后评价焦外的这个说法还是值得商榷的,但鉴于 DxOMark 在镜头评测方面宗师级的地位,可能是我对焦外的理解太肤浅造成的。不过在我先前那篇回答中也谈到过,镜头的焦外虚化往往是不完美的,或者虚化的好看与否是很主观的,比如光圈收缩后弥散圆形状就不会是个圆形——不过这也不会成为影响焦外好看与否判断的标准,且镜头由于工艺限制在焦外呈现上也会表现出不同的特性。而双摄模拟的背景虚化则很单一,让画面看起来很假。)iPhone 7 Plus 的虚化表现iPhone 7 Plus 虚化平滑,这和光学虚化更锐的边缘相比,就不大符合预期。而且如果要产生虚化效果,苹果建议用户保持被摄主体离手机 2.5 米以内,在此范围之外,两颗摄像头无法识别出足够的位差,也就不能进行相对准确的虚化了。iPhone 7 Plus 的长焦镜头能帮助减少畸变更长的焦距有个优势,就是能够减少畸变(foreshortening distortion,译者注:这里主要应该就是指桶形畸变,另外也有夸张的透视关系),在比较近的距离,以广角镜头拍摄的时候就会有这个问题——比如拍人像特写。下面的样张就表现出了广角镜头呈现出的脸部变形,是用 iPhone 7 之上的广角镜头拍摄的大头照(或者一般传统手机拍出来的也是这样)。把手机拿的离人脸远一点,那么就能缓解这个问题——但拿远的话拍不了特写——如果同时又期望拍摄脸部特写,对一般的手机摄像头来说就只能用数码变焦了。就像前文所说的那样,数码变焦对画质是有损的。所以 iPhone 7 Plus 的长焦镜头就不存在这一问题:一方面基本能够解决变形的问题,同时细节捕捉也到位。结合上述原因,iPhone 7 Plus 在 “焦外(Bokeh)” 项目的得分为 50 分,是我们测试过移动设备中的最高分——iPhone 7 在这一项的得分是 25 分。对背景的虚化能力、焦外成像表现、被摄主体轮廓的合理呈现,这几点综合构成了 “焦外(Bokeh)” 评分项。总结:iPhone 7 Plus 的双摄物有所值,尤其是人像拍摄虽然在照片和视频拍摄的 “曝光与对比度”“色彩”“自动对焦”“Texture”“抑噪”“Artifacts” 和 “闪光灯” 各项目的得分方面,iPhone 7 和 iPhone 7 Plus 差不多,但在最新的 “变焦(Zoom)” 和 “焦外(Bokeh)” 两个项目上,iPhone 7 Plus 却领衔很多。亮光环境下长焦镜头更好的成像质量,加上减少即便、产生虚化效果,都让 iPhone 7 Plus 在人像、微距和运动摄影等维度上领先 iPhone 7。下表就是两款手机 DxOMark Mobile 得分的差异。
有好的文章希望站长之家帮助分享推广,猛戳这里
本网页浏览已超过3分钟,点击关闭或灰色背景,即可回到网页

我要回帖

更多关于 虹软算法 的文章

 

随机推荐