美丽说商城官方网站
所有商品如实描述，全场无假货，如需要开具正规发票，品质护航，购物无忧！
七天无理由退换货
签收商品后7天内，因主观原因不愿完成交易，可享受“7天无理由退换货”服务！
更多特色服务
全程保障您的支付和商品安全，专属用户定制特色服务，严格执行售后及保修政策！一种使用鱼眼图片合成全景图的方法_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
一种使用鱼眼图片合成全景图的方法
&&图片处理
阅读已结束，下载本文需要
想免费下载本文？
定制HR最喜欢的简历
下载文档到电脑，同时保存到云知识，更方便管理
还剩5页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢他的最新文章
他的热门文章
您举报文章：
举报原因：
原文地址：
原因补充：
(最多只允许输入30个字)全景视频泛滥！还在用 6 目 Gopro 拍你就 out 了
全文共8080字，预计花费您15分钟完成。编者注：本文作者洛小白，她将简析拍摄全景视频设备组合方案的设计原理、解读合成视频中出现接缝问题的原因、列出画面绝对死角范围的计算方法和优化建议、对现有的主流多机组合方案进行简单评析、提出符合特殊需求的独家创意方案。随着 GroPro 发布地表最强运动相机和无人机，尼康发布三款相机产品深挖虚拟现实与运动相机市场，全景拍摄变得越来越普及了。普通人只要购买一台 GroPro 相机就可以自己拍摄全景视频了。但其实也没有那么简单！你拍的大多数视频最终能不能放在 VR 眼镜里看，还得靠技术。全景视频常被大家误称为 VR 视频，事实上它只能算是 VR 视频的一部分，或者说是 VR 视频实现道路上的一个过程。无论是实景拍摄还是 CG 制作的视频都属于 VR 视频的基础素材，是在开发出更多交互方案前的准备阶段。现在最常见的创作方式有实景拍摄和 CG 制作两种，是目前 VR 内容创作的重要来源之一，常被用作 VR 设备在游戏之外最重要的标配项目。实景拍摄的可以用于 VR 设备下 360°x180°全景播放的视频类素材，本身并不能产生交互，现阶段还不能实现场景漫游，所以观看起来具有很强的局限性。但它相对 CG 制作而言，在成本和效率方面有优势，而且能够快速批量化制造可供观看的成品。用VR眼镜看全景视频时，可以看到拍摄点位前后左右上下全立体空间内 360°x180°的画面。实现这种全视角的拍摄方法原理其实非常简单，就是通过一定的矩阵排布多台摄像设备，使这些设备录制的画面组合起来能够覆盖拍摄点位上的全视角空间，同时开启所有摄像设备，记录下时间轴上该装置组所在点位水平和垂直面上的所有图像信息。360°X180°视角示意图在拍摄部分的工作完成后，利用内置或者第三方的拼接软件，从所有摄像设备中抽取同一时间点上的一帧画面，针对焦段进行计算后拼接渲染生成基于柱状投影模型，水平和垂直比率为 2:1 的全景图片，再利用这一帧的数据渲染所有拍摄的帧序列，最终生成可以进行全景播放的全景视频。&单帧基于柱状投影模型的全景视频这种视频在内嵌漫游技术的播放器或者播放平台上，可以通过滑动屏幕或者旋转来实现 720° 全方位的观看，在 VR 眼镜端口可以实现全沉浸体验，带上眼镜就等于置身拍摄时摄像设备所在的点位，有远超传统视听模式的临场感和时空感。全景视频拍摄在拍摄端的完成和品质取决于两个因素：一是使用的摄像设备。二是使用的矩阵支架。其中拍摄全景视频的设备通常为多台单元设备构成，单元设备由镜头和机身构成，使多台单元设备能够稳定完成全景拍摄的支架装置，就是矩阵支架，这两个部分合称为全景视频拍摄解决方案。在这个方案上出现了拍摄全景视频的两大分支：一体机和多机组合解决方案，这两种分支在结构原理上是相同的，都是通过多个摄像单元采集 720°视野的画面来获取全景视频素材，不同处主要在于整体方案解决能力上。比如 Facebook 开源的 Surround、诺基亚的 OZO，三星的 Gear 360 这些都属于一体机，一体机采用相对封闭的结构，内置了拼接算法和推流编码等解决方案，可以稳定地用于直播或者监控。多机组合解决方案以 6 目 Gopro+专用支架的方案被使用得最为泛滥，是国内大部分进行实景拍摄的团队的标配，多机组合的方式需要另外进行后期拼接及设计其他配套方案，但是在灵活度和摄像品质的成熟度上更具有优势。全景视频本质上依然是一种视频形式，需要考虑视频画质、清晰度、宽容度、分辨率、帧率等因素，根据出片需求进行最佳优化方案标的设计。本文将根据全景视频成片品质的需求，提出在选择或者设计解决方案时最值得重视的几项参数，并针对最常见的拼接接缝问题，分析造成接缝的原因和画面死角的计算方法，提供针对画面接缝的优化方案，最后对现有的主流多机组合方案进行简单评析，针对不同需求提出可供参考的解决方案，为正在进行全景视频拍摄探索的团队提供基础的设备选择判断理论基础。A 参数篇1、2K、4K与8K像素分辨率作为一种全视角的视听新模式，全景视频的画面包含了全空间的范围，达到了远超传统视频的360°*180°视角，自然也就要求视频对应的画幅尺寸远超传统视频。目前业内普遍认为全景视频阶段性的理想清晰度至少应该达到 8K，仅仅勉强能接受的清晰度也应该要达到 4K。但事实上目前大部分时候我们看到的都是 2K 分辨率的全景视频，造成这种限制的最主要原因来自观看设备端的滞后。目前 VR 观看设备主要有三种形式：分别是 VR 头盔、VR 一体机和 VR 手机盒子。&&VR头盔、VR一体机和VR手机盒子首先来看使用手机盒子模式的设备，这种设备播放时的清晰度依赖手机本身的屏幕像素。索尼在 2015 年 9 月推出的 XperiaZ5 Premium 是目前全球唯一一款搭载 4K 屏幕的手机，目前还没有其他公司发布推出 4K 手机的计划，据 etnews 报道，三星正在开发 11K 超高分辨率的手机，具体推出时间未定，目前在手机显示屏分辨率上依然是索尼独领风骚。可以预期未来手机屏幕分辨率的战争将会愈演愈烈，但目前来看市场上主流的手机屏幕依然是 2K 和 1080p，这就导致 VR 手机盒子类观看设备所能获得的画质被限制在了 2K 以下。不仅移动端在面临清晰度的考验，在 PC 端领域同样存在着配置门槛，目前大部分中低 PC 端对于 4K 级别视频的播放都难以满足。各大巨头的一代 VR 头盔都默契选择了 2K 分辨率，4K 可以预期将称为二代头盔的目标之一现在还处于研发阶段。VR 一体机本质上与 VR 手机盒子更相似，要达到 4K 甚至更高的分辨率还要依托手机端的技术进步。如果只追求眼前阶段快速地生成作品，采用只能达到 2K 分辨率的解决方案并不是不可行的，仅仅是在 PC 端或者手机端上纯粹以全景漫游的形式观看，2K 左右分辨率的全景视频实际观看体验在 PC 端能达到标清，手机端能达到高清。但是考虑到最终都将回归到 VR 眼镜中进行全景视频观看，最终还是需要 4K 以上的清晰度才能勉强满足体验上的沉浸感。大部分小团队目前创作全景视频的上限也在 4K 左右，造成这种创作限制的制约因素有两个部分，一是最常见的两大拼接软件 KolorAutopano Video 和 Video stitch 暂时都只支持到4K（）分辨率的渲染输出；另一个是只有目前最高配置的电脑才能够在对 8K 分辨率的内容进行操作时保持流畅，大部分中高配置的电脑连播放 8K 的内容都非常困难。所以 8K 虽然是理想的全景视频分辨率，但其无论是采集、拼接、生成还是播放上都还存在着技术和硬件上的滞后，现阶段并不能普及。综上所述，现阶段全景视频最理想的分辨率是 4K，事实上大部分团队的全景视频都按照 4K 标准在进行创作，这是最能够平衡需求和限制两方面矛盾的阶段最佳方案。目前最主流的全景视频分辨率还在 2K 阶段，这个分辨率能够适应现阶段移动端和 PC 端的输出限制，能够更好地用于 VR 直播等内容展示端口，但是也面临强烈的淘汰危机。VR 内容的不断成熟会带来一次硬件端的快速迭代，4K 分辨率存在的制约应该在近期就会得到改善。2、全画幅与 1/2.3 英寸画幅即使在分辨率相同的情况下，不同视频之间也会出现画质和清晰度的明显差异，这是由于摄像单元设备采集的素材存在像素密度、宽容度和高感上的差异，而导致这种差异最主要的原因就是单元设备上 CMOS 图像传感器的不同。CMOS 图像传感器是一种典型的固体成像传感器，我们前面提到过一个单元设备是由镜头和机身构成的，而机身中最重要的元件就是 CMOS，通常摄像设备使用的 CMOS 尺寸越大，则采集的素材画质越有优势，这是因为 CMOS 尺寸越大的摄像设备，其采集素材的单元像素宽度更宽，也就意味着其捕捉的光子越多、画面噪点越少、且更能适应低照度的拍摄环境。&常见不同尺寸的CMOS&具体这种单元像素宽度的差异是可以通过计算获得的，在这里我们只用全画幅设备和 1/2.3 英寸设备作一个对比参照案例，其他不同尺寸设备之间像素宽度差异的计算可以参照图4的数据自行换算：全画幅设备的 CMOS 尺寸为 36×24mm，1/2.3 英寸设备的 CMOS 尺寸为 6.16×4.62mm。1/2.3 英寸设备的 CMOS 尺寸大概是全画幅的 3.2%。如果使用全画幅的设备和 1/2.3 英寸的设备拍摄出同样为 4000 万像素的图片，则全画幅设备输出的图片上每一个像素宽约有 11.18 微米，而 1/2.3 英寸设备上输出的图片上每一个像素宽约有 0.76 微米，两者之间在宽度上就差距约 15 倍，在面积上差距约 200 倍。目前在分辨率被限制在 4K，甚至 2K 的情况下，使用 CMOS 尺寸更大的设备能够创造画质和清晰度更好的作品，能够有效提升观看受众在 VR 体验上的沉浸感，是值得内容创作团队重视的重要设备参数之一。3、拼接完成度在进行全景视频拼接合成的时候，最让人头疼的就是画面接缝的问题。多个机位拍摄的素材在拼接时，两端相邻素材之间有时候会出现无法完全拼合的情况，如图5所示，当视频人物出现在接缝位置上，会出现断手断脚断头等情况，这就严重影响了全景视频的观感和沉浸感。&&出现接缝的画面&导致接缝出现的问题主要有两个原因：一个是因为由于摄像设备自身的限制，导致有部分内容无法拍到，这种无法拍到的区域围绕在整体设备周围，在以整体设备为中心一定区域内是全景拍摄的死角领域，这个区域在不同设备解决方案上出现的范围和可控度各不相同；另一个导致接缝出现的原因是因为拼接技术和算法的限制，这个问题是可以优化和解决的，随着拼接技术和软件的成熟会影响越来越小。在下节“接缝篇”中会详述现阶段接缝出现的具体因素，以及拍摄死角领域的计算方法，这里只简单说明一下接缝问题与全景视频出片质量的关系。严重的接缝问题会对全景视频从拍摄到后期都造成巨大的干扰，画面中的对象不能自由移动，而且难以拍摄动态的画面，而优化好接缝问题，则能够为全景拍摄团队带来更大的创意空间和更高的工作效率。4、不低于 25 帧每秒为了减少全景视频观看时的眩晕感和卡顿感，创作全景视频时要求视频在采集的素材帧率不能低于每秒 25P，达不到这个最低标准的摄像设备不建议采用。5、单元设备采集素材参数的一致性因为合成全景视频的素材来自多个镜头，所以本身就会因为各个画面信息在采集时的细微差异造成区别，比如曝光不同就会造成明暗接缝，对焦点不同会造成清晰度接缝。现有的绝大部分拼接软件，都只支持合成来自完全相同单元设备采集的视频，即相同的机身和镜头焦段，单元设备不同的组合方案很难进行后期合成。在单元设备一致的情况下，也会出现采集素材参数不一致的问题，导致这个问题的主要原因是设备的自动化功能。目前大部分全景视频解决方案包括一体机都尚未解决这个问题，比如 Gear VR、Gopro 和 Idealens K1 等，在进行素材采集的时候会自动测光，而不是采用固定的采光数据，而不同单元设备所拍摄范围自动测算的光线强度是不一致的，所以采集的画面会出现明暗严重不一的问题。选择能够全手工控制所有采集参数，包括焦段、曝光、白平衡、色彩模式等，保持所有素材参数的一致性，能够极大提升整体画质水平，减少后期拼接的调整难度，在现有设备基础上实现最高强度的品质提升。&B 接缝篇&一个视频是由一帧一帧的图片组合而成的，一个全景视频的拼接分解开来就是一帧一帧全景照片的拼接，常用的拼接逻辑是从采集的多个视频中，在同一时间点上分别抽取一帧进行拼接计算和微调，再利用这一帧的拼接数据进行全视频的渲染，来最终实现整个全景视频的拼接和输出。&&&从视频中抽出一帧用于拼接&前面提到了单元设备采集参数的不一致会导致接缝问题，但是这个问题相对来说更容易解决和控制，还有三个更加重要也更加难以控制的重要元素才是导致接缝问题的核心：一是镜头的节点，二是相邻照片拍摄内容的重叠面积，三是拍摄的死角区域。对于大部分拼接工作人员而言，这两个元素的控制情况决定了全景视频的最终拼接品质。1、镜头节点镜头节点也被称为镜头的光学中心，大致位于下图中，两条红线在镜头内交叉的位置上，具体每个镜头的测算方法可以自己寻找教程。&&镜头节点的位置&如果有进行全景照片拍摄的经验会更容易明白镜头节点的价值，现在主流的全景摄像就是将相机安置在一种特殊的云台上，利用云台的特殊设计来保证相机的节点不发生偏移，然后旋转相机进行 720°方位的拍摄，这样拍摄的一组照片能够最大限度保证摄像装置对物体的透视关系不发生变化如下图所示，当节点不准确时，相邻画面重叠部分的内容透视关系不同，就会对拼接软件造成误导，无法完美拼接。相反如果节点精确，则有利于帮助拼接软件计算多个画面之间的关系，从而最大程度实现精确拼接的目的。&发生变化的透视关系&但是全景摄像与全景摄影不同，为了保证各个机位在时间线上的一致性，在进行全景视频拍摄的时候，必须将多台机器组成一个矩阵同时进行拍摄，客观上导致这些机器的光学中心是不可能重合的，也就是说相邻两台设备拍摄内容中重合的部分会出现不同程度的透视关系偏移，这就导致拼接软件在识别和计算上出现偏差，不能自动生成最优质的拼接数据。在现有条件下针对节点问题无法杜绝只能进行优化，在硬件端可以采用更优化的配置：通常使用的单元设备画幅（CMOS尺寸）越大，被拍摄的物体距离越远，使用的镜头FOV（视角度数）越小，则出现偏移的情况越不明显。在软件端 Nuke 公司推出了插件 CARAVR，专门针对镜头节点来设计拼接计算方案，目前开放的免费版本还存在着一定的局限性，但可以预期未来节点问题的可控性会变得越来越容易，利用 CARA VR 及未来的一系列拼接软件，可以在软件中设置使用的摄像器材数据模型，利用精确的节点计算方案来进行拼接，减少在合成这个端口的工作强度。&&CARA VR的节点计算模型&2、相邻设备拍摄内容的重叠面积造成接缝出现的第二个要素时相邻设备拍摄内容的重叠面积，从软件计算的角度来看，相邻设备拍摄内容的重叠面积越大，拼接软件在进行自动识别的时候准确度越高。理想的画面重叠面积为 30%，但是节点的准确性和画面内容的丰富性可以有效减少这个需求。其中节点与画面重叠面积的需求存在强关联性，节点越精准，画面重叠面积需求越小。画面内容的丰富性则有利于拼接软件的控制点识别，信息较少且带有规则花纹的画面比如天花板、木地板、墙纸等都会给拼接软件带来较大的困扰。&&容易识别的画面和不容易识别的画面对比&节点计算方式的成熟会有效减少对于画面重叠面积的需求，相邻画面重叠率需求很快会降到 10% 甚至 5% 左右，目前来看在素材规则的情况下，10% 的重叠率也能通过微调来呈现较好的拼接结果。3、拍摄的死角区域现有的全景摄像解决方案在采集素材的时候，设备本身要在空间中占据一定位置，首先这部分空间是无法被拍摄到的。为了便于解说，我以五台 90 度垂直地面排布的 SONYILCE-7SM2（以下简称A7S2）全画幅相机 +10mm 鱼眼镜头为例。如下图所示设备所在的紫色阴影部分，也就是第一死角区域是绝对不会被拍摄到的，这一区域垂直贯穿整个空间，天空和地面都存在这个死角区域。鉴于这个范围投影源只有大约 0.3 平米，在相对开阔的空间中存在感较弱，大部分情况下可以直接通过后期进行修补处理。&第一死角区域&另外一个死角区域是由单元设备本身的 FOV 决定的，A7S2+10mm 鱼眼镜头在垂直面和对角线上的视角度数能够达到 180°，中心横向面视角度数约为 120°，向垂直轴两级视角逐渐变大。按照 A7S2 官方数据资料，在使用 4K 模式时，该机拍摄视频的尺寸是 ，画幅比例为 16:9，也就是说在横向面上需要再乘以 0.84 的系数，最终中心横向面上的视角度数约为 100 度，实际所得视频画幅如下图中灰色阴影部分所示。&&灰色阴影部分为拍摄4K视频时占用的CMOS面积&单台 A7S2+10mm 鱼眼镜头的设备在垂直面到对角线上的这段内容 FOV 有 180°，在其朝向方位对角线到垂直面的信息能够得到足够的记录，但是越是接近垂直轴中心点的横向界面的视角越窄，最终只有 100°左右。也就是按照案例的设计，这一套全景摄像组合方案相邻两套设备在物理中心水平面上都只有 100°的视角，也就是在视角不相交的领域的内容将无法拍摄到，如下图中粉红色阴影部分就是这一套全景摄像组合方案物理中心水平面的死角区域，也就是第二死角区域。&&&第二死角区域&第二死角区域在全景摄像组合方案物理中心水平面上面积最大，随着在垂直轴上分布面度数的不同，这个区域越趋向天地两极方向的时候会变得越来越小，最终随着横向平面与视频的对角线重合时，视角达到 180°，FOV 导致的死角区域收缩到极致，如下图所示最终收束于第一死角区域的大小。&&死角区域三维示意图&这个死角区域的范围时可以计算的，参照 A7S2 的机身宽度 126.9mm，根据下示意图可以大致算出这个五角星的最远端约为405mm，以画面至少重合5%为最低需求，使用这套配置拍摄的安全距离大约是640mm，以画面至少重合10%为最低需求，使用这套设置拍摄的安全距离大约是1500mm。&&&安全距离示意图&选择 A7S2+10mm 这套方案作为案例主要是因为全幅相机不需要换算焦段倍率，计算起来简单明了，利用案例所示的计算方式，可以进行其他设备方案的安全拼接距离计算。注意在计算时需要根据所选设备 CMOS 的不同，按照相应的比例换算正确的镜头焦段，才能得出正确的镜头 FOV，并进一步算出不同设备方案中的安全距离，最终为按照出片需求选择理想的多机组合方案提供基础的模型设计参考。&C 评测篇现有的全景视频拍摄方案已经有了很多较成熟的答案，本篇将以几个比较典型的方案为代表，分别进行简单的评析和优化建议。1、双鱼眼 FISHEYE以柯达的 SP360 4K 运动相机为例，这款机器的传感器尺寸和 Gopro 一样为 1/2.3 英寸，号称 235°超鱼眼视角，4K 拍摄时候的视频尺寸为 ，采用的方形截取，视频长宽比例为 16:9，最后输出的成品在水平面上能够保证全域的视角，但垂直面就只有 214°，拼合的全景视频天空和地面都存在大范围的缺失。&&柯达SP360 4K&这个方案最简单的优化方案就是再买两台，分别用来摄制天空和地面，即使 4 台 SP360 也只需要 2500 刀，总体来说画质略好于水平和垂直角度都达到 360°覆盖的一体机 GEAR360。但是双鱼眼矩阵这种模式存在一个天然的瓶颈，其每一个 180 度环形面上都只有两个 180°的鱼眼素材，无法摆脱鱼眼天然存在的过度畸变问题和画质损失问题。鱼眼镜头将高 FOV 的画面强制压缩在一张平面图片上，越靠近画面边缘部分的内容畸变越严重，而且在相同像素宽度中会挤压更多的内容，也就意味着越往外野的画面信息获得的像素空间越狭窄，在生成投影图时与中心区域的像素和质感存在显著差异。这种画质的严重损失问题还会进一步导致画面视野过窄，仅有不到 90 度的视野适宜观看，会造成观看者出现眩晕，是不适用于VR观看模式的全景视频。&2、Gopro 标准 6 目这是目前大部分工作室或者初创企业在探路阶段的首选方案，大约 3500 刀的成本，利用 Gopro 拍摄全景视频的时候，为了保证最大画幅，通常会选择 4:3 的宽视角设定，这个时候 Gopro 拍摄出来的视频在水平和垂直面上的 FOV 分别约为 122 度和 94 度，勉强能够符合这种菱形六目矩阵的拼合需求。但这种菱形六目矩阵采集的素材并不规则，满足相邻画幅均超过 10% 的叠合率，最远端大概需要 2 米以上的安全距离，拼接难度较大。在各大 VR 在线视频网站上可以看到，使用 6 目 Gopro 方案的视频多数将视角放得很低或者放得很高，拍摄对象也相对安静，动作幅度小或者就在原地进行舞蹈等表演，通过将拍摄对象严格控制在安全范围内的方法来规避夸张的接线问题。&&6目GOPRO&3、MOOOVR 方案这个模型就是前一节中案例设备方案的原型，MOOOVR 公司目前国内的合作方是乐视，拼接软件的合作方是 Videostitch。该公司官网主打方案的单元设备为：佳能 M2+三阳7.5mm 的搭配，M3 属于 APS-C 画幅，转换系数 1.6，垂直 90°排布能够在单元设备采集画面对角线上实现 180 度视角，天极和地极的缺失部分会略高于案例方案，可以通过更优化的排布和后期来改善这个问题。MOOOVR 销售的这套设备目前售价 9000 刀，能够生成 4K 高画质 30P 每秒的全景视频。如果能够具备自己制造支架的能力，纯粹五台设备+镜头大约需要 4500 刀。&&MOOOVR&在前一节案例中设计的方案中试验用的设备是“SONYILCE-7SM2+佳能 8-15mm+ 镜头转接环”的配置，这套方案综合性价比较高，能够直接拍摄出8K清晰度、微电影画质的全景视频，安全距离低于 1 米，变形稳定，接缝位置容易把控，在这种标准下 2.5 万刀的成本称得上价廉物美。但是鉴于 8K 目前还不是主流，所以如果不是对画质或者视频内容有更长远的布局，也可以考虑 MOOOVR 官方提供的方案。对于这套方案如果还有进一步优化的需求，还有两个方法可供选择，一个是直接在在顶部和底部分别再增加一台设备，完美采集到所有角度上的画面；另外一个是将 5 台设备分别对天极和地极方向进行一定的角度偏移，具体计算方式可以自行筹算，这种方案在后期和方案设计上会增加一些难度，但可以节约部分器材费用。&4、Surround 360 方案&Surround 360Facebook 这套开源方案出来的时候就有人预言今年夏天在深圳会有无数的复刻版出现，仅看数据，这套方案无论是视角、拼接、同步、画质、分辨率、安全距离还是推流等问题上都进行了周到的优化，甚至还解决了散热、串流等对初创团队来说难以攻克的问题，堪称现阶段最经典的组合方案布局。比较遗憾的目前笔者还无缘使用，不能撰写更准确地使用报告。仅根据其模型来看，这套设备其独特的拼接算法只能用于灰点公司开源的单元设备上，其他设备因为节点等差异无法实现完美复刻。所以只要使用这套方案的成本就大约需要 3 万刀，是在资金充裕情况下最佳的选择方案。魔多，最专业的VR媒体，有料更有趣&
魔多VR网 (C) 版权所有&& 京ICP备号