五年左右时间,Facebook将让人们对Facebook的认知从社交媒体公司转变为元宇宙公司。扎克伯格6月底的一番演讲在让行业沸腾的同时也在告诉人们元宇宙势在必行。
图源:网络
元宇宙作为未来与真实世界平行的虚拟世界,未来将需要大量虚拟人物与场景进行填充,这当中除了与现有Avatar类似形象的创作,还应该包含另一种形式的内容,也就我们熟悉的数字孪生,对真实的世界进行复刻。

数字孪生早已不局限于静态物理空间的还原,比如复制一个工厂,而是可以做到动态对象的还原,比如通过体积视频记录人完整的动态,甚至让真实的明星在虚拟的元宇宙中开一场演唱会。
那究竟什么是体积视频?
体积是“物体所占三维空间的量化”,而体积视频录制则是以3D形式录制的视频。传统视频由每秒30帧的静态画面构成,体积视频则由每秒30个3D静态模型构成。
体积视频的有趣之处在于没有固定的视角,用户可以从各个角度观察并与之互动。请看下面这张动图,就知道体积视频是什么样了。
谷歌体积视频效果(图源:Youtube)
它与我们平时了解到的360度视频不同之处在于能够完全自由地穿梭于场景中。在360度视频中,用户只能从单一、恒定的深度观看视频,而通过体积视频,用户相当于“导演”,可以控制自己与对象的距离、方位,能够拥有更强的临场感。
体积视频是现阶段唯一能够完整和有效记录现实世界动态三维影像的方法,有可能革命性替代现在的二维视频,成为未来最主要的视频格式。它也是现阶段在3D中能够百分百复制人类运动与情绪的唯一方法。
之所以这么说,是因为依靠普通的建模很难做到高精度和真实,永远无法做到完全相同,还可能会导致“恐怖谷效应”;基于拍摄的体积视频却不仅仅做到精度的提升,记录的动作神情也更加自然流畅,能够达到百分百还原,因此体积视频技术相当于是人物建模+自动捕捉+脸部捕捉,而且时间花费大大减少。
但体积视频作为一项合格的黑科技,也有其标志性特征:技术难度非常高且价格昂贵,技术难度高到哪种程度?2019年,谷歌公开了一个名为The Relightables的系统,这个系统由装有330个可编程LED灯与约100个用于视频捕获的摄像机组成,外型呈球形,借助这个系统能以3D形式录制视频,也就是体积视频(又称全息影像)。
谷歌The Relightables展示视频
全球范围内仅个位数企业掌握,所以除去谷歌、微软、索尼这种世界级大厂商,剩下的厂商屈指可数,国内更是凤毛麟角。只有极少数小型团队凭借对这项技术坚韧不拔的科研精神,开始在这个领域崭露头角,国内深圳普罗米修斯视觉技术有限公司(后简称“普罗米修斯视觉”)算是其中少有的遗珠。
普罗米修斯视觉:
体积视频界“国货之光”
普罗米修斯由清华大学团队组成,科研精神较重,相对低调内敛,虽是从近几年开始为人所注意,但却是妥妥的“国货之光”,他们在体积视频领域已深耕达8年之久,一直走自主研发路线,这也是其能突破体积视频高技术门槛,跻身全球体积视频厂商之列的关键要素。
视频加载中...
Play Video
据普罗米修斯视觉CEO张煜介绍,体积视频所涉及到的计算机视觉处理算法和超高复杂度的工程适配属于世界级难题。目前全球也只有寥寥几个企业具备该项能力,而新的竞争者即使有充足的资金也需要充足的时间才能完成技术积累,因此普罗米修斯形成了较高的竞争壁垒。
体积视频的制作通常要经历四部曲:拍摄采集、计算生成、编码传输、渲染观看,其中每个环节自身都是很深的研究领域:
拍摄采集的方式与前文中The Relightables的制作系统类似,通常都是采用专业的深度相机组建成圆形阵列,将录制对象严格围绕在中间,对其所处的空间以及色彩信息进行采集,分析结构光并最终形成深度图。
普罗米修斯自主研发了了世界领先级高精度体积视频拍摄系统,是新一代颠覆性3D内容制作系统,采集阵列由多组高精度工业相机组成,能够对对象每个角度的色彩及深度光场信息进行采集,系统解决了传统体积视频领域的成本过于昂贵问题:团队采用基于Genlock的外部时间戳触发结合H.264音视频同步算法实现了近百台相机的毫秒级同步;整个系统通过高性能算法结构的设计和复杂的工程实现,实现了近百台4K相机每秒钟产生的几百GB的数据实时处理、压缩、存储。
“元宇宙时代,
体积视频计算生成的过程非常重要,如何将球形拍摄系统捕获的视频信号高效处理成高保真度的沉浸式视频格式是一个世界级难题。普罗米修斯视觉自主研发基于多维度信息融合的深度计算,包括彩色双目立体算法(自动驾驶广泛使用的算法)、IR主动投射双目立体算法(即大家熟悉的iPhone前置脸部解锁所使用的技术)和基于轮廓的3D削切算法。这几种算法结合互补后能够很好的解决人全身各个部位的精确重建,甚至细小物体的3D重建。
多维信息图
在编码传输过程中,编码算法要同时解决几何、纹理和声音的编码问题。图像和声音的编解码可以用业界成熟的H.264, H.265来解决,但几何信息的压缩编码是一个全新的领域,普罗米修斯视觉自研的非刚体追踪等算法同时解决了3D模型在时间和空间上的压缩,压缩比高达80%,码流最大可压缩至5MB/S,让这种高维度的媒体在5G和WiFi环境下可以顺畅使用。
在渲染显示方面,普罗米修斯视觉团队打通了从Web到游戏引擎,从移动端到PC再到VR/AR头显的全平台。用户不仅可以在VR/AR头显中身临其境的观看全息电影,也可以在类似《Pokemon Go》(精灵宝可梦)的AR APP中看到全息真人导游,甚至可以在看微信公众号文章时,“跳出”一个全息医务人员讲解Covid 19病毒防护服的穿戴方法。
为了解决以上的行业难题,普罗米修斯视觉经过了八年的关键技术研发,三年的工程产品化,最终拥有了从采集、处理、编解码传输、全平台渲染的全栈能力并实现了产品化。目前已获得三项技术专利授权、两项专利受理、五项专利正在申报以及30余个软件著作权。
那在拥有了坚实的技术基础与在全平台范围进行传播的部署后,体积视频到底该怎么玩?B端与C端又将通过怎样的应用场景接触到体积视频?
娱乐、营销、教学...
体积视频商业化落地的花式玩法
体积视频的应用场景非常丰富,最为直观的便是娱乐行业,制作方可以借助体积视频制作炫酷的节目特效、能制作由用户自己选择视角的电影,也可以通过体积视频拍摄VR剧本杀里的全息NPC,通过移动AR与偶像的全息影像合拍小视频等等。
2019年BillBoard晚会麦当娜特效(图源:BillBoard演唱会)
体积视频也是做市场营销的创意突破点,比如做AR广告等等。2020年12月,巴黎世家便借助体积视频为其2021年秋季系列做出了首个交互式、沉浸式3D游戏体验《Afterworld: The Age of Tomorrow》。
由Streamline (全球知名数字营销公司)将微软XR studio创建的体积捕捉数字模型带入虚幻引擎,构建了5个游戏关卡,每个关卡都展示穿着巴黎世家不同风格的时装的模特,配合精心打造的游戏场景,给观众带来强烈的视觉冲击。
Epic Games 创新实验室的Sallyann Houghton说这个项目“让人们看到了互动媒体是营销的未来”。而Vogue将巴黎世家的这次尝试称作“时尚界的一次飞跃”。
娱乐传媒与营销也仅仅只是体积视频的一角,它还能应用于以手机为载体的现有娱乐领域;结合AR技术,用户可以在家观看全息宅舞、偶像表演、甚至巴黎时装秀......
用手机旋转看体积视频模特
在商业应用之外,体积视频也会慢慢走进生活,成为新的记录生活的视频方式。当我们播放视频时,就好似完全还原了当时的场景与人物,见证过去的记忆,就像我们在《哈利波特》里看到的魔法相框。
视频加载中...
Play Video
全息相框的全家福
以上描述的一切离我们并不遥远,而且随着5G时代的来临正在加速到来。
“元宇宙时代,
需要大量动态真人数字化内容”
“元宇宙时代,需要大量动态真人数字化内容。”这是普罗米修斯视觉CEO张煜对体积视频的未来发展的预判。
“人们对元宇宙的认知,可能大部分来自于电影《头号玩家》。但是我认为,元宇宙时代可能更像是电影《银翼杀手》。” 张煜说:“元宇宙不是完全进入一个全新的世界(VR),而是数字化和现实世界的融合(AR、MR)。而现有的CG建模、动捕、表情捕捉做出来的数字真人不但动作和表情僵硬,而且时间和成本高昂。体积视频(全息影像)是又一次典型的由于技术进步掀开了商业的天花板,同时解决了以上两个痛点。”
国外部分体积视频公司已经开始提供体积视频的拍摄服务,但由于市场需求处于初期、成本高昂、技术难度高、等多重原因,外国团队几乎尚未涉足国内市场,国内也几乎没有对手,普罗米修斯视觉是国内唯一一家能够面向大众提供大规模的体积拍摄服务的公司。
在价格上,由于普罗米修斯视觉团队手握底层技术,因此相对于国外动辄上万美元的拍摄价格,可以很好的控制成本,拍摄费用每秒仅需几百元。现在在北京和长沙都有拍摄中心,下一步计划在深圳、成都、上海等城市建立拍摄中心。虽然价格是国外的1/10,但品质永远是普罗米修斯视觉的核心目标,其质量处于国际第一梯队。
图源:普罗米修斯视觉
在服务上,普罗米修斯视觉深知体积视频从录制到应用对很多客户来讲很可能都是首次。因此,普罗米修斯视觉将服务定义为:从为用户提供拍摄咨询、策划开始,到拍摄、处理,最终到使用到用户的产品中的全栈服务。张煜说:“拍摄前通过深度交流可以帮助客户充分理解在这个新的技术边界下,需求能够达到什么样的效果;拍摄中有现场技术支持细致地帮助指导用户完成拍摄过程,帮助评定和选择最优的拍摄结果;拍摄后有专业的移动开发和游戏引擎工程师帮助用户把体积视频(全息影像)顺利集成到自家产品中。”
张煜表示,普罗米修斯视觉会在积极探索体积视频价值应用方向的同时,持非常开放的态度,乐于与其他领域的伙伴一起探索共赢。只有当体积视频的内容丰富之后,才能够迎来蓬勃的发展,而在这个过程当中,体积视频也将促进游戏、短视频、VR/AR、元宇宙等产业的向前。
结语
普罗米修斯在古希腊神话中造人的神明,他与智慧女神雅典娜共同创造了人类,普罗米修斯用泥土雕塑出人形,雅典娜则为人类灌注灵魂。
体积视频的出现就像人类通过科技对真实的自己进行了还原与重塑,它在5G时代的推动下可能会为我们带来三维化全新视觉体验。
如果对普罗米修斯视觉的体积视频拍摄服务感兴趣,请点击“阅读原文”。
(更多普罗米修斯视觉的体积视频,敬请关注“普罗米修斯视觉”公众号)