英特尔® 实感™ 技术 – 为电影制作人开启了新天地

《使用英特尔实感深度摄像头进行体积捕捉》,撰稿人:英特尔® 实感™ 体验设计经理 Suzanne Leibrick

您的招牌舞蹈动作是什么?

我最近有幸参加了在犹他州帕克城举办的圣丹斯电影节。作为圣丹斯英特尔科技小屋 (ITL) 的一部分,英特尔® 实感™ 事业部提供了体积捕捉体验。随着近期英特尔工作室(位于洛杉矶曼哈顿海滩,占地 10000 平方英尺)的推出,英特尔坚定地表示:“体积捕捉?我们在这里将它变为现实”。在圣丹斯,我们想要展示的不仅是我们拥有这一令人惊讶的巨大工作室空间,而且我们可以将体积捕捉提供给独立创作者,提供给预算紧张的小型工作室。我们使用英特尔实感 D400 系列深度摄像头来实现体积捕捉。这些摄像头不仅可以像传统相机一样捕捉 RGB 或色彩数据,而且还可以捕捉深度信息。对于空间中的每个像素,我们都知道其距离摄像头有多远。我们知道,墙比人更靠后。这使我们能够通过 4 个经过同步处理的摄像头,以全三维方式捕捉到 500 多人与我们分享其招牌舞蹈动作。

什么是体积捕捉?

传统电影从一个视角捕捉整个场景 – 摄像头也是这样。电影或照片拍摄完成后,如果没有成本高昂的补拍或视觉效果工作,您便无法返回现场、更改机位、改变灯光,或者轻松添加或移除物体或人物。当谈到实景虚拟现实时,您也无法在场景中走来走去 – 您只能转动头部,从摄像头的位置看到各个角落。进行体积捕捉时,不是使用一台传统相机,而是通过使用多达数千个摄像头的不同方式从各个角度捕捉场景。空间中的每个物体都以 3D 形式捕捉。因为是以这种方式捕捉场景,因为我们拥有所有这些 3D 数据,所以,我们可以将整个空间数字化地表示为体积像素或体素用于体积捕捉的英特尔实感深度摄像头

掌握了所有这些捕获的数据后,我们就可以做很多有趣的事情 – 我们可以以其中任一参与者的视角显示场景。我们可以重新照亮场景,或者轻松移除有问题的物体。我们可以添加数字生物和物品、放置新背景或者轻松更换我们喜欢的镜头。在虚拟现实中,我们可以让人物在空间中自由走动。让他们能够以自己想要的方式(而不会受到电影制作人的限制)真正体验故事或事件。对我来说,这种自由走动以及拍摄后自由更改内容的操作是一件令人兴奋的事,因为我既是内容的创作者又是内容的观众。

为何体积捕捉如此有趣?

100 多年前,第一批电影得以制作 – 电影语言得以发展,对于创作者来说,这是一个非常激动人心的时刻。随着体积捕捉可及性的日益增强,我们再次处于一个讲故事的新时代。从书籍到广播、电影和电视,每一项新技术都改变了我们讲故事和看世界的方式,而体积捕捉也正朝着同样的方向发展。与其在电影中的运用相比,体积捕捉与更复杂的故事驱动型游戏有着某种相同之处 – 它是由内容创作者和观众之间的协作来驱动的故事。如果我可以选择我所看到的场景,那么我便可以以我选择的方式体验故事。想象一个场景,一家咖啡店。每张桌子都有人。我可以观察旁边的年长妇女,观察书的封面上神秘的描摹字母。她在桌子上放了一个笔记本,里面夹满了纸和仔细标记的标签。我想知道她在做什么,以及为什么这样做。或者,我也可以参与我对面的交谈 – 他们正在努力弄清楚一些重要的事情。我可以选择离开咖啡店,跟着外面溜狗的人沿街行走。这些场景可能是现实中的故事,只不过经过了创作者的精心策划,以便向我们展示有关其他人生活体验的一些新鲜事。在圣丹斯进行的英特尔实感体积捕捉演示

我将体积式电影的未来视为我们可以体验到的全新的现实。在《星际迷航》中,您可以在桥上的每个位置观看动作,并加入远征队执行远征任务。您可以站在战场上体验史诗般的战争电影。身为人类的我们,总是对不同于自己的世界浮想联翩。我们可以了解彼此的世界,我们可以将其展示出来,但却不能在其中自由漫步,除非是在梦里。这种情况就要发生改变了。

常见技术问题解答

问:你们使用的是哪款深度摄像头?我们使用的是英特尔® 实感™ D435 深度摄像头。这款摄影头拥有广域视野,使我们能够捕捉到所有令人惊叹的舞蹈动作。这款摄影头的深度传感器还具有全局快门 – 这意味着它可以同时捕捉一帧中的所有像素,而非使用卷帘快门(这种快门可以捕捉连续流中的像素)– 它在记录快速移动(如舞蹈演员)的物体时可能会产生伪影。问:你们使用了几个摄像头?是如何布设的?我们使用了 4 个摄像头,在距离地面 4 英尺高度的浅弧面上等距布设。借助该装置,我们可以围绕参与者进行 180° 捕捉。在垂直方向上,它可以大致从膝盖高度到远高于头部的范围内捕捉人物形象。每个摄像头均与由英特尔酷睿 i7 驱动的 PC 相连以记录数据,然后将所有数据自动传输至第五 PC 以进行同步。我们还使用了商用级闪光装置来发出开始和结束捕捉的信号,这样我们就能够使用数据尖峰来确保我们的摄像头画面正确同步。我们还使用了硬件同步电缆(有关更多详情,请参阅该白皮书 – NEED 链接)以确保同时捕捉各帧。问:进行 360° 全景体积捕捉时需要多少个摄像头?很大程度上取决于您要捕捉的内容。每个摄像头均具有 85.2° x 58° (+/- 3°) 的视野 – 即水平 x 垂直。为了捕捉到没有数据漏洞的图像,您需要确保要捕捉的区域均不会被摄像头所遮挡。如果摄像头因处于其他物体背后而无法“看到”特定位置,便无法捕捉该位置的数据。如果您看看我们捕捉的一些图像,您就会看到:因为我们只用了 4 个摄像头,所以,有时手和手臂等会挡住手后面的人。虽然我们的深度摄像头表现非常出色,但其无法穿透物体进行记录。要获得 360° 全景,您可以先用 8 个摄像头进行测试,在参与者周围呈圆圈状布设,然后,如果发现特定位置存在遮挡,则添加更多的摄像头。问:为何图像边缘周围会有如此多的噪声,为何拍摄的画面如此模糊?正如您通常所想的那样,我们拍摄的并不是电影。我们正在捕获所谓的点云 – 我们场景中每个体素的一组位置数据。每个点也具有与之相关的颜色数据。虽然我们可以将该数据转换为多边形网格并获得更平滑的模型,但捕捉方式固有的特性将始终会伴有一些噪声。图像边缘的噪声主要是因为我们没有使用全阵列式摄像头来环绕人物 – 每个体素都存在某种程度的不确定性,所以,用于捕捉特定区域的摄像头越多,我们对体素的正确放置就越有信心。图像边缘的噪声只会反映一些较低的杂散置信点。如果使用更多的摄像头,或在后期处理和优化捕捉的图像上花更多的时间,我们就能消除噪声,获得更精确的输出效果。问:是否可以在户外使用这套捕捉系统?进行外景拍摄?是否存在其无法准确捕捉的色彩?摄像头是否会相互干扰?捕捉深度的方法有很多,而且它们都存在着不同的优点和缺点。有些捕捉方法在明亮的日光下实施起来很困难,因为太阳四周有过多的红外光线。它们也会受到其他红外源(如其他深度摄像头)的干扰。有些深度捕捉系统需要使用很多摄像头进行复杂的设置,因此难以用于外景拍摄,或在现场表演中使用。有些捕捉系统很难捕捉黑色,或正确捕捉深色毛发 – 颜色非常深的物体经常会呈现一片空白,没有深度信息。我们的立体深度摄像头不会受到上述任何问题的困扰 – 对我们来说,所有红外辐射都是反映我们场景的有用信息,还可帮助我们更好地捕捉黑色物体。由于我们的摄像头非常小巧,所以其也非常便携,并且在外景拍摄时也很容易设置。问:你们使用的是什么软件?我们使用的是改良版英特尔® 实感™ 检视器软件 – 我们所有的软件都是开源的,而且很容易根据需要进行修改。我们还使用游戏引擎 Unity 进行一些后期处理工作。对我们来说,将数据导入 Unity 后,便可以轻松调整录制内容,例如,通过在重要动作区域周围使用边界框,我们可以忽略该区域之外的任何点。由于一些人会有非常大胆且富有戏剧性的动作,该操作使自定义输出变得轻松自如。然后,我们将生成的图像截图并使用 Sketchfab 进行共享,该网站具有内置于浏览器和社交媒体平台的出色播放功能。然后,如果人们愿意,我们也可以让其下载自己的模型。问:这些文件有多大?获得所有数据后,你们会如何处理?在 300 多次(每次大约 5 秒)捕捉过程中,我们捕捉了 875 千兆字节的数据。说到如何处理创建后的捕捉数据,真的没有任何限制。根据捕捉数据的方式,您可以轻松进行修改 – 添加自定义纹理和着色器、将其加入不同的环境、将其放入虚拟现实体验中、允许人们以有趣的方式与模型进行直接互动,或将其用于 2D 电影,您可以在其中四处移动模型。我们已经创建了这项技术,现在,我们需要您作为一名创造者来开创新的使用方法。了解有关英特尔实感 D400 系列深度摄像头的更多信息。

blank