英特尔® 实感™ D400 产品家族介绍

撰稿人:Anders Grunnet-Jepsen、John N. Sweetser、John Woodfill

“深度摄像头”是能够以人类的感知方式捕捉现实世界的摄像头 – 无论是在颜色还是“范围”方面。能否测量场景中任何已知点的距离(亦称为“范围”或“深度”)是区分深度摄像头与传统 2D 摄像头的必要特征。人类拥有两只眼睛,能看到彩色的世界,拥有一个大脑,能将这两幅图像的信息融合在一起,通过所谓的立体深度感测形成对颜色和深度的感知。这可以让人类更好地理解体积、形状、物体和空间,并在 3D 世界中自由走动。

图 1. 深度摄像头的输出。左:黑色地毯上一个纸板箱的彩色图像。右:物体深度图,通过人工添加颜色描绘深度范围

图 2.
图 1 中是捕捉到的箱子的 3D 点云。左图显示了没有颜色纹理的 3D 网格,右图显示了应用了图像颜色纹理的相同场景。顶部和底部是通过旋转视角所看到的不同视图。请注意,这是一个单次捕捉的图像,而不是简单的从不同视角拍摄的照片。黑影是拍照时因遮挡而缺失的信息,即箱子的背面当然是不可见的。

英特尔® 实感™ 立体深度摄像头 D400 家族

多年以来,英特尔一直在基于几乎所有深度感测技术来开发深度感测解决方案,而且所有技术都有其技术权衡。在所有深度感测技术当中,立体视觉可以说是用途最广和最强大的技术,其可以应付各种各样的用途。虽然人们可能会认为立体视觉是“过时的”技术,但事实证明,立体深度感测过去所面临的许多难题(算法不够好、容易出错、计算深度的速度太慢而且成本高昂,以及使用一段时间后系统会不稳定)现在已被一一解决。通过创建深度感测定制芯片 – 英特尔实感图像处理器 D4 和 D4m,使用一种定制的半全局匹配算法变体使计算速度超过 3600 万深度点/秒,从而实现帧速率 >90fps,在一个 6.3 x 6.3mm 封装大小的芯片内(英特尔® 酷睿 i7 处理器的一小部分)使用低于 22nW/深度点,搜索 128 个匹配像素,英特尔大大加快了计算立体深度的速度。其目标是使计算机立体视觉能够实现在手机、无人机、机器人和监控设备等小型消费电子设备嵌入所需的性能水平(功率、热量、分辨率、帧速率、尺寸、成本等)。鉴于这个目标,英特尔发布了其第二代 ASIC – 英特尔实感视觉处理器 D4,该处理器有着显著的进步,特别是在任何有源系统(辅助立体、结构化 或 ToF)的投射光被掩盖或吸收的环境中、在室外或易于吸收红外光线的深色地毯上,如图 3 所示。

图 3. 示例场景将上一代 LR200 模块视觉处理器性能与新版 D410 模块和视觉处理器性能进行了对比,显示了新一代芯片的巨大改进。

英特尔实感 D400 产品家族为立体系统提供了更多的设计灵活性。图 4 显示了几种不同深度传感器设计的例子,这些设计全部使用相同的英特尔® 实感™ 视觉处理器 D4。为何使用这么多不同的设计?关键在于,性能可在不同约束条件下得到优化,因为立体系统具有良好的可定制性和适应性,并且可以从 COTS 的大型光学系统行业中获益。从工业设计角度考虑,这也是非常重要的。例如,对于某产品,如果长距离和高质量至关重要且对价格不太敏感,则可以使用更高性能的 CMOS 传感器(更高的动态范围、更高的灵敏度和更高的质量)以及更好和更大的光学器件,以获得高质量的输入图像。在另一个极端情况下,成本和尺寸至关重要,则可以使用小基线、廉价的消费级 CMOS 传感器和塑料光学器件。

图 4. 一系列英特尔® 实感™ D400 摄像头模块,全部使用相同的 ASIC。

一般来说,主要设计参数是 1. 基线;2. CMOS 选择(分辨率、全局快门与卷帘快门、HDR、颜色与灰阶);3. 视野 (FOV);4. 镜头质量。英特尔还提供了采用特定设计参数配置的已校准深度模块,我们认为这些模块将满足一系列用例。此外,我们还提供了 2 个随时可用的 D415 和 D435 深度摄像头,可供开发人员快速评估这项新技术。该产品家族是满足多重空间约束和性能要求的极佳选择,一般来说,在设计修改方面非常灵活,可针对尺寸、电源、成本和性能等设计空间进行修改。请参阅英特尔实感 D400 系列摄像头的规格及更多信息。

blank