Facebook深度感测技术为“智能眼镜”注入灵魂VR

分享到:

前不久Facebook公司表示将结合VR(虚拟现实)、AR(增强现实)技术以及Essilor的先进镜头,在明年发布其第一副智能眼镜,并基于此开发一系列软硬件生态,从智能硬件的角度使得用户沉浸在数字环境中,体验全新的VR与AR。

虚拟现实技术涉及三位体感信息,包括距离和深度,目前市场上已经有许多用于距离和深度感测的技术,如立体三角测量技术、TOF技术等。其中三角测量技术是利用两个不同的照相机对物体成像,并使用两张图像中的对应点来确定到物体的距离。TOF技术通过利用发射激光脉冲测量发射和反射激光脉冲之间的飞行时间,以计算反射激光脉冲的物体的深度。然而这些技术都会受到它们所在环境的限制,如TOF技术在近距离的环境中难以解决短时间的脉冲传播问题。

基于此,Facebook公司在前不久公布了一项名为“结构光深度感应”的专利(专利号:US20200074651A1),申请人为Facebook技术公司。

图1 智能眼镜示例图

图1是发明中提到的智能眼镜的示例表示,图中包括照相机和生成用于近眼深度感测的相移干涉图案波导。镜头121包括波导150,可引导显示器130产生图像光。显示设备可为LCD、OLED、micro-LED显示器等。镜片121在用户看到透明光的情况下,可促进增强现实或混合现实,用户不但可查看来自她周围环境的场景光,还可以通过波导接收来自引向眼睛的图像光150,从而具有光学组合器的作用。

图1中的多个波导160相互耦合,接收来自诸如红外光、激光器等相干照明光170,并将其作为第一和第二光投射到眼箱区域,并产生干涉图案,相干照明光可以是红外光和170的光源。相机147定位为从眼罩区域接收红外图像,该红外图像由镜头121中包含的“热镜”组合器反射,并将场景光线图形传递给佩戴者的眼睛。另外,相机147可通过所匹配波长范围的光,并拒绝其他波长范围,通过将相机、波导和相干照明源置于同侧,可有助于佩戴者双眼的近眼深度感应。

图2 近距离深度感测流程图

图2展示了用于近距离深度感测的方法流程图,即感测30cm内的物体深度,并可用于确定眼睛凝视,捕获用户生物特征、分析各种运动场景等。首先由发射锥483在眼眶区域产生三种干涉图案,其中波导需将相干照明光进行投影,并提取第一、第二特征(605)。然后捕获由相机产生的干涉图案相对应的各个干涉图像(610),最终利用上述三干涉图像生成多个眼睛深度值,并进而生成眼睛的三维图像。另外,眼睛深度值或三维映射可用于追踪,并改变指向用户眼睛的显示图像,并利用多种模糊滤波算法对图像进行处理,为佩戴者用户提供聚焦提示。

简而言之,Facebook的这项专利以智能眼镜为载体,提出了一种光深度感测系统,可促进高分辨率近距离深度感测,同时三维深度映射可以用于视觉跟踪,相比于现有的ToF技术,该方法可提供更高的分辨率和深度映射,具有很好的应用价值。

Facebook紧随AR与VR技术发展的热潮,并不断研究能替代智能手机的智能眼镜,甚至是不同于现有IOS和Android的新型操作系统生态,智能眼镜在未来的智能终端领域如何发展,就让我们共同期待吧。

继续阅读
科技部:加强部署和大力发展以量子技术为特征的新一代高新技术

财联社报道,科技部表示,下一步,在十四五高新技术发展的规划布局上,科技部将按照加快形成新发展格局的战略要求,着力来解决高质量发展需要与科技创新能力不足的矛盾。

邬贺铨:5G技术很不成熟、运营成本极高!丁耘:5G用户体验存在着“假、哑、差”三个问题

据国内媒体报道,10月15日,2020年中国国际信息通信展览会期间,中国工程院院士邬贺铨在IMT-2020(5G)大会主论坛上发表题“5G商用一周年 产业创新再出发”的主题演讲时提到,目前5G还存在技术很不成熟、运营成本极高、不易消化成本等问题。

采埃孚激光雷达技术如何助力无人驾驶

据悉,德国供应商ZF Friedrichshafen(采埃孚)与硅谷初创企业Aeva周二宣布,两家公司正合作研发用于自动驾驶汽车的激光雷达传感器。

特斯拉的智能充电系统

据特斯拉公司发言人透露,特斯拉今年将在德国开设至少一个位于市中心的快速充电站点。他强调,特斯拉仍相信在工作场所和住宅的普通充电装置是主要的方式,但希望提供一个更快的选择。

今年开工建设,2025年达产,阿里云华东智能算力中心落户上海金山

10月16日,上海市金山区人民政府与阿里巴巴(中国)有限公司关于阿里巴巴金山园区项目合作协议签约仪式在上海市政府举行,这是继阿里巴巴、蚂蚁集团与上海第三次签约落“沪”三总部三中心后,持续推进数字新基建的重要举措。