中国科商网
环球观焦点:瞳孔反射重建 3D,试验场景人人可构建!网友:我焯,黑科技我喜欢
发布日期: 2023-06-20 13:01:38 来源: 量子位

你的眼睛已经暴露了一切!


(资料图片仅供参考)

现在,通过眼睛瞳孔反射的图像,就能直接实现 3D 全景重建。

这不是电影中的高科技情节,而是已被验证的真实实验结果。

当我们看着别人的眼睛,我们也会捕捉到从角膜反射的光。就比如使用相机来拍摄别人眼睛,实际上我们也可以将他们的眼睛视为一组镜子。

通过在合成场景中放置眼睛模型,利用眼睛的反射就能实现全景重建。

对此网友惊呼:我焯!太牛了!蝙蝠侠的黑科技,我喜欢。也一些网友开始担忧,觉得这项技术会让自己的隐私暴露。瞳孔反射重建 3D,实验场景人人可构建

人类眼睛的反射性,本质就是一个被低估的信息来源。

最近,几个美国马里兰大学的学生搞了个实验,通过对移动人物的眼睛进行成像,发现可以利用眼睛反射恢复三维场景。并将实验结果发布论文,标题为Seeing the World through Your Eyes

因为我们的眼睛在头部自然移动时会捕捉到多个视角的信息。

所以,实验团队基于这点,将经典的成像方法(比如照相机)和 NeRF(神经辐射场)技术结合,通过使用静止相机,从头部移动下的眼睛图像中提取多视角线索。

但仅仅是通过这种方式,不足以直接进行建模。而且根据人体眼睛构造,在眼睛图像中的重建过程中还需要处理 " 眼球的球面形状、虹膜的反射性质以及角膜的折射效应 " 等因素。

为了解决这些个问题,实验团队大胆提出一种基于深度学习的方法。

首先,我们训练了一种神经网络,用来预测眼睛图像中的视角。然后,我们利用这些预测结果来建立眼球的形状模型,并通过反射和折射原理来提取眼球表面的反射信息。

接着,我们使用多个不同视角的眼睛图像,来还原场景的三维结构,并通过 NeRF 技术 ( 神经辐射场 ) 估计每个点在场景中的亮度。

通过上面方法,就能够从眼睛图像中恢复出观察者所见的全三维世界。

看过实验结果,是不是有一种wtf的感觉?

先别惊讶,实际上这场实验的训练结果,都是基于这样的场景得出的。

一位坐的笔直的试验对象,面前是一个专业相机、一个大型卡比玩偶,还有两个巨亮的聚光灯。

研究团队通过 " 精心 " 布置,基于上面这种场景来做实验,然后得出结论:可以用瞳孔反射实现三维建模。

为了证明技术理论具备普适性,研究团队也随机从互联网挑选了实验对象。比如,他们曾试图通过 Miley Cyrus 的 MV 来识别其眼神中的图像。

结果就是,因为视频质量,无法重建。

整个技术是基于这种 " 特定 " 场景下实现的。看完实验过程的网友表示:试验不错,但实验结果与实际结果从来都是两回事。并直言看到这个骚操作,就和用(脑洞大开)。震惊之余也有部分网友理性表示,不用大惊小怪,这种试验操作很多研究团队早就开始搞了。并非第一次

从瞳孔反射重建图像在计算机视觉领域一直属于热门话题,类似的试验其实早在 20 年前就已开始。

2004 年哥伦比亚大学就发布了一篇论文The World in an Eye

探讨了通过分析角膜的几何模型,可以从眼睛图像中获取人物周围的广角视图和注视点,并计算物体的三维结构,用于恢复眼球里的图像。

纽约大学心理学系教授 Rob Jenkins 也曾在 2013 年发布论文,表明从照片中人物的瞳孔可以获取更多信息,比如照片拍摄者和旁观者的影像,可以用于案件侦破锁定嫌疑人。虽然已有不少类似的研究,不过以往的研究更多关注如何从眼睛图像中恢复整个全景图像。

这次试验的创新点在于,通过一些方法可以很好地恢复观察者所见的全景三维世界,不局限于重建单个全景环境。

网友:CSI 重现

无论过程怎样,结果才是最重要的,尤其对一众吃瓜网友来讲。

看过瞳孔 3D 建模后,大量网友表示,CSI 犯罪调查现场的场景得以实现了!

而剧情里,探员正是通过放大和增强模糊的监控视频,看到受害者角膜有凶手的倒影,案件找到突破口。

事实上这种骚操作一直备受犯罪类题材影视剧青睐,最早可以追溯到 1948 年的 " 反案记 " ( Call Northside 777 ) ,而真正引入计算机分析瞳孔视图技术的电影,当属 1982 年雷德利 · 斯科特执导的经典电影《银翼杀手》。

想象力推动着科技的发展,而科技的进步又为我们的想象力提供了更广阔的空间。

以前电影中的黑科技,现在也不仅仅局限于理论层面。

回到论文本身,即使研究也有一些瓶颈,但不可否认,这些实验在恢复场景的几何形状、表面细节方面都取得了很好的效果,而且在人脸识别和 VR 等应用中也有不少价值。

你觉得这个实验如何呢?

论文传送门:

https://arxiv.org/abs//2306.09348

参考链接:

[ 1 ] https://twitter.com/sterlingcrispin/status/1669781912758648832

[ 2 ] https://world-from-eyes.github.io/

关键词:

相关内容