人工智能生成的实时3D全息图

文章 (43) 2021-04-28 17:09:03

事实是,这项创新技术已经超越了银幕和科幻小说,并且由于人工智能的发展,目前正在成功开发。直到今天,虚拟现实耳机还没有降低电视屏幕和计算机作为观看视频的参考设备。一个理由?虚拟现实会使用户感到难过。当用户盯着固定距离的2D屏幕时,虚拟现实会产生3D屏幕的错觉,从而导致恶心和眼睛疲劳。实现更好的3D可视化的解决方案就是全息图,全息图是为数字世界重新设计的60年历史的技术。

全息图 很好地表示了我们周围的3D世界,因为它们提供了可根据每个观看者的视觉位置进行调整的透视图。

研究人员花了多年时间研究如何生成这些计算机全息图。但是,该过程非常复杂,因为他们需要一台可以执行物理模拟的超级计算机。

如今,借助已开发的新技术和数字领域的新发现,麻省理工学院(MIT)的研究人员 在索尼的协助下,几乎可以使用基于光谱学的方法立即生成全息图。深度学习。

“人们以前认为与现有的消费类硬件产品,这是不可能做到实时3D全息计算,说:”梁诗,研究的主要作者,在电气工程和计算机科学系的博士生。(EECS)来自麻省理工学院。

这种新方法的发展被称为张量全息法,它允许创建 虚拟现实,3D打印,医学成像等的全息图。

借助深度神经网络实现实时3D全息
首先,应该注意的是,全息图背后的科学与照片的科学不同。后者编码每个光波的亮度,而前者编码每个光波的亮度和相位,从而提供更真实的图像。

全息生成的由计算机的目标到模拟的光学结构,但问题是该方法是一种计算辛苦的工作。这是因为场景(或图像)中的每个点都具有不同的深度,因此无法将相同的操作应用于所有对象。

这一困难导致史志强的团队采取了另一种方法:让计算机自行学习物理。

为此,他们使用了深度学习,这使他们可以加快计算机生成的全息图的速度,从而可以实时生成全息图。

科学家基于一种处理技术设计了一种工具,该工具使用可训练的张量链模拟人类处理视觉信息的方式,即卷积神经网络。训练这些类型的网络需要大量高质量的数据。

因此,研究小组设计了一个自定义数据库,其中包含四千对计算机生成的图像。每对都将一张图像(包括每个像素的颜色和深度信息)与其对应的全息图进行匹配。

为了在新的数据库中创建全息图,研究人员使用了具有复杂且可变的形状和颜色的新场景,像素深度从背景到前景均匀分布,并且基于物理原理进行了新的计算以管理遮挡。这种方法产生了逼真的训练数据。

随后,该算法投入使用。他学习了每对图像并修改了参数以进行自己的计算,从而逐步提高了创建全息图的能力。完全优化的网络运行速度比基于物理的计算快几个数量级。

这项研究表明,张量全息术有可能在几毫秒内从具有深度信息的图像中创建全息图,这些图像由典型的计算机生成图像提供,并且可以通过多相机设置进行计算。这正是为实时3D全息图铺平道路的突破。

值得注意的是,实时3D全息技术可以增强从虚拟现实到3D打印的众多系统。

由Shi领导的团队强调,新系统可以帮助将虚拟现实观看者沉浸在更真实的场景中,同时消除长时间使用虚拟环境所带来的视疲劳和其他副作用。

3D全息技术还可以推动体积3D打印的发展,因为该技术比传统的逐层打印更快,更准确。

THE END

发表评论