科技食谱

视角偏移好像相机在移动一张照片?

开发了一种称为3D Ken Burns效果的技术,该技术使用神经网络来创建图像,看起来相机移动的时间点的位置似乎已更改了一张图片。

使用此效果,可以创建一个图像,就好像照相机正在从原始图像接近。与简单的图像放大不同,远处的物体不会放大背景,而附近的物体会被明显放大。另外,照相机的高度在三维空间中变化。

如果将2D Ken Burns(这是一个简单的放大效果)与3D Ken Burns进行比较,您会看到它是一个简单的图像放大,因为2D会扩展到背景。另一方面,在3D模式下,背景的位置几乎不变,并且前面的对象被放大,并且看起来会改变为视点的高度,因此它看起来像是无人机在航空摄影中拍摄的图像。应用3D效果所需的时间为几秒钟。使用此效果,您可以创建看起来像照相机快来的视频。

3D Kenburn效果使用透视原理将前景放大为大于背景。研究团队使用了在虚幻引擎4市场上发布的32个虚拟3D空间来拍摄134,041个场景,例如室内,市中心,郊区和自然风,以及3种类型(VGG-19,Mask R-CNN,优化网络)。它被放置在神经网络上以了解图像中对象的深度。

通过训练,三种类型的神经网络都可以知道图像点组和每个点的深度。 3D Kenburn效果与似乎已将相机移动到深度值的图像分开计算对象的放大率。另外,由于在放大过程中有时会出现物体破裂或变形的情况,因此研究小组开发了一种校正系统,该系统可以根据情况自动应用。

论文的主要作者西蒙·尼古拉斯(Simon Nicholas)在波特兰州立大学主修计算机视觉和深度学习,并在Adobe附属研究所Adobe Research实习期间撰写了这篇论文。共同作者还是Adobe研究人员。他们正在审查3D Kenburn效果代码和数据集的发布,但尚未获得Adobe的批准。相关信息可以在这里找到。