lswcap
开发了一种称为3D Ken Burns效果的技术，该技术使用神经网络来创建图像，看起来相机移动的时间点的位置似乎已更改了一张图片。
使用此效果，可以创建一个图像，就好像照相机正在从原始图像接近。与简单的图像放大不同，远处的物体不会放大背景，而附近的物体会被明显放大。另外，照相机的高度在三维空间中变化。
如果将2D Ken Burns（这是一个简单的放大效果）与3D Ken Burns进行比较，您会看到它是一个简单的图像放大，因为2D会扩展到背景。另一方面，在3D模式下，背景的位置几乎不变，并且前面的对象被放大，并且看起来会改变为视点的高度，因此它看起来像是无人机在航空摄影中拍摄的图像。应用3D效果所需的时间为几秒钟。使用此效果，您可以创建看起来像照相机快来的视频。
3D Kenburn效果使用透视原理将前景放大为大于背景。研究团队使用了在虚幻引擎4市场上发布的32个虚拟3D空间来拍摄134,041个场景，例如室内，市中心，郊区和自然风，以及3种类型（VGG-19，Mask R-CNN，优化网络）。它被放置在神经网络上以了解图像中对象的深度。
通过训练，三种类型的神经网络都可以知道图像点组和每个点的深度。 3D Kenburn效果与似乎已将相机移动到深度值的图像分开计算对象的放大率。另外，由于在放大过程中有时会出现物体破裂或变形的情况，因此研究小组开发了一种校正系统，该系统可以根据情况自动应用。
论文的主要作者西蒙·尼古拉斯（Simon Nicholas）在波特兰州立大学主修计算机视觉和深度学习，并在Adobe附属研究所Adobe Research实习期间撰写了这篇论文。共同作者还是Adobe研究人员。他们正在审查3D Kenburn效果代码和数据集的发布，但尚未获得Adobe的批准。相关信息可以在这里找到。
Add comment