根据Google AI研究团队在档案(arXiv)(考试前论文发布网站)上发表的一篇论文,它使用新开发的AI成功创建了仅包含视频第一帧和最后一帧的中间帧。
Google Research的研究人员,李云鹏,Dominic Doblek和Marco Tagliasacchi开发了一种AI,该AI可以创建仅包含视频第一帧和最后一帧的合理视频中间帧。 。开发的AI由指向动物视觉皮层的神经网络组成,并由2D卷积图像解码器,3D卷积生成器和视频生成器等元素组成。首先,图像解码器将第一个和最后一个帧映射到潜在空间,并且潜在表示生成器学习输入的帧信息。最后,视频生成器生成中间帧。
研究团队测试了使用三个样本开发的AI性能。该样本是一个16帧的短图像,每帧的分辨率为64 x 64像素。仅从该视频中提取了第一帧和最后一帧,然后要求AI创建中间的14帧。
AI对每个样本执行了100次建模并修改了模型,重复相同的过程约10次。实验数据表明,使用GPU GPU NVIDIA Tesla V100花费了大约5天的时间。当比较AI创建的帧和所得三个视频中的实际帧时,从实际图像中提取的帧与AI创建的帧之间没有太大差异。
研究小组说:“想象一下一个可以使用漫画框架自动创建动画的系统,它肯定会彻底改变动画产业。”尽管还不具备通过将漫画框架放入AI中来创建动画的能力,但是AI的进一步发展将有助于动画行业的简化。相关信息可以在这里找到。