使用单张照片创建水流图像的深度学习模型

美国华盛顿大学的一个研究团队开发了一种技术，可以使用深度学习从单张照片中创建图像，而无需参考在同一地点拍摄的视频。

机器学习在图像增强领域已显示出潜力。例如，一家名为 My Heritage 的公司已经在研究一种为旧肖像制作动画的技术。与此同时，华盛顿大学研究团队开发的一种新方法专注于自然界中水、云和烟雾的流动。

技术原理如下。首先，深度学习模型中的痛点是通过读取大量数据来训练的。在这种情况下，任何表现水流运动的视频都是可能的，例如河流、瀑布和大海。只有代表水流的视频的第一帧被剪掉，模型用模型预测下一个水流运动。此外，据说深度学习模型通过将预测结果与实际视频进行比较来一点一点地学习水的运动。

学习到这一点后，如果输入一张图片，模型会以每帧像素为单位预测水的运动，并创建一个短视频。但是，这里的一个问题是，真实的河流和瀑布是不断流动的，因此移动像素位置以再现水流运动需要保留新的水流图像，以免水流空其原始位置。因此，研究团队开发的技术（对称喷溅）可以预测水随时间推移的行为，同时预测水随时间推移的运动方式，从而可以创建逼真的循环通过巧妙地混合两个图像。做。

据说使用这个模型实际制作视频的结果是不同的。有一些完美地复制了真实的东西，但也有一些感觉有点奇怪。原因之一是深度学习模型根本没有考虑水流和烟雾对光的影响。即使是最轻微的不自然运动，水面上光的复杂反射也会产生不协调的感觉。隐藏或扭曲您身后风景的烟雾或雾气也是如此。

但是，如果将更多的训练视频读入深度学习模型中，这是一个可以很快解决的问题，因此似乎可以使用智能手机上已经安装的图像编辑功能进行处理。相关信息可以在这里找到。