仅复制钢琴演奏视频的AI

华盛顿大学的研究团队开发了一种AI，该AI通过查看直接在键盘上方弹奏的钢琴的视频来再现声音。

为了通过观看没有音频的视频来再现音调，必须首先记住键盘上的哪个键可以再现哪个音高。然而，如果无法详细分析击打的强度或触摸的长度，则不可能通过演奏来再现表现力。这款名为Audeo的AI通过将音高，音高和强度，声音长度和强度等从细微差别转换为数字合成器可以解释的形式来再现性能。

目的是重现奥迪尚未看过的视频，以播放与原始歌曲相同的高品质音乐。由于在Audio上显示，解释和播放了第一段视频，因此研究小组确认了SoundHound应用的原始歌曲识别率达到86％，该应用从嗡嗡声中搜索原始歌曲。最初，视频语音的识别率为93％。但是，对于7％的差异，期望进一步的研究来减少误差。

研究小组希望这项研究将提供与音乐互动的新方法。例如，将来，可以通过使用虚拟钢琴相机拍摄人的手部动作来简单地现场演奏奥迪。此外，奥迪还可以通过将相机放置在真实的钢琴上，以新的方式帮助钢琴课的学生学习演奏。如果奥迪通过诸如变焦之类的视频通话识别出相反的视频，并且使扬声器上播放的声音非常接近，则即使由于以下原因无法直接面对学生，也可以教授详细的演奏技巧而不会发出很大的声音。电晕19灾难。 。相关信息可以在这里找到。