lswcap
Transformer MR 是一种 AI 系统，它可以从相机拍摄的图像中检测并去除汽车和人等物体，并实时替换为 CG 模型。
这项技术由杜伊斯堡-埃森大学、苏黎世技术大学和汽车制造商保时捷 AI 团队联合宣布，增强现实技术的应用有望实现，因为可见物体可以被当场编辑。
Transformer MR 是一种从摄像机拍摄的视频中实时去除物体并用预先准备好的 CG 模型替换它们的技术。识别物体和追踪物体运动这两个过程是实时同时进行的。它是一种结构，通过识别对象并根据背景保留剪切位置，显示与对象移动相关联的 CG 模型。
处理后的图像显示在PC或智能手机等用户客户端上，但Transformer MR的主要处理在后端服务器上完成。为了将数据传输到云端，据说运行Transformer MR需要4G以上的网络。
替代 CG 模型从 utt 加载。例如，拍摄在 iPad 上行驶的汽车的照片。一辆汽车在你面前行驶，但在 iPad 上，汽车被一辆类似 SF 的汽车取代。走在前面的女人和从里面跑的汽车分别变成了机器人和科幻车辆。也可以用熊代替人类。因为是实时处理的，所以可以当场更换CG模型。
保时捷 AI 研究员 Mohamed Kali 指出，姿势检测可以作为 Transformer MR 的重点之一。能够进行姿势检测意味着，例如，当找到一个人时，可以识别身体的关节，并将CG模型运动应用于目标模型。使用该系统，可以在户外和没有特殊设施的地方，用虚拟角色CG模型代替演员的动作进行直播。
但是，目前存在技术限制，因为它需要大量计算才能以大分辨率运行 Transformer MR。该演示是一个 512×512 像素的小视频，因此您可以忽略流量。视频帧率约15 fps，延迟50到100毫秒，替代CG模型也不是最好的质量。它仍处于发展阶段。
保时捷参与这项技术开发的原因是为了改善乘客和驾驶员的体验。未来，说明Transformer MR可以用来娱乐堵车的人。保时捷还在开发一种名为 SoundRide 的系统，该系统可检测周围景观的变化并在驾驶时播放适当的音乐。相关信息可以在这里找到。
Add comment