Google“通过稀疏推理实现高速神经网络”

据报道，谷歌通过加速移动机器学习软件库TensorFlow Lite和神经网络推理优化库（XNNPACK）大大提高了推理速度。

稀疏是一个精明的词。在解释大数据等方面，在许多情况下，整个数据都很大，但是有意义的数据只占一小部分。稀疏建模用于提高MRI，X射线和CT分辨率，并以一种仅选择和分析具有这些特征的有意义数据的方法来提高三维结构计算的速度和精度。

谷歌最新宣布的用于移动设备的机器学习软件库，TensorFlow Lite和神经网络推理优化库已经更新，并且实现了新的稀疏集合片段。通过新的更新，可以显着提高推理速度，从而可以检测要分析的模型是否稀疏。

在视频会议应用程序Google Meat的实时处理中，与现有模型相比，稀疏模型实现了更少的处理时间和更高的FPS。根据Google的说法，它通过将70％的尺寸缩小，同时又保持了对象的图像质量，成功地将处理速度提高了30％。

同样，在手形检测模型（MediaPipe Hands）中，我们通过稀疏将速度提高了50％。在现有模型中，处理速度约为60ms，但是稀疏模型的速度不到25ms，这比现有模型快一点。

谷歌表示，稀疏化是改善神经网络CPU推理的一种简单而强大的技术，因此它将在未来继续进行这种研究。相关信息可以在这里找到。