谷歌AI研究人员发布了两个衡量深度学习网络产生的音视频质量的新指标，即弗雷歇音频距离(FAD)和弗雷歇视频距离(FVD)。指标已被证明与手动质量评估高度相关。
在最近的一篇博客文章中，软件工程师Kevin Kilgour和Thomas Unterthiner描述了他们团队所做的工作，这些工作是基于之前对测量神经网络生成的图像质量的研究。这些团队展示了他们的新指示器如何分别检测添加到声音或视频中的噪音，以及如何通过手动评估声音或视频的质量来跟踪指示器。FAD通过对失真音频样本对的序列进行排序来评估，选择与人类判断的相关性为0.39。通过对深度学习模型生成的视频对进行排序，类似地评估FVD。根据使用的生成标准，它与人类排名在60%到80%之间是一致的。
在某种程度上，深度学习模型的成功是由大规模高质量数据集(如ImageNet)的可用性驱动的。这些数据集也提供了评估模型的“基本事实”。深度学习在生成新图像方面的最新流行应用提出了一个新问题：如何衡量输出质量？由于这些网络生成的图像或其他数据没有“地面真实性”答案，因此无法应用信噪比或均方误差等通用指标。
因为目标是创建对人类来说看起来或听起来真实的输出，所以人类法官可以对数据进行分级，但这既不可扩展也不客观。GAN的发明者提出的初始指数是初始分数(IS)。通过将预先训练的事件图像分类器应用于图像并计算结果统计来计算该指数。这个度量“与训练生成的模型的目标密切相关”，并且已经被证明与人类对质量的判断高度相关。
但是，初始得分指标确实存在一些不足；特别是，它对所使用的基础事件模型的变化很敏感。Unterthiner等人在奥地利约翰尼斯开普勒大学的LIT人工智能实验室开发了弗雷歇起始距离。FID使用事件模型的隐藏层来计算输入图像的嵌入，而不是使用事件模型的分类输出。计算一组生成图像和一组真实世界(或基线)图像的嵌入。将得到的数据集视为多元高斯分布生成的数据，利用弗雷谢特距离对两种分布进行比较。与IS相比，FID优于IS的一个优点是，当图像中加入噪声时，FID会增加，而IS可能保持不变甚至会降低。
谷歌的新索引扩展了这一思想，即嵌入生成的数据，并将统计数据与基准数据进行比较。对于FAD，该团队使用VGGish来计算嵌入，而对于FVD，它使用充气的3D Convnet。为了验证度量的有效性，研究人员计算了通过向基线添加噪声而创建的数据集的度量值。预计随着噪音的增加，分数会增加，这是真的发生了。该团队还将他们的测量结果与人类的评价进行了比较，发现了他们的测量结果与人类判断之间的相关性，他们的新测量结果比其他常用的测量结果更符合人类判断者的共识。
