最新新闻
起亚电动SUV EV9升级,动力与软件得到全面提升 上汽大众新款SUV途岳正式上市,售价15.86-21.66万元 福特领衔投资45亿美元,将在印尼建立镍加工厂 主机厂召开座谈会,探讨国六B切换情况 特斯拉在墨西哥大举投资,助力其成为电动汽车大国 特斯拉推出版Giga啤酒,啤迷大喜过望 西安特斯拉中心车间揭秘,让你近距离了解制造 宝马、特斯拉等豪掷重金,墨西哥将成电动车大国 本田雅阁e:HEV亮相:能否成为雅阁救世主? 特斯拉中国首次败诉,需退一赔三 AI伦理员工大量裁减引发业界担忧,微软、谷歌等科技巨头被指责 AI过于强大,人类面临危险?马斯克、图灵奖得主呼吁暂停GPT-4模型后续研发 微软早期阶段将广告植入GPT-4版必应搜索 故意毁灭证据:美法庭对谷歌Play商店垄断诉讼开出罚单 元宇宙仍是未来,但实现需要时间——Meta重申在计算领域的地位 AI老板发出警告:无法解释的推理能力可能导致人类灭亡 监管机构开始对特斯拉Model X的问题展开调查 追溯OpenAI的历史,揭示其与马斯克的众多纷争 GitHub裁员,印度团队成最大受害者 微软与OpenAI强力结盟,共同致力于网络安全领域 AI视频素材来源不明,百度文心一言创作者面临版权风暴 OpenAI神秘CTO只有35岁,是ChatGPT之母 马斯克脑机接口公司开始寻找合作伙伴 推进人体试验 芝麻信用黑灰产生意:购买会员、薅羊毛可轻松提升信用分 比尔盖茨遭马斯克批评 AI 理解有限 AI越来越智能,你的工作还能保住吗?现实不容忽视 微软研究惊艳科学界:GPT-4能力接近人类,AI朝“天网”迈进? 推特泄露部分源代码,GitHub受命删除,安全问题引人担忧 谁在制造泰国游客流失的恐慌?真相揭秘 为何马斯克和OpenAI撕破脸了?马斯克为何实际控制被拒?
您的位置:首页 >综合动态 >

谷歌引入了人工智能生成的新的音频和视频质量指数

2021-11-06 04:02:45   来源:
导读 谷歌AI研究人员发布了两个衡量深度学习网络产生的音视频质量的新指标,即弗雷歇音频距离(FAD)和弗雷歇视频距离(FVD)。指标已被证明与手动质

谷歌AI研究人员发布了两个衡量深度学习网络产生的音视频质量的新指标,即弗雷歇音频距离(FAD)和弗雷歇视频距离(FVD)。指标已被证明与手动质量评估高度相关。

Google推出了AI产生的音频和视频质量的新指标

在最近的一篇博客文章中,软件工程师Kevin Kilgour和Thomas Unterthiner描述了他们团队所做的工作,这些工作是基于之前对测量神经网络生成的图像质量的研究。这些团队展示了他们的新指示器如何分别检测添加到声音或视频中的噪音,以及如何通过手动评估声音或视频的质量来跟踪指示器。FAD通过对失真音频样本对的序列进行排序来评估,选择与人类判断的相关性为0.39。通过对深度学习模型生成的视频对进行排序,类似地评估FVD。根据使用的生成标准,它与人类排名在60%到80%之间是一致的。

在某种程度上,深度学习模型的成功是由大规模高质量数据集(如ImageNet)的可用性驱动的。这些数据集也提供了评估模型的“基本事实”。深度学习在生成新图像方面的最新流行应用提出了一个新问题:如何衡量输出质量?由于这些网络生成的图像或其他数据没有“地面真实性”答案,因此无法应用信噪比或均方误差等通用指标。

Google推出了AI产生的音频和视频质量的新指标

因为目标是创建对人类来说看起来或听起来真实的输出,所以人类法官可以对数据进行分级,但这既不可扩展也不客观。GAN的发明者提出的初始指数是初始分数(IS)。通过将预先训练的事件图像分类器应用于图像并计算结果统计来计算该指数。这个度量“与训练生成的模型的目标密切相关”,并且已经被证明与人类对质量的判断高度相关。

但是,初始得分指标确实存在一些不足;特别是,它对所使用的基础事件模型的变化很敏感。Unterthiner等人在奥地利约翰尼斯开普勒大学的LIT人工智能实验室开发了弗雷歇起始距离。FID使用事件模型的隐藏层来计算输入图像的嵌入,而不是使用事件模型的分类输出。计算一组生成图像和一组真实世界(或基线)图像的嵌入。将得到的数据集视为多元高斯分布生成的数据,利用弗雷谢特距离对两种分布进行比较。与IS相比,FID优于IS的一个优点是,当图像中加入噪声时,FID会增加,而IS可能保持不变甚至会降低。

Google推出了AI产生的音频和视频质量的新指标

谷歌的新索引扩展了这一思想,即嵌入生成的数据,并将统计数据与基准数据进行比较。对于FAD,该团队使用VGGish来计算嵌入,而对于FVD,它使用充气的3D Convnet。为了验证度量的有效性,研究人员计算了通过向基线添加噪声而创建的数据集的度量值。预计随着噪音的增加,分数会增加,这是真的发生了。该团队还将他们的测量结果与人类的评价进行了比较,发现了他们的测量结果与人类判断之间的相关性,他们的新测量结果比其他常用的测量结果更符合人类判断者的共识。

免责声明:本文由用户上传,如有侵权请联系删除!