普林斯顿大学的研究人员开发了一种工具，用于标记用于训练人工智能系统的图像集中的潜在偏差。这项工作是纠正和防止人工智能系统中普遍存在的偏见的更大努力的一部分，这种偏见影响了从信用服务到法院判决程序的一切。
尽管AI系统中偏见的来源多种多样，但其中一个主要原因是从在线资源中收集的大量图像中包含的刻板印象图像，工程师利用这些图像来开发计算机视觉，计算机视觉是AI的一个分支，允许计算机识别人、物体和动作。因为计算机视觉的基础是基于这些数据集，所以反映社会刻板印象和偏见的图像会在无意中影响计算机视觉模型。
为了从源头上解决这个问题，普林斯顿视觉人工智能实验室的研究人员开发了一个开源工具，可以自动发现视觉数据集的潜在偏差。该工具允许数据集创建者和用户在使用图像收集来训练计算机视觉模型之前纠正表示不足或刻板印象的问题。在相关工作中，Visual AI Lab成员发表了现有方法的比较，可以防止计算机视觉模型本身的偏差，并提出了一种新的更有效的方法来缓解偏差。
第一个工具称为REVISE(揭示视觉偏差)，它使用统计方法检查数据集的三个方面：基于对象、基于性别和基于地理位置的潜在偏差或代表性不足。REVISE是一个全自动工具，它建立在早期工作的基础上，涉及到以一种需要用户更多指导的方式过滤和平衡数据集的图像。该研究报告于8月24日在虚拟欧洲计算机视觉会议上发表。
REVISE使用现有的图像注释和度量来评估数据集的内容，例如对象计数、对象和人的共现以及图像的来源国。在这些测量中，该工具可以显示不同于中值分布的模式。
例如，在一组测试数据中，REVISE显示，包括人和花在内的图像在男性和女性之间是不同的：男性经常出现在有花的仪式或会议中，而女性往往出现在舞台上或绘画中。(分析仅限于反映图像中出现的人的二重性的注释。)
计算机科学与专业副教授Olga Russakovsky说，一旦工具揭示了这些差异，“那么，这是一个完全无害的事实，或者是否有更深层次的事情正在发生，这很难自动化”。人工智能实验室的调查人员。Russakovsky与研究生安琪莉娜王和计算机科学副教授Arvind Narayanan共同撰写了这篇论文。
例如，REVISE显示，包含飞机、床和披萨的图像中的对象比其中一个数据集中的典型对象更大。这类问题可能不会永久保留社会刻板印象，但可能会在训练计算机视觉模型时造成问题。作为一种补救措施，研究人员建议收集飞机图像，其中还包括山脉、沙漠或天空的标签。
然而，计算机视觉数据集中缺乏全局区域的表示可能导致人工智能算法的偏差。与之前的分析一致，研究人员发现，美国和欧洲国家在图像来源国的数据集(按人口标准化)中所占比例过高。此外，REVISE还表明，对于来自世界其他地区的图像，图像的标题通常不是当地语言，这表明许多图像是由游客拍摄的，可能会导致某个国家/地区的视角偏差。
Russakovsky说，专注于物体检测的研究人员可能会忽略计算机视觉的公平性。她说：“然而，这种地理分析表明，在物体识别方面可能仍然存在很大的偏见和排他性，它将对不同的地区和人产生不平等的影响。”
合著者安琪莉娜王是一名计算机科学的研究生，他说：“直到最近，计算机科学中数据集收集的实践才得到彻底的回顾。”她说，大部分图片都是“从网上爬出来的，人们并不总是意识到自己的图片被用在[数据集]上。我们应该从更多的人那里收集照片，但当我们这样做时，我们应该小心翼翼地以尊重的方式获取图像。”
计算机科学助理教授Vicente Ordonez-Roman说：“工具和基准是重要的一步……它们使我们能够在开发的早期阶段掌握这些偏见，并重新考虑我们的问题设置和假设以及数据收集实践。弗吉尼亚大学没有参与这项研究。“在
计算机视觉中，有关刻板印象的表示和传播存在一些特定的挑战。诸如普林斯顿视觉AI实验室所做的工作有助于阐明这些问题并引起计算机视觉界的注意，并提供了缓解这些问题的策略。 ”视觉AI实验室的一项相关研究对防止计算机视觉模型学习可能反映偏差的虚假关联进行了研究，这些虚假关联可能会反映偏差，例如过度预测活动(例如以女性形象烹饪或以男性形象进行计算机编程)。视觉提示(例如，斑马是黑白的，或者篮球运动员经常穿着球衣)有助于提高模型的准确性，因此在开发有效模型的同时避免出现问题性关联是该领域的重大挑战。
在6月举行的虚拟计算机视觉和模式识别国际国际会议上提出的研究中，电气工程专业的研究生Zeyu Wang及其同事比较了四种缓解计算机视觉模型偏差的技术。
他们发现一种称为对抗训练或“盲目的公平”的流行技术损害了图像识别模型的整体性能。在对抗训练中，模型无法考虑有关受保护变量的信息-在研究中，研究人员使用性别作为测试案例。在团队的分析中，另一种方法称为域独立培训，即“通过意识进行公平”，效果更好。
鲁萨科夫斯基说：“从本质上讲，这意味着我们将针对不同性别进行不同的活动频率，是的，这一预测将取决于性别。因此，我们只是接受这一观点。”
本文中概述的技术通过与其他视觉提示分开考虑受保护的属性来减轻潜在的偏见。
王泽宇说：“我们如何真正解决偏差问题是一个更深层次的问题，因为我们当然可以看到它存在于数据本身中。”他说：“但是在现实世界中，人们仍然可以在意识到我们的偏见的同时做出良好的判断”，并且可以设置计算机视觉模型以类似的方式工作。
