在布鲁塞尔民主与技术中心本周举行的小组讨论中，我讨论了AI驱动的内容审查技术的功能和局限性。其他团队成员包括SP Global的Armineh Nourbakhsh，她讨论了她在路透社期间帮助开发的Tracer工具，CDT的EmmaLlans，以及她的最新论文“混合新闻？”自动化社交媒体内容分析的局限性。欧盟委员会的普拉巴特阿加瓦尔提供了决策者的深刻观点。
平台和其他互联网参与者使用自动化程序对系统上的非法材料(如仇恨言论或恐怖材料)采取行动。他们也用同样的技术强制执行自己的用户志愿服务条款，从而维持一个稳定且有吸引力的在线环境。最后还有一种中间类型的内容，不仅没有吸引力，而且有害，需要控制。虚假信息活动就属于这一类。
现在讨论自动删除这些材料的原因不仅仅是技术上的。政策制定者非常关注内容审计系统的有效性，并推动平台做得更多。有时，这将超出监管要求。
最近公布的欧盟防止网络恐怖主义条例草案就是一个很好的例子。许多关切集中在其提案上，该提案允许成员国的国家主管当局要求平台在收到通知后一小时内删除恐怖主义内容的具体实例。然而，更令人担忧的是，它要求平台首先采取“积极措施”防止恐怖分子的信息出现在系统上。由于积极措施是对恐怖内容的自动封锁系统，拟议的条例明确规定了对现行电子商务指令的减损，从而明确了监测恐怖内容的义务。更糟糕的是，如果一家公司收到太多拆除令，无法与监管机构就设计改进达成协议。
在决策中必须使用明确的标准，并且这些标准必须是透明的，以便用户可以对超范围和可接受的范围形成期望。此外，有必要解释每个删除决定，以解释触发删除的内容的特定功能或方面。最后，由于没有一个系统是完美的，所以需要一个纠正机制，以便材料在被错误删除后可以恢复。作为一个典范，请看美国信贷行业的做法，有透明度，有解释，有补救，代代相传。
出于EmmaLlans在论文中概述的原因，仅依靠自动化系统进行清洁是错误的。错误率太高，总是需要手动检查，以确保在删除内容之前充分考虑内容的上下文和含义。
