来源：MSN

作者：Shara Tibken

翻译：W3Cschool

去年年底美国开始分发 COVID-19 疫苗时，出现了一个重要问题：谁应该优先注射疫苗？许多医疗机构和卫生官员决定优先给与感染者密切接触的工作人员接种疫苗，包括医护、安保人员。斯坦福大学做为该国最顶尖大学之一，建立了一种确定顺序的算法。

让计算机决定谁先接种疫苗的唯一问题是它的“非常复杂的算法”（事实证明根本不是很复杂）是建立在错误的假设和数据之上的。也就是说，该算法优先考虑特定年龄的医务人员，而不考虑许多年长的医生没有定期看病人的情况。斯坦福大学（Stanford Medicine）首批 COVID-19 疫苗的 5,000 剂疫苗中，只有七剂被分配一线驻地医生。绝大多数被分配到了在家工作或与感染 COVID-19 的患者接触很少的高级教师和医生。斯坦福大学迅速取消了该算法，并为一线员工接种了疫苗。

斯坦福大学门诊护理团队主任蒂姆·莫里森（Tim Morrison）12月中旬在发布的 Twitter 视频中说：“我们的算法，伦理学家和传染病专家工作了几个星期，使用年龄、高风险的工作环境以及该环境中的阳性率... ... 等条件中，显然没有正确的工作”

斯坦福大学的疫苗崩溃只是算法有偏见的许多方式中的一个例子，随着计算机程序取代人类决策者，这个问题变得越来越明显。算法有望在没有情感影响的情况下根据数据做出决策：可以更快、更公平、更准确地做出决策。然而，算法并不总是基于理想的数据，这一缺点在进行生死攸关的决定（例如重要疫苗的分配）时会被放大。

根据加利福尼亚州奥克兰市一家致力于种族和经济正义的非营利性机构 Greenlining Institute 周二发布的一份报告显示：其影响甚至更为广泛，因为计算机可以确定某人是否获得房屋贷款，谁被雇用以及囚犯被关押的时间。Greenlining 首席执行官黛布拉·戈尔·曼（Debra Gore-Mann）表示，算法通常会保留与人类决策者相同的种族，性别和收入水平偏差。

戈尔·曼在接受采访时说：“您正在看到这些工具被用于刑事司法评估、住房评估、金融信贷、教育、求职。它变得如此普遍，以至于我们大多数人甚至都不知道正在进行某种自动化和数据评估。”

Greenlining 报告研究了设计不当的算法如何威胁到加剧系统性种族主义、性别歧视和对低收入人群的偏见。由于这项技术是由人们创造和培训的，因此这些算法（无论是否有意）都可以重现歧视和偏见的模式，而人们通常不会意识到这种情况的发生。面部识别是被证明存在种族偏见的技术领域之一。健身带一直在努力准确地测量有色人种的心率。

Greenlining 技术股权法律顾问 Vinhcent Le 说：“用于超目标全球广告的相同技术也正用于向人们收取不同价格的产品，这些产品对于经济健康至关重要，例如抵押产品保险，以及不太重要的产品（例如鞋），” 。

在另一个示例中，Greenlining 标记了由 Optum Health 创建的算法，该算法可用于确定患者的医疗照顾优先级。其中一个因素是病人在医疗费用上的花费，假设病情最严重的人在医疗保健上花费最多。仅仅使用这个参数不会考虑到那些没有那么多钱的人有时不得不在支付房租和支付医疗账单之间做出选择，这会不成比例地伤害到黑人患者。

Optum Health 表示，健康服务提供者以这种方式测试了算法的使用，但最终没有使用它来确定医疗服务。

Optum 在一份声明中说：“这个算法没有种族偏见。这个工具的设计目的是根据个别病人过去的医疗经验来预测未来可能产生的费用，并且在用于此目的时不会导致种族偏见——研究作者同意这一事实。”

没有简单的解决方法

Greenlining 为政府和公司提供了三种方法来确保技术更好。Greenlining 建议组织实行算法透明度和问责制；在有意义的情况下开发种族意识算法，并特别寻求将弱势群体纳入算法假设。

确保这种情况发生的责任，将落在立法者身上。

勒（Le）说：“（这份报告）的重要意义是树立起开始监管人工智能的政治意愿。”

在加利福尼亚州，州议会正在考虑第 13 号议会法案，也被称为 2021 年自动决策系统问责法案。它于 12 月 7 日推出，由 Greenlining 赞助，它将要求使用“自动决策系统“的企业测试其偏见及其对边缘群体的影响。如果有影响，组织必须解释，为什么歧视待遇不违法。勒说：“你可以区别对待别人，但如果是基于受保护的特征，比如种族、性别和年龄，那就是违法的。”

2019 年 4 月，民主党人新泽西州参议员科里 · 布克（Cory Booker）和俄勒冈州参议员罗恩 · 怀登（Ron Wyden），以及纽约州众议员伊维特·D·克拉克（Yvette D. Clarke）。提出了算法问责法案，该法案要求公司研究和修正有缺陷的计算机算法，这些算法导致了不准确、不公平、偏见或歧视性的决定。一个月后，新泽西州引入了类似的算法责任法案。两个法案都没通过委员会。

勒说，如果加利福尼亚州的 AB13 通过，那将是美国第一个这样的法律，但是它可能会失败，因为它的范围太广了，因为它目前是书面的。相反，Greenlining 希望将法案的职责范围缩小到首先关注政府创建的算法。希望该法案将为国家努力树立榜样。

勒说：“算法的大多数问题并不是因为人们对目标有偏见。他们只是在开发这些程序时走捷径。就斯坦福疫苗计划而言，算法开发人员没有考虑到后果。 ”

Le补充说：“没有人真的非常确定需要改变的所有事情。但是（我们）确实知道，当前的系统不能很好地处理AI。”