梅雷迪思·布鲁萨德（）非常有资格评价和剖析围绕人工智能的持续炒作现象。她是纽约大学的数据科学家和副教授，多年来一直是算法偏见领域的主要研究人员之一。
尽管她的工作主要围绕数学问题开展，但在过去的几年里，她一直在思考数学无法解决的问题。她的思绪汇成了一本关于人工智能未来的新书。书中，认为，我们一直过于渴望以不恰当和破坏性的方式将人工智能应用于社会问题。
她的核心主张是，如果在不考虑种族、性别和能力的情况下使用技术工具来解决社会问题，可能会造成巨大伤害。
最近战胜了乳腺癌，在阅读了电子病历后，她意识到人工智能已经参与到了她的诊断中——这一现象越来越普遍。这一发现促使她开始了自己的实验，从而更好地了解人工智能可以在多大程度上应用于癌症诊断。
我们一起探讨了她的发现，比如警察使用人工智能技术的问题、“人工智能公平”的局限性，以及她对于解决人工智能带来的一些挑战的看法。以下是我们的对话，内容经过了编辑。
（来源： MITTR/COURTESY PHOTOS）
《麻省理工科技评论》：我看到了你分享的故事，人工智能参与了你的癌症诊断，这令人震惊，你做了什么？你从这次经历中又学到了什么？
梅雷迪思·布鲁萨德（）： 在疫情大流行刚开始时，我就被诊断出患有乳腺癌。外面的世界被疫情封锁了，而我的世界被手术封锁了。有一天，我在读自己的病历，突然注意到一个扫描结果旁边写着：该扫描结果由人工智能查看。
于是我开始思考，为什么人工智能会看我的乳房 X 光片？没有人向我提起过这件事，这只是我的电子病历中的不起眼的部分。我对基于人工智能的癌症检测的技术水平感到非常好奇，所以我设计了一个实验，看看我是否可以复制出相同的检测结果。
我自己做了乳房 X 光检查，通过开源人工智能进行检测，看看它是否能检测出我的癌症。我发现，我对人工智能在癌症诊断中的工作原理有很多误解，我在书中探讨了这一点。
（注：完成她的实验后，人工智能确实成功检测出她的 X 光片显示了癌症特征。然而，她的医生表示，对于她的诊断而言，这项技术是完全没有必要的，因为人类医生已经对她的图像有了清晰而精确的解读。）
作为一名癌症患者，我意识到了一件事：在我诊断和康复过程中给予支持的医生、护士和卫生保健工作者是如此优秀，如此重要。我不想要一种无菌的、依赖计算机的未来，比如你去做乳房 X 光检查，然后一个红色的小盒子冷冰冰地对你说这可能是癌症。
当我们谈论一种危及生命的疾病时，应该没人想看到这样的情形，但没有那么多人工智能研究人员做过乳房 X 光检查。
《麻省理工科技评论》：我们有时会听到，一旦人工智能的偏见被“纠正得足够好”，这项技术就会更加普遍。而你认为这个想法是有问题的，为什么？
梅雷迪思·布鲁萨德（）：我认为这个想法存在许多问题，其中最大的一个是，人工智能将以某种方式发挥其全部潜力，而这是每个研究人员都在努力奋斗的目标，但人工智能只是数学。
我不认为世界上的一切都应该由数学来控制。计算机非常擅长解决数学问题，但并不是很擅长解决社会问题，可它们却被应用于社会问题。这种“我们可以用人工智能来解决一切”的想法，会催生出一个我不希望看到的未来。
《麻省理工科技评论》：你在书中讲到了面部识别。我最近听到有人说，禁止面部识别（尤其是禁止警方使用）的运动阻碍了使技术更公平或更准确的努力。你如何看待这个想法？
梅雷迪思·布鲁萨德 （）：我绝对属于不支持警察使用面部识别的阵营。我知道，这对那些真正想使用它的人来说很沮丧，但我深入研究了警方使用各种技术的历史，结果令人失望。
我从纽约大学媒体、文化和传播教授查尔顿·麦克尔韦恩（Charlton McIlwain）的著作《 黑色软件》一书开始，他写到，在 想要在销售大量电脑的同时，美国正在经历 20 世纪 60 年代所谓的“反贫困战争”。 真的很想卖掉那些电脑，所以在四处寻找一个（社会）问题来应用它们，但他们不理解社会问题。直到今天，我们仍然生活在当时的决定所导致的灾难性后果中。
警察在使用技术方面也不比其他人更好。如果我们所处的社会背景是，每个人都是一个一流的计算机科学家，接受过关于社会问题的训练，同时我们有社区、免费的学校和公平的社会，那么这将是一个不同的故事。但我们生活在一个有很多问题的世界里，把更多的技术扔向美国那些已经被过度监管的黑人群体、棕人群体和贫困社区，是无济于事的。
《麻省理工科技评论》：你讨论了数据科学在研究社会问题时的局限性，但你自己也是一个数据科学家，你是如何意识到你自己职业的局限性的？
梅雷迪思·布鲁萨德 （）：我有很多社会学家朋友，我的丈夫也是一个社会学家。对我来说，在思考社会学和技术之间的相互作用时，几年前我与杰夫·莱恩（）的对话具有不同寻常的意义。他是一名社会学家和人种学家，也是美国罗格斯大学信息学院的副教授。
我们开始谈论黑帮帮派数据库，他告诉我了一些我之前不知道的事情，那就是随着人们变老，他们往往会逐渐脱离帮派。你很难在加入黑帮之后在里面度过余生。
我敢打赌，如果人们因为这样的原因离开黑帮，他们是不会从警察的数据库中除名的。我知道人们是如何使用数据库的，我也知道人们是如何草率地更新数据库的。
经过我的一番调查，果然，警察不会因为你退出了黑帮而把你的信息从数据库中清除。这让我开始思考我们的数字生活的混乱，以及一些技术如果与警察挂钩，它们会有哪些潜在危险。
《麻省理工科技评论》：越来越多的学校开始使用预测式评分系统。我们应该担心吗？什么时候适合使用预测算法，什么时候不适合？
梅雷迪思·布鲁萨德 （）：疫情大流行的后果是我们都有机会近距离观察当世界完全由算法操控时，世界会变得多么无聊，偶然性荡然无存。
在大流行期间，我完全耗尽了 Netflix 的推荐内容，一点推荐都没有了。我发现自己会回归老方法，依靠人力，然后在寻找新推荐时加入更多的偶然性。
对我来说，这是学校和学习的一大优势：你和所有其他拥有不同生活经历的人同处一间教室里。作为一名教授，提前预测学生成绩与我在课堂上想要实现的截然相反。我想相信改变的可能性。我想让我的学生在他们的学习之旅中走得更远。
相比之下，一个算法跳出来说“这个学生现在这个样子，以后就可能会成为那个样子”，我认为这是完全有悖教育精神的内核的。
用统计数据来预测未来的想法的确令人心动，所以我完全理解那种想要制造出一个让未来不那么模糊的机器的冲动。但我们确实必须与未知一起生活，并留出一些改变的空间。
《麻省理工科技评论》：你认为，算法审计在一个更安全、更公平的未来中将扮演什么角色？
梅雷迪思·布鲁萨德 （）：算法审计是查看算法并检查其是否存在偏见的过程。这是一个非常非常新的领域，不像其他人工智能的领域，可能人们 20 年前就已经知道该怎么做了。
但现在我们拥有许多很棒的工具，数据科学家凯西•奥尼尔（）和计算机科学家黛博拉·拉吉（Deborah Raji）这些人在算法审计方面的工作做得很好。我们拥有来自 FAccT 会议社区的所有这些评估公平性的数学方法，致力于使人工智能领域更符合道德规范。我非常看好算法审计在让算法更公平方面发挥的作用。
《麻省理工科技评论》：在书中，你批评了机器学习中的“黑匣子”一词，认为它错误地暗示了我们不可能描述模型内部的工作原理。我们应该如何谈论机器学习呢？
梅雷迪思·布鲁萨德 （）：这是个好问题。我所有关于算法审计的讨论，都在某种程度上颠覆了我们对“黑匣子”概念的定义。
当我开始尝试解释计算系统时，我意识到“黑匣子”只是我们使用的抽象概念，因为它很方便，而我们不希望经常陷入冗长、复杂的数学讨论中。这没什么问题。我参加过无数次鸡尾酒会，我知道数学不是一个适合长时间讨论的话题。但如果我们要用算法去做社会决策，我们就不能假装它们是无法解释的。
我试图在脑海中强化的一件事是：世界上有些事情是未知的，还有些事情则是我不知道的。当我撰写关于复杂系统的文章时，我会尽量理清它们之间的区别。
当我们撰写有关机器学习系统的文章时，避免讨论繁琐的细节是很省时省力的。但我们知道这些系统具有歧视性。人工智能存在了很久了，我们不能再说，我们不知道系统的潜在问题是什么了。
反过来，我们可以猜测潜在的问题是什么，并提出尖锐的问题。这个系统是否经过了关于性别、能力、种族的偏见评估？大多数时候，我们会得到一个否定答案，这是需要改变的。
支持：Ren
原文：
https://www.technologyreview.com/2023/03/10/1069602/meredith-broussard-interview/
运营/排版：何晨龙
