Kate Crawford 和Ryan Calo认为：研究员担忧人工智能未来所带来的影响，会使得他们部署系统时分心。
芝加哥警察使用算法系统预测可能卷入射击案的人，但这些试验被证明很大程度上是无效的
上周，白宫发表了一份关于人工智能未来的报告- 是2016年5月至7月在西雅图，匹兹堡，华盛顿和纽约召开的四个研讨会的讨论结果。（点击查看）
在这些活动中，许多来自不同领域的引领世界的思考者们讨论了人工智能将如何改变我们的生活方式。几十份报告都显示了运用机器学习和其他人工智能技术处理日常复杂事务的展望。这些范围从识别象征早期癌症的皮肤改变到减少数据中心的能源成本。
这些研讨会还强调了人工智能中的主要盲点。从医院到法庭，自治系统已经被部署在我们最重要的社会机构。然而却没有一致的方法来评估这种应用对人类群体的持续影响。
近年来，人工智能技术领域取得了非凡的进步。伴随着这些进步，各个学科的设计师和研究人员都需要对人工智能进行所谓的社会系统分析。他们需要评估技术对社会，文化和政治环境的影响。
用社会系统方法进行调查，例如，调查 AiCure如何改变医患关系，AiCure可以追踪患者是否坚持服用处方药物并给医生发送记录。这种方法还可以探讨使用历史数据预测将要发生的犯罪是否会对偏远社区过度警化。它还可以调查为什么高滚动投资者有权了解他们代理人的财务决策，而低收入的求贷者往往想知道他们被拒绝的原因。
◆ ◆ ◆
一个突出的问题
“人们担心电脑会太聪明以至于接管世界，但真正的问题是，他们还很愚蠢就已经接管了世界。”这是计算机科学家Pedro Domingos在他2015发行的《主算法》一书中总结出的。甚至许多研究人员拒绝展望 “技术奇点”，说这个领域太年轻，人工智能系统相对未经考验，仅支持向社会机构引入导论。
由于人工智能研究人员的热情，这样的系统已经被医生用来指导诊断。律师事务用来预测客户案例获胜的可能性，被金融机构用来帮助决定谁获得贷款，被雇主用来指导招聘。
分析人士预计对人工智能系统的使用会迅速增加。目前的市场分析认为人工智能应用拥有数十亿美元的经济价值（见图“ON THE RISE”），IBM的首席执行官Ginni Rometty认为未来十年在人工智能系统方面有数不清的机会。诚然，估计是很难做的，部分原因是因为对人工智能包括哪些没有达成共识。
人工智能技术方面的投资今几年不断上升
人工智能在预测和指导决策方面不一定会比人类的操作更糟糕。相反，工程师们乐观地认为，人工智能可以帮助检测和减少人类偏见。但研究表明，尽管人工智能总体上带来积极影响，但依然对弱势群体（因种族，性别和社会经济背景等因素成为弱势群体）产生些许负面影响。
在2013年的一项研究中发现，在谷歌中搜索最常见的黑人名字比搜索白人特征的名字更容易碰到搜索犯罪记录的广告，其可能性高出25%。在另一个关于种族的研究中， 2016年5月的ProPublica调查发现，被法官常用来帮助确定犯罪风险的专有算法误判黑人的可能性比误判白人高了几乎两倍。
◆ ◆ ◆
三种工具
如何避免这种偏见的影响？到目前为止，已经有三种主要的模式应对人工智能系统的社会和伦理影响：合规性，“设计的价值”和思想实验。
这三种模式都有价值，但没有一个能够单独有效或完全有效。
◆ ◆ ◆
部署和遵守
公司普遍按照基本步骤，坚持贯彻一套行业的最佳做法或坚持遵守法律义务，以避免政府、媒体等其他审查。这种方法可以产生短期的好处。2015年，谷歌在系统错误地将非洲裔美国人夫妇判断为大猩猩后调整了其图像识别算法。谷歌还提出了在人工智能系统中引入 “红色按钮”， 系统失控时研究人员可以通过按红色按钮控制系统。
与此类似的事情也在Facebook发生，一张普利策获奖照片呈现了一名名叫Kim Phúc的女孩在越南逃离凝固汽油弹攻击后全身裸体的样子，公众对这张照片通过审查发布在Facebook表示强烈不满，Facebook因此破例删除了网站上跟裸体儿童相关的图片。就在上个月，几个领头的人工智能公司，包括微软、亚马逊和IBM，在推动公众对人工智能的理解和发展部分人工智能标准上进行合作。
然而，“部署和遵守”的方法只是暂时的对策。如果缺少一定量的批评和独立的贡献者，行业的努力是无效的。新一轮的人工智能合作正在邀请伦理学家和民间社会组织参与。公开地进行人工智能系统现场测试的合作是相对自由的，没有在中期甚至是短期影响上进行持续的研究，担忧仍然存在。
◆ ◆ ◆
设计的价值
在Batya Friedman和Helen Nissenbaum等有影响力的技术伦理设计先驱的努力下，如今，研究人员和公司已经能够部署诸如价值敏感设计或“责任创新”等框架，以帮助他们找出潜在的利益相关者及其价值。焦点小组或其他技术被用来建立人们对个人隐私，环境等的看法。之后，潜在用户的价值就被纳入到了技术设计中，这项技术可以是手机应用，也可以是无人驾驶car5。人工智能系统的开发人员应该更多地借鉴这些重要方法。
然而，这样的方法通常是以一种假设为前提，那就是系统一定会被构建。所以这样的方法不太能够帮助设计者、政策制定者或社会团体去决定是否应该建立这样一个系统，或者去决定一个模型是不是太过初级或者不可靠而不适合应用在比如医院或法庭的基础设施建设上。
患有哮喘的人被一个用于预测肺炎的AI系统错误地分级为低风险
◆ ◆ ◆
思想实验
在过去的多年中，假设情形主导了人们对于人工智能对社会影响的争论。
人类将创造一个高度智能化的系统，最终有可能统治我们甚至毁灭我们。这是最常讨论的一种假设（例如参考文献6）。此外，1967年的一个思想实验 - 电车难题 - 又被重新提起。它引起了归责问题的讨论。在电车难题中，一个人可以让失控的电车沿着有五个人正在工作的轨道行驶，或者拉动操纵杆，将电车导向另一条只让一个人处于危险状态的轨道。各种评论家将这种假设情景应用于自动驾驶汽车中，他们认为自动驾驶汽车必须自动做出决策，也就构成了关于伦理的选择7。
然而，与机器人启示一样，无人驾驶汽车能否以“杀人决定”来衡量，这为道德推理提供了一个狭窄的框架。电车难题对当前更广泛的社会问题并没有提供太多指导：比如，大量投资的价值出自自动汽车而非公共交通;无人驾驶汽车在进行实际应用之前应该有多安全（以及使用什么工具来确定这一点）;以及自动车辆对拥堵，环境或就业的潜在影响。
◆ ◆ ◆
社会系统分析
我们认为需要一个四步骤的方法。具有实践性和普适性的社会系统分析考虑了AI系统对各个方面的所有可能的影响。当然也考虑了在概念，设计，部署和监管四步骤的每个阶段的影响。
在第一步骤中，研究人员 - 在一系列学科，政府部门和行业之中 - 需要通过信息，财富和基本服务等一些AI系统训练数据来调查并区分团体之间存在怎样的差异。
例如，在芝加哥、伊利诺斯，通过一种算法生成“热力图”，以确定谁是最有可能参与枪杀的人。上个月发表的一项研究8表明，这些图是无效的：它们可以增加某些人会被警察锁定的可能性，但不减少犯罪。
社会系统方法将考虑关于社会和政治的历史数据，也就是热力图所基于的那些数据。 这可能需要询问社区成员，并根据邻里警务的反馈（正面和负面）来衡量警方数据。 也可能需要参考监督委员会和法律机构的调查结果。 社会系统分析还将询问系统的风险和回报是否得到平等应用 - 例如，询问警察是否使用类似的技术来识别哪些警察可能出现渎职或暴力。
人工智能提供了一种文化和技术的革新。
另一个例子，2015年的一项研究显示，用于预测肺炎并发症的机器学习技术在大多数情况下表现良好。 但它犯了一个严重的错误：它指示医生让高风险类别的哮喘患者回家。 因为医院会自动将哮喘患者发送到重症监护室，所以这些人很少出现在系统所训练的“需要进一步护理”的记录中。 社会系统分析是优先参照医院指南，然后是其他因素，例如保险政策，这些因素会形成患者记录9。
类似地，社会系统分析可以询问人们是否受到AI系统影响，何时受到AI系统影响，以及系统是如何工作的。财务顾问一直局限在如何部署机器学习，因为客户期望他们开放并解释所有决策。然而，到目前为止，已经受到AI结果的个体没有类似的能力。
社会系统分析需要参考哲学，法律，社会学，人类学和科学技术研究及其他学科。 还必须考虑它对社会，政治和文化价值的影响以及技术变革和科学研究对它的影响。 只有更广泛询问关于人工智能影响的问题，才能比仅仅通过计算机科学或犯罪学分析来得更全面更综合。
更有前景的迹象。 下个月纽约市举行的机器学习会议中，关于公平，问责和透明性的研讨会就是一个很好的实例。 当然，资助者 - 政府，基金会和公司 - 应该更多的在我们所描述的方面投入进而实现AI。
人工智能提供了一种文化和技术的革新。 它类似于过去的技术拐点，例如印刷机或铁路的引用。 自动系统正在改变工作场所，街道和学校。 我们需要确保这些变化是有益的，然后，才能进一步应用到日常生活的基础设施中。
原文发布时间为：2016-10-19