没有人真的知道最先进的算法如何思考，这可能是一个可怕问题。
一年前，一辆奇怪的自驾车被释放到新泽西州蒙茅斯县的宁静道路上。由芯片制造商Nvidia的研究人员开发的实验车辆与其他自主汽车并没有什么不同，但与Google，特斯拉或通用汽车公司所展示的不同，它显示了人造智能的上升。汽车没有遵循由工程师或程序员提供的单一指令。相反，它完全依赖于通过观察人类来教导自己驾驶的算法。
开车是一个令人印象深刻的壮举。但这也有点令人不安，因为汽车做出决定并不完全清楚。来自车辆传感器的信息直接进入人造神经元的巨大网络，处理数据，然后传递操作方向盘，制动器和其他系统所需的命令。结果似乎与您期望从人类驱动程序的响应相匹配。但是，如果有一天它做了一些意想不到的事情撞上一棵树，或者停绿灯上呢？现在，现在可能很难找出原因。该系统非常复杂，即使是设计它的工程师也在尝试解释他的行为成因。你不法找到答案：设计这样一个系统是明显的方法总能解释为什么它做了某件事情。
这辆车的神秘思想指出人造智能的一个迫在眉睫的问题。汽车的底层AI技术，被称为深度学习，近年来在解决问题上已经被证明是非常有力的，它已被广泛应用于图像字幕，语音识别和语言翻译等任务。现在希望同样的技术能够诊断致命的疾病，做出百万美元的交易决定，并且做无数的其他事情来改变整个行业。
但这不会发生 - 或者不应该发生 - 除非我们找到方法，使深入学习的技术更容易理解为创作者，并对其用户负责。否则，难以预测何时会发生故障，而且这是不可避免的。 Nvidia的车仍然是试验的一个原因。
已经使用数学模型来帮助确定谁做假释，谁被批准贷款，以及谁被聘请工作。如果您可以访问这些数学模型，可以了解他们的推理。但是银行，军方，雇主和其他人正在将注意力转向更复杂的机器学习方法，这样可以使自动化决策完全不可思议。深入学习，最常见的这些方法，代表了一种根本不同的计算机程序。麻省理工学院教授塔米·贾科科拉（Tommi Jaakkola）说：“这是一个已经相关的问题，未来将会更加相关。” “无论是投资决定，医疗决定还是军事决定，您都不希望只依靠”黑匣子“的方法。
已经有一个论点，能够询问人工智能系统，如何达成结论是一项基本的法律权利。从2018年夏天开始，欧盟可能要求公司能够给用户解释自动化系统达到的决策。即使对于表面上相对简单的系统，例如使用深度学习来投放广告或推荐歌曲的应用程序和网站，这恐怕不可能。运行这些服务的计算机已经进行了编程，并且已经以我们无法理解的方式完成了这些。即使构建这些应用程序的工程师也无法完全解释他们的行为。
这引起了令人难以置信的问题。随着技术的进步，我们可能很快会跨越一个门槛，超过这个阈值，使用AI需要一个信念的飞跃。当然，我们人类也不能总是真正地解释我们的思想过程，但是我们可以直观地信任和衡量人们。这样做也可能与想像和做出决定的机器与人类的方式不同吗？我们从未建造以创作者不明白的方式运作的机器。我们可以期待如何沟通，并与智能机器相提并论，这些机器可能是不可预知和难以置信的？这些问题让我走上了AI算法研究的出路，从谷歌到苹果和许多地方，包括与当时伟大的哲学家之间的会议。
2015年，纽约西奈山医院的一个研究小组受到启发，将深入学习应用于医院庞大的患者记录数据库。该数据集包含数百个患者变量，从测试结果，医生访问等方面。研究人员命名为Deep Patient（深井病人）的结果程序使用来自约70万个人的数据进行了培训，当在新记录上进行测试时，它在预测疾病方面证明是非常好的。没有任何专家指导，Deep Patient发现隐藏在医院数据中的模式，似乎表明人们正在前往广泛的疾病，包括肝癌。引导西奈山队的Joel Dudley说，有很多方法在预测患者记录中的疾病方面“相当不错”。但他补充说：“这只是更好。”
同时，深度患者有点令人费解。似乎预料精神分裂症如精神分裂症的出现令人惊讶。但是由于精神分裂症对于医生来说是非常困难的，所以达德利想知道这是否可能的。他还不确定——这个新工具没有提供任何线索。如果像Deep Patient这样的事情实际上会帮助医生，那么理想的情况就是给予他们预测的理由，让他们确信它是准确的，并证明有人正在处方药的变化。 “我们可以建立这些模型，”达德利说，“但我们不知道他们如何工作。”
人造智能并不总是这样的。从一开始，AI就应该是可以理解的或可以解释的。许多人认为最有意义的是构建根据规则和逻辑推理的机器，使其内部工作对任何关心审查一些代码的人都是透明的。其他人认为，如果机器从生物学中获得灵感，并通过观察和体验学习，情报就会更容易出现。这意味着将电脑编程放在头上。程序员不用编写命令来解决问题，而是根据示例数据和期望的输出生成自己的算法。后来演变成当今最强大的AI系统的机器学习技术遵循后一种途径：机器本身是程序本身。
起初这种做法的实际应用是有限的，而在六十年代和七十年代，它仍然主要局限于该领域的边缘。那么许多行业的电脑化和大数据集的出现又引起了人们的兴趣。这激发了更强大的机器学习技术的发展，特别是被称为人造神经网络的新版本。到20世纪90年代，神经网络可以自动数字化手写字符。
但是，直到这个十年的开始，经过几次巧妙的调整和改进，那么非常大或“深”的网络网络显示出自动感知的显着改进。深入学习对今天AI的爆炸负责。它赋予了计算机非凡的力量，就像能够识别口语几乎和一个人一样，这个技能太复杂，无法用手编码到机器中。深刻的学习改变了计算机视觉，大大提高了机器翻译。现在正用于指导医药，金融，制造业等方面的各种关键决策。
任何机器学习技术的工作本质上比手工编码系统更不透明，甚至对计算机科学家来说也是不透明的。这并不是说所有未来的AI技术将同样不可知。但是由于其本质，深刻的学习是一个特别黑暗的黑匣子。
你不能只是看一下深层神经网络，看看它是如何工作的。网络的推理嵌入到成千上万个模拟神经元的行为中，排列成数十甚至数百个错综复杂的互连层。第一层中的神经元各自接收输入，如图像中的像素的强度，然后在输出新信号之前进行计算。这些输出在复杂网络中被馈送到下一层中的神经元，等等，直到产生总体输出。此外，还有一个称为反向传播的过程，以一种使网络学习产生所需输出的方式来调整单个神经元的计算。
深层网络中的许多层次使其能够识别不同抽象层次的事物。例如，在旨在识别狗的系统中，较低层识别简单的东西，如轮廓或颜色;更高层识别更复杂的东西，如毛皮或眼睛;最顶层将其全部标识为狗。粗略地说，相同的方法可以应用于引导机器教导自己的其他输入：构成语音中的单词的声音，在文本中创建句子的字母和单词，或驾驶所需的方向盘运动。
“这可能是智力本质的一部分，只有其中的一部分才能被理性地解释。有些只是本能的。“
已经使用巧妙的策略来捕获并因此更详细地解释了这样的系统发生了什么。 2015年，Google的研究人员修改了基于深度学习的图像识别算法，以便不会在照片中发现对象，而是会生成或修改它们。通过有效地运行算法，他们可以发现程序用来识别鸟类或建筑物的特征。由一个名为“深梦”的项目产生的图像显示出从云和植物出现的怪异的外星人动物，以及在森林和山脉上绽放的幻觉塔。这些图像证明，深刻的学习不一定是完全不可思议的;他们透露，算法归功于熟悉的视觉特征，如鸟的喙或羽毛。但是，这些图像也暗示了人类知觉的不同深度学习的不同之处，因为它可能会使我们知道忽略的一件事情摆脱出来。谷歌研究人员指出，当它的算法产生一个哑铃的图像时，它也产生了一个持有它的人类手臂。机器得出结论，一只手臂是这件事的一部分。
使用神经科学和认知科学借鉴的思想进一步取得进展。由怀俄明大学助理教授杰夫·克伦（Jeff Clune）领导的一个团队，采用AI相当于幻觉来测试深层神经网络。 2015年，Clune的小组展示了某些图像如何愚弄这样一个网络来感知不在的东西，因为这些图像利用了系统搜索的低级模式。 Clune的合作者之一，Jason Yosinski也建立了一个工具，像一个探针卡在大脑中。他的工具瞄准网络中间的任何神经元，并搜索最多激活它的图像。呈现的图像是抽象的（想象一个印象派在火烈鸟或校车上），突出了机器的感性能力的神秘性质。
然而，我们需要的不仅仅是AI的想法，也没有简单的解决方案。深层神经网络中的计算的相互作用对于更高层次的模式识别和复杂的决策是至关重要的，但是这些计算是数学函数和变量的泥。。 “如果你有一个非常小的神经网络，你可能可以理解它，”Jaakkola说。 “但是，一旦它变得非常大，它每层有几千个单位，也可能有数百层，那么这是不可理解的。”
在Jaakkola旁边的办公室是麻省理工学院教授Regina Barzilay，他决心将机器学习应用于医学。几年前，她在43岁时被诊断患有乳腺癌。诊断本身令人震惊，但是Barzilay也感到失望的是，前瞻性的统计学和机器学习方法没有被用来帮助肿瘤研究或指导病人治疗。她说，AI具有巨大的革命医学潜力，但意识到这一潜力意味着超越医疗记录。她设想使用更多的原始数据，她说目前未得到充分利用：“成像数据，病理数据，所有这些信息”。
去年完成癌症治疗后，Barzilay和她的学生开始与马萨诸塞州总医院的医生合作开发一个能够开采病理学报告的系统，以确定研究人员可能想要研究的特定临床特征的患者。然而，Barzilay理解，该系统需要解释其推理。所以，与Jaakkola和一个学生一起，她增加了一个步骤：系统提取和突出显示代表其发现的模式的文本片段。 Barzilay和她的学生们也在开发一种能够在乳房X线照片图像中发现乳腺癌早期症状的深度学习算法，并且旨在给予该系统一些解释其推理能力的能力。 “你真的需要一个机器和人类合作的循环，”-Barzilay说。
美国军方正花费数十亿美元投入于使用AI学习如何飞行驾驶，确定目标，并帮助分析人员筛选大量情报数据。在这里，除了其他任何地方，甚至超过了医学，还没有算法神秘的空间，国防部已将可解释性认定为关键的绊脚石。
国防高级研究计划署的项目经理David Gunning正在监督适当的可解释人工智能计划。该机构的银发老将曾经监督DARPA项目，最终导致Siri的创立，Gunning说自动化正在爬进无数的军事领域。情报分析师正在测试机器学习，作为识别大量监控数据模式的一种方式。许多自主地面车辆和飞机正在开发和测试。但士兵们对机器人坦克来说也不会感到舒服，这并不能解释自己，分析人士也不愿意在没有推理的情况下对信息采取行动。 “这些机器学习系统的性质通常会产生大量的虚假警报，所以英特尔分析师真的需要额外的帮助才能理解为什么要做出建议，”Gunning说。
今年三月，DARPA选择了13个来自学术界和行业的项目，在Gunning计划下资助。其中一些人可以在华盛顿大学教授卡洛斯·宾格林（Carlos Guestrin）领导下工作。他和他的同事们为机器学习系统开发了一种方法，为他们的产出提供了理由。基本上，在这种方法下，计算机自动从数据集中找到几个示例，并在简短的解释中提供它们。例如，将电子邮件分类为来自恐怖分子的系统可能会在其培训和决策中使用数百万条消息。但是使用华盛顿队的方法，它可以突出显示某个消息中的某些关键字。他们的团队还设计了图像识别系统，通过突出显示最重要的图像部分来提示其推理。
这种方法的一个缺点和像Barzilay这样的其他方法的缺点是，所提供的解释将始终是简化的，这意味着一些重要的信息可能会丢失。 “我们还没有实现整个梦想，这是AI与你交谈的地方，它能够解释，”宾格说。 “我们距离真正解释的AI还有很长的路要走。”
这不一定是像癌症诊断或军事演习这样的高风险情况成为一个问题。了解AI的推理也将是至关重要的，如果技术是成为我们日常生活中常见和有用的部分。领导苹果Siri团队的Tom Gruber说，可解释性是他的团队的一个关键考虑因素，因为它试图使Siri成为一个更聪明，更有能力的虚拟助手。 Gruber不会讨论Siri未来的具体计划，但很容易想像，如果您收到Siri的餐厅推荐，您会想知道推理是什么。苹果公司的AI研究总监和卡内基梅隆大学的副教授Ruslan Salakhutdinov认为可解释性是人与智能机器关系发展的核心。 “这将会引入信任，”他说。
人类行为的许多方面都不可能详细解释，也许AI不可能解释它所做的一切。怀俄明大学的克隆（Clune）说：“即使有人可以给你一个合理的解释（对于他或她的行动），它可能是不完整的，对AI也是如此。 “这可能只是智力本质的一部分，只有其中的一部分才能被理性地解释。其中一些只是本能的，或潜意识的，或不可思议的。“
如果是这样，那么在某个阶段，我们可能只需要信任AI的判断或不使用它。同样，这一判断将必须纳入社会情报。正如社会建立在预期行为合约上一样，我们将需要设计AI系统来尊重和符合我们的社会规范。如果我们要创造机器人坦克和其他杀戮机器，那么他们的决策与我们的道德判断是一致的。
为了探索这些形而上学的概念，我去了塔夫茨大学，与着名的哲学家和认知科学家丹尼特（Daniel Dennett）会面，他们研究意识和心灵。丹尼特最新的一本书“从细菌到巴赫和后退”，一本关于意识的百科全书论文，表明智力本身发展的一个自然部分是创造能够执行其创作者不知道如何做的任务的系统。 “问题是，我们必须明智地做些什么，我们要求他们和我们自己有什么标准？”他在大学田园诗般的校园里的杂乱无章的办公室里告诉我。
他还有一个关于追求可解释性的警告。 “我认为，如果我们要使用这些东西并依靠它们，那么让我们尽可能地抓住他们如何以及为什么尽可能地给我们答案，”他说。但由于可能没有完美的答案，我们应该像我们人类对待彼此一样谨慎的对待AI解释 - 无论机器看起来有多聪明。他说：“如果说AI比我们更擅长解释，那就不要信任它。”
转载：知乎专栏 — 张坏水