有了大数据分析之后，算法预言的基础可能会复杂得让常人难以理解；大数据运作的规模也会超乎我们的想象。我们该做些什么准备，才能避免大数据的世界变成一个黑匣子？ 作者在《大数据：改变我们生活、工作、思考的革命》一书中作了思考。
现在的电脑系统是根据编写程序时明确要求它们遵循的规则来进行运算的。因此，当一个结果偶尔无可避免地出错的时候，我们可以回过头去，看看电脑是如何得出这个结果的。比如说，我们可以问“为什么外部传感器发现湿度突然大幅上升时，自动驾驶系统会将飞机抬高五度？”今天的电脑代码可以被打开检查，知道如何翻译代码的人可以追踪并理解运算的基础，无论这个基础如何复杂。
但是，有了大数据分析之后，这种追踪就会变得困难许多。算法预言的基础可能会复杂得让常人难以理解。
当电脑根据程序编写的明确要求遵循系列指令，比如IBM在1954年发展的将俄语翻译为英语的程序，人可以轻易理解为什么软件会用一个词代替另一个词。但谷歌翻译在判断英语单词“light”是该翻译成法语的“lumière”还是“léger”时（即描述光还是重量），却动用了数十亿页的翻译资料。一个人不可能追踪到程序作出最后选择的准确原因，因为这些选择是基于海量的数据和大量的统计运算的。
大数据运作的规模也超乎我们的想象。比如，谷歌分辨几个搜寻关键词和流感的关联是测试四亿五千万个数学模型的结果。相对地，辛西娅•鲁丁（Cynthia Rudin）为检修孔是否会着火设计了106个预测指标，而且她可以向联合爱迪生电力公司的经理们解释为什么她的程序优先了某些检查位置。人工智能界所说的“可解释性”，对于我们常人来说是很重要的，我们总是想知其所以然，而不仅是知其然。可是，如果系统自动生成了601个预报，而不是106个呢？如果这601个中大多数都不是特别重要，但把它们放在一起，就会提升模型的精确性？任何预报的基础都可能非常复杂。要说服经理们重新分配有限的预算，她该告诉他们什么呢？
在这个情景中，我们可以看到，大数据预报的风险，及其背后的算法和数据集，可以变成不可说明、不可追踪、甚至不可信的黑匣子。要防止这样的事情发生，大数据需要监控和透明，这就要求新的专业知识和机构。这些新成员会帮助社会仔细检查某些领域的大数据预报，会让被数据伤害的人得到平反。
在社会上，当一个特定领域的复杂性和专业性大幅上升，因而对管理新技术的专家产生紧急需求时，我们常会看到这些新实体出现。法学、医学、会计和工程学的专业人才在超过一世纪前就经历了这种巨变。最近，电脑安全和隐私专家突然冒起，以保证公司遵从诸如国际标准组织这样的机构订立的最佳操作准则（该组织本身就是成立来满足该领域对指引的新需求的）。
大数据会需要新的一群人来担当这个角色。也许他们会被称为“算法师”。他们可能分两类——从外部监测公司的独立实体，或从内部监测公司的雇员或部门——就像公司有内部会计师和外来审计师来检查财务一样。
算法师的崛起
这些专业人士会是计算机科学、数学和统计学方面的专家；他们会检查大数据的分析和预报。算法师必须中立并保密，就像会计师和其他一些职业现在所做的那样。他们会评价数据源的选择，分析和预报工具的选择，包括算法和模型，以及对结果的阐释。在有争议时，他们会获取得出某个结果的算法、统计方法和数据集。
如果2004年的时候国土安全局有算法师，他就可能防止该局产生一张如此多错误的禁飞名单，上面竟然还有参议员肯尼迪。在日本、法国、德国和意大利，最近都有算法师本可以有所作为的例子，这些国家的人们抱怨说谷歌的“自动完成”功能诽谤了他们，这个功能会根据一个输入的名字产生一系列常见的搜索关键词。这些词基本是基于过往搜索的频率得出的：词语根据概率排列。尽管如此，当一个潜在的商业伙伴或情人上网查我们的时候，我们的名字跟“罪犯”或“妓女”放在一起的，谁能不生气呢？
我们预想的算法师是为像这样的问题提供市场导向的解决方法的人，他们的存在可能减少过分的规范管制。他们满足的需求与会计师和审计师在二十世纪早期出现应对泛滥的金融资讯所满足的需求是相似的。汹涌而来的数字让人难以理解。它要求专家以灵活而自律的方式组织在一起。市场的反应是让专门进行财务监察的有竞争力的公司形成一个新兴行业。通过提供这种服务，新型职业提升了社会对经济的信心。算法师可提供类似的信心提升，大数据按说能够并应该从中获益。
外部算法师
我们眼中的外部算法师可以在政府需要的时候，比如法庭发出命令或颁布规章，以中立审计师的身份检查大数据预报的准确性或合理性。他们也可以把大数据公司当成客户，给需要专业支持的公司提供审计服务。他们可以保证大数据应用软件的稳定性，例如反欺诈技术或库存盘点系统。最后，外部算法师可以为政府部门提供关于如何在公共领域最好地利用大数据的咨询服务。
如同医学、法学或其他专业一样，我们认为这个新行业会有一套行为准则来规管自己。算法师的中立性、保密性、竞争力和专业性是通过严格的问责规则来保证执行的。如果他们不能符合标准，他们就会惹上官司。他们也可以在庭审中被传召为专家证人，或“聆案官”，这些是由法官任命来协助审理某些复杂案件中的技术问题的。
另外，那些认为自己被大数据预报伤害的人——被拒绝实施手术的病人，被拒绝假释的犯人，被拒绝抵押贷款的申请人——可以请算法师，就像请律师一样，帮忙分析和提出上诉。
内部算法师
内部算法师在机构的内部监察大数据活动。他们不仅关注企业的利益，还关注被企业的大数据分析影响到的人的利益。他们监督大数据操作，任何人觉得自己被该机构的大数据预告伤害到的时候，内部算法师是他们第一个联络的人。他们在数据公布前检查分析的完整性和准确性。要完成头两个任务，算法师必须在他们供职的企业内享有一定程度的自由和中立性。
一个雇员对公司的运作保持中立的想法看起来可能有点反直觉，但这样的情况其实是挺普遍的。主要金融机构的监察部门就是一个例子。许多公司的董事会也是，他们要对股东而非管理层负责。许多媒体公司，包括《纽约时报》和《华盛顿邮报》都会请监察员，他们的基本职责就是保护公众的信任。这些雇员处理读者的投诉，并常在确定雇主有错时，公开谴责他们的雇主。
与内部算法师更相近的一个例子是，负责保证个人资料不被公司滥用的专业人士。举个例子，德国要求一定规模以上的公司（一般是有十个或以上雇员负责处理个人资料）安排一名数据保护代表。自二十世纪七十年代开始，这些内部代表发展起了一套职业操守和团队精神。他们定期开会，分享最好的做法和训练，并有他们自己的媒体和研讨会。另外，他们已经成功保持对其雇主及其中立检察人员身份的忠诚，一方面作为数据保护检查员，另一方面通过公司行为贯彻信息隐私的价值观。我们相信内部算法师也可以做到。
打开黑匣子
没有任何简单的方法可以让我们充分准备好迎接大数据的世界。它要求我们建立新的准则以规管自己。我们实际操作上的一系列重要改变可以在社会逐渐熟悉大数据的特点和缺点时提供帮助。我们必须设计保障，让新的“算法师”专业阶层可以评估大数据分析——这样一个因为大数据而变得难以掌握的世界才不会变成一个黑匣子，用一种不可知代替另一种不可知。
原文发布时间为：2013-11-24