算法师:打开数据复杂世界黑匣子的人

本文摘自维克托·迈尔-舍恩伯格与肯尼迪·库克耶合著的《大数据:改变我们生活、工作、思考的革命》

现在的电脑系统是根据编写程序时明确要求它们遵循的规则来进行运算的。因此,当一个结果偶尔无可避免地出错的时候,我们可以回过头去,看看电脑是如何得出这个结果的。比如说,我们可以问“为什么外部传感器发现湿度突然大幅上升时,">自动驾驶系统会将飞机抬高五度?”今天的电脑代码可以被打开检查,知道如何翻译代码的人可以追踪并理解运算的基础,无论这个基础如何复杂。

但是,有了大数据分析之后,这种追踪就会变得困难许多。算法预言的基础可能会复杂得让常人难以理解。

当电脑根据程序编写的明确要求遵循系列指令,比如IBM在1954年发展的将俄语翻译为英语的程序,人可以轻易理解为什么软件会用一个词代替另一个词。但谷歌翻译在判断英语单词“light”是该翻译成法语的“lumière”还是“léger”时(即描述光还是重量),却动用了数十亿页的翻译资料。一个人不可能追踪到程序作出最后选择的准确原因,因为这些选择是基于海量的数据和大量的统计运算的。

大数据运作的规模也超乎我们的想象。比如,谷歌分辨几个搜寻关键词和流感的关联是测试四亿五千万个数学模型的结果。相对地,辛西娅?鲁丁(Cynthia Rudin)为检修孔是否会着火设计了106预测指标,而且她可以向联合爱迪生电力公司的经理们解释为什么她的程序优先了某些检查位置。人工智能界所说的“可解释性”,对于我们常人来说是很重要的,我们总是想知其所以然,而不仅是知其然。可是,如果系统自动生成了601个预报,而不是106个呢?如果这601个中大多数都不是特别重要,但把它们放在一起,就会提升模型的精确性?任何预报的基础都可能非常复杂。要说服经理们重新分配有限的预算,她该告诉他们什么呢?

在这个情景中,我们可以看到,大数据预报的风险,及其背后的算法和数据集,可以变得无法问责、不可追踪、甚至不可信的黑匣子。要防止这样的事情发生,大数据需要监控和透明,这就要求新的专业知识和机构。这些新成员会帮助社会仔细检查某些领域的大数据预报,会让被数据伤害的人得到平反。

在社会上,当一个特定领域的复杂性和专业性大幅上升,因而对管理新技术的专家产生紧急需求时,我们常会看到这些新实体出现。法学、医学、会计和工程学的专业人才在超过一世纪前就经历了这种巨变。最近,电脑安全和隐私专家突然冒起,以保证公司遵从诸如国际标准组织这样的机构订立的最佳操作准则(该组织本身就是成立来满足该领域对指引的新需求的)。

大数据会需要新的一群人来担当这个角色。也许他们会被称为“算法师”。他们可能分两类——从外部监测公司的独立实体,或从内部监测公司的雇员或部门——就像公司有内部会计师和外来审计师来检查财务一样。

算法师的崛起

这些专业人士会是计算机科学、数学和统计学方面的专家;他们会检查大数据的分析和预报。算法师必须中立并保密,就像会计师和其他一些职业现在所做的那样。他们会评价数据源的选择,分析和预报工具的选择,包括算法和模型,以及对结果的阐释。在有争议时,他们会获取得出某个结果的算法、统计方法和数据集。

如果2004年的时候国土安全局有算法师,他就可能防止该局产生一张如此多错误的禁飞名单,上面竟然还有参议员肯尼迪。在日本、法国、德国和意大利,最近都有算法师本可以有所作为的例子,这些国家的人们抱怨说谷歌的“自动完成”功能诽谤了他们,这个功能会根据一个输入的名字产生一系列常见的搜索关键词。这些词基本是基于过往搜索的频率得出的:词语根据概率排列。尽管如此,当一个潜在的商业伙伴或情人上网查我们的时候,我们的名字跟“罪犯”或“妓女”放在一起的,谁能不生气呢?

我们预想中的算法师是为像这样的问题提供市场导向的解决方法的人,他们的存在可能减少过分的规范管制。他们满足的需求与会计师和审计师在二十世纪早期出现应对泛滥的金融资讯所满足的需求是相似的。汹涌而来的数字让人难以理解。它要求专家以灵活而自律的方式组织在一起。市场的反应是让专门进行财务监察的有竞争力的公司形成一个新兴行业。通过提供这种服务,新型职业提升了社会对经济的信心。算法师可提供类似的信心提升,大数据按说能够并应该从中获益。

(责任编辑:吕光)

时间: 2024-10-25 06:35:27

算法师:打开数据复杂世界黑匣子的人的相关文章

算法师——大数据和人工智能的发展结晶

想必大家应该对<黑客帝国>里面Leo躲避枪林弹雨的高难度动作印象深刻吧,而在这部电影里,也到处充盈着大数据和人工智能的影子.算法师通过对数据库的标记.对数据库的检测.编排,甚至对敌人发出攻击,当时看起来相当科幻的镜头,如今已经是被广泛运用的技术. 所谓大数据,即是在从各种各样类型的数据中,快速获得有价值信息的能力.明白这一点至关重要,也正是这一点促使该技术具备走向众多企业的潜力. 从亚马逊的比价推荐,Nefilix公司对<纸牌屋>受捧的成功策划.微软纽约研究院的经济学家David

为大数据与人工智能而生新职业:算法师

大家应该还记得<黑客帝国>里面Leo躲避枪林弹雨的高难度动作,这部电影,充满了大数据与人工智能的色彩.算法师通过对数据库的标记.对数据库的检测.编排,甚至对敌人发出攻击,当时看起来相当科幻的镜头,如今已经是被广泛运用的技术. 所谓大数据,即是在从各种各样类型的数据中,快速获得有价值信息的能力.明白这一点至关重要,也正是这一点促使该技术具备走向众多企业的潜力. 从亚马逊的比价推荐,Nefilix公司对<纸牌屋>受捧的成功策划.微软纽约研究院的经济学家David Rothschild对

请问xamarin种,如何打开数据链接(如果检测到没有网络的情况下)

问题描述 请问xamarin种,如何打开数据链接(如果检测到没有网络的情况下) 请问xamarin种,如何打开数据链接(如果检测到没有网络的情况下)thank in advance 解决方案 https://msdn.microsoft.com/zh-cn/magazine/mt147239.aspx

大数据“矿工” 世界上最艰辛的IT人

矿工,应该是这个世界上最辛苦的工人!这让笔者不经联想到,一个月以前,在风风火火的"2016贵阳数博会"上,总理又给中国市场指出了一块新"矿源"--大数据. 大数据"矿工"世界上最艰辛的IT人 "那么问题来了,大数据矿工,你的艰辛别人知道吗?"或许曾今,凑热闹的我们只关注绚丽的数据可视化效果.炫酷的用户画像模型,期待着数据支撑决策后的指点江山--可是,最基础的数据怎么来?城市规划专家曾讲,"我国现阶段城市人口最基础真实

ndroid 提示 关闭-Android 代码实现去掉打开数据连接提示和打开wlan提示

问题描述 Android 代码实现去掉打开数据连接提示和打开wlan提示 代码实现去掉打开数据连接提示和打开wlan提示 解决方案 http://bbs.gfan.com/android-7457816-1-1.htmlhttp://bbs.hiapk.com/thread-20349235-1-1.html 你点击进去看看对你有没有帮助. 如果回答对你有帮助,请采纳

图片-Android 代码实现去掉打开数据连接提示

问题描述 Android 代码实现去掉打开数据连接提示 关闭或者打开数据连接会出现提示,怎么代码实现去掉提示 解决方案 只要取消这个APP使用数据传送的权限 解决方案二: 能说的具体点吗?是android 哪个权限,网络那几个权限我都加了,没有用

智能数据连接世界——TalkingData智能数据峰会在京召开

2016年9月13日,由国内领先的独立第三方移动数据服务平台TalkingData主办的--"T11 2016暨TalkingData智能数据峰会"在北京中国大饭店隆重召开.国内外各领域的数十位数据专家.行业精英.知名学者齐聚一堂,深入探讨了业界建设性议题,引导行业方向,创造海量商机,堪称数据领域一年一度的行业盛会. 近年来,大数据正日益成为国家基础性战略资源,蕴藏着巨大的潜力和能量.在近期作为G20重要组成部分的B20峰会上,其主旨演讲中便突显了一句对整个互联网IT行业最为重要的判定

【转】Nero v9.4.26.0 多语(简体中文)版+完美破解(世界上最多人使用的烧录软体)

为流动影音媒体技术的创造者,Nero 允许随时随地在任意设备上创建和分发流动影音媒体内容.公司开发不依赖于独特平台的.基于标准的解决方案,让用户可以不用再考虑硬件和文件格式,自由地欣赏他们的音乐.照片和视频. 如今,全球有超过三亿的家庭.移动和专业用户在使用Nero屡获大奖的软件解决方案.Nero 还为战略合作伙伴提供可用于各种最新平台和设备的应用程序.编解码器.工具.软件开发套件和编程接口.Nero 通过硬件制造商.国际合作伙伴.零售商或直接通过官方网站的网上商店在全球分发产品.中文名称:Ne

滴滴打车发布平安夜国人出行数据报告,总计3000万人挤进出租车

DoNews 12月26日消息 滴滴打车今天发布了<2014年平安夜国人出行数据报告>,滴滴打车借助大数据团队的技术支撑,引导乘客.提示司机,提升了城市出租车调度效率. 据统计,2014年平安夜,使用滴滴打车召租车的乘客打车成功率达90%,全国共计有3000万人使用滴滴打车到达了目的地:当晚使用滴滴打车平台的出租车司机平均比以往多接2.6个订单. 平安夜作为当下中国广大中青年人最热衷追捧的"洋节",引发的"圣诞效应"在短时间内让各类社会消费行为达到顶峰.