大数据算法的困境

2013年,美国有一起充满争议的案子,一个因为偷窃罪被判刑的男人把威斯康星法院告了。原因是他被判整整8年有期徒刑,不是因为他的罪行,也不是因为法官的判断,而是因为一个AI(人工智能)认为,他对社会具有“高危险性”。大数据时代,我们关注最多的是数据的安全和隐私,然而,数据加上算法所带来的问题,或许要比安全和隐私重要得多。

大数据让算法前所未有的强大

机器学习和深度神经网络,克服了算法设计中人的局限;只要有数据,只要数据中有统计规律,算法就能找到这些规律。人工智能技术近几年的火热,主要得益于机器学习、深度神经网络方面的技术突破,以及大数据技术的成熟。这些技术的突破使得从前很多被认为机器不可能解决的问题,变得可以解决。过去技术人员开发信息系统,需要将领域知识在头脑中转换为算法和程序。这些技术突破改变了这一现状,消除了对领域知识的依赖。算法可以通过机器学习的方法,从大量数据中自动提取出来,不再需要人来编写。这不仅减少了错误遗漏、降低了开发成本,并且可以随着数据的变化自动更新,而不会因为现实的变化而落伍。

算法存在的问题

算法没有价值判断,最终是人给计算结果加上了价值判断。但是一旦人们把算法给出的结果,用在处理社会关系上,这些结果就对相关的每个人产生了意义。

算法让一部分人掌握了过大的权力。虽然技术突破和大数据让算法开发变得容易,但是获取到足够的数据和计算资源,开发并利用算法,仍然是一件具有相当门槛的事情。能够掌握利用算法的仍限于少数人,这就使得这些少数人在社会生活中相对于其他人占有了极大的优势。为了社会公平,我们对拥有财产优势的人征收更多的税负,对掌握权力的人施加种种制衡,但是我们对拥有算法优势的人如何限制,仍然没有可行的思路。

对算法的迷信。技术突破让算法不需要人编写,虽然减轻了人开发算法的负担,但也让人更难以理解算法。大多数深度学习产生的算法都让人无法理解,但是由于大多数情况下算法是有效的,人们即使不理解,也乐于利用算法。这就产生了一个风险:没人知道算法的边界和失效条件,因此也就不能判断算法何时会出错。由于不理解,使用者往往倾向于忽视这种风险,于是形成了对算法的迷信。威斯康星州的判案系统就是这种情况。

相应的社会约束机制难以跟上。新技术只要有效,很快就会在社会生活中广泛应用,但是新技术往往深刻地改变了人们的生活方式,而与这些改变相适应的社会约束机制,只能在新技术的社会影响日益明确之后,才能逐渐建立起来。社会规范总是滞后于社会现实,在技术快速发展的当今,这种滞后造成的问题尤为显著。今天人工智能对人们日常生活的影响,恰如一百年前汽车普及造成的影响。当美国普通家庭开始拥有汽车很多年之后,道路信号、交通规则、驾照考试等设施和机制才逐渐完善,跟上技术变革的脚步。

在变化中探索秩序。人工智能技术仍在快速发展过程中,对社会生活的种种影响才刚刚开始显现。对此我们既不能因噎废食,阻碍技术发展,也不能放任自流,任由丛林法则支配,而是必须因应技术发展的潮流和社会现实的变化,不断探索调整,兴利除弊,让技术发展始终作为推动社会进步的动力。

本文作者:赵丹

来源:51CTO

时间: 2024-11-06 09:51:08

大数据算法的困境的相关文章

菜鸟裹裹之大数据算法颠覆快递不是梦

文章讲的是菜鸟裹裹之大数据算法颠覆快递不是梦,快递小哥月收入能否过万在坊间屡屡引发热议,而据北京交通大学发布的报告显示,绝大部分快递员月薪仅在2000-4000元之间,超过6000元就属高收入. 如今,互联网正在改变快递员的生存现状,菜鸟网络发布的"快递版滴滴"--菜鸟裹裹通过大数据为快递员大幅增收,使用菜鸟裹裹抢单最多的快递员每月能增收近7000元,收入过万已不算新鲜. 大数据全面优化快递员配送线路 来自上海的百世快递快递员杨波从今年开始使用菜鸟裹裹抢单,最多时每天可利用平台抢到五十

《大数据算法》一1.2 大数据算法

1.2 大数据算法 这一节我们概述大数据算法. 1.2.1 大数据上求解问题的过程 首先我们看一看在大数据上问题求解的过程.我们面对的是一个计算问题,也就是说我们要用计算机来处理一个问题. 拿到一个计算问题之后,首先需要判定这个问题是否可以用计算机进行计算,如果学习过可计算性理论,就可以了解有许多问题计算机是无法计算的,比如判断一个程序是否有死循环,或者是否存在能够杀所有病毒的软件,这些问题都是计算机解决不了的.从"可计算"的角度来看,大数据上的判定问题和普通的判定问题是一样的,也就是

《大数据算法》一第1章 绪论

第1章 绪论 1.1 大数据概述 毫无疑问,大数据已经成为一个热门的概念,然而,不同领域(例如商业.系统结构.数据管理等)对这个概念的解读却各不相同.本节我们对大数据的定义.特点和应用进行概述. 1.1.1 什么是大数据 "大数据"的概念起源于2008年9月<自然>(Nature)杂志刊登的名为"Big Data"的专题,继而迅速得到了科学.计算机.经济等不同领域专家的响应.由于其成因复杂,对大数据目前没有公认的定义,不同的研究人员从不同领域对大数据进行

《大数据算法》一导读

前 言 本书的缘起 "大数据"在今天成为一个非常时尚的概念,其影响已经远远超过了计算机学科本身,甚至影响到了自然科学.社会科学.人文科学等.由于其深远的影响和广泛的应用,大数据一直得到IT从业人员的重视,他们对大数据相关理论.技术的学习有着强烈的需求. "算法设计与分析"是计算机科学的重要主题,进行大数据计算,"算法设计与分析"是必不可少的步骤,可以说,算法设计是"大数据落地"的关键之一.然而,虽然在今天的书店里,关于大数据的

社会学视角下的大数据方法论及其困境

大数据不仅是一种庞大数据资料的称谓,也是一种获取和分析资料的方法.在社会学研究领域,大数据的引入被认为是定量研究的范式下所做出的收集和分析资料方法的创新.但是大数据在多大程度上反映人群的状况.能否解决被研究者的主观性问题.如何洞悉变量间关系的真伪.如何解决数据缺失问题等方面,还存在一定程度的方法论困境.这就要求研究者在使用大数据进行研究时,能够在研究对象与问题的选择.变量的选取.数据的清理等一系列工作中更加谨慎,切勿犯简化社会生活.盲目推广分析结果的错误. 1.引言 近年来,"大数据"

毫秒级大数据算法让生物识别取代密码

十一出行哪里车最多?哪里好停车?出门没带钱包和手机,怎么消费?在生物识别大数据应用方面,这些都可以依据海量视频摘要检索技术.虹膜识别技术.行人多特征检索技术.步态轨迹识别技术等当下最火的人工智能技术一一解决.可以说,以后人们外出可以不用带手机.银行卡.只要眨眨眼,刷个虹膜,世界就会向你敞开大门. 海量视频分分钟检索出"目标" 9月19日,齐鲁软件园F1座,刚驻进半年的中科唯实(济南)科技有限公司内,几十台电脑一字排开,电脑屏幕上是高新区各个路口自动存储的视频."性别.年龄段.

大数据算法在诸多领域“弄潮”

研究恒星和对付癌症看起来似乎风马牛不相及,但大数据算法将两者关联到了一起,并成为其中的"弄潮儿". 据英国广播公司报道,天文学家和肿瘤学家近日在英国剑桥大学召开跨学科会议,探讨如何对不断涌来的数据进行管理.在此次会议上,天文学家尼古拉斯·沃尔顿与英国剑桥癌症研究所的詹姆斯·布伦顿一见如故,与会人士也倾听了英国剑桥癌症研究所的卡洛斯·卡尔达斯教授对未来如何使用大数据的畅想. 恒星算法可用来攻克癌症 会议上,卡尔达斯说:"天文学家们需要对望远镜拍摄的天空图片进行深入研究,但无法通

《大数据算法》一1.4 本书的内容

1.4 本书的内容 基于大数据的定义.大数据算法的定义以及大数据算法的特点,本书按照如下方式组织:第一部分是亚线性算法,包括时间亚线性算法(第2章)和空间亚线性算法(第3章),其中包括如何利用近似算法和随机化算法设计思想来设计和分析亚线性算法.第二部分是外存算法,将讨论如何面向外存来设计I/O有效的算法,包括外存算法概述(第4章).外存查找结构(第5章)和外存图数据算法(第6章).第三部分是并行算法,由于并行算法的内容非常广泛,本书仅介绍数据密集型并行算法,包括MapReduce算法概述(第7章

大数据算法与分析技术国家工程实验室将建设

国家发展改革委近日正式下发通知,同意由西安交通大学作为承担单位,国家电网公司全球能源互联网研究院作为联合共建单位,筹建"大数据算法与分析技术国家工程实验室". 国网信通部落实公司党组关于推进大数据的要求,组织联研院等单位深入开展大数据基础理论和分析算法的研究,并邀请徐宗本院士等国内大数据领域权威专家作为学术委员,于2016年1月26日在联研院正式组建"全球能源互联网大数据实验室".依托该实验室,国网信通部进一步部署联研院与西安交大展开深入合作,共同申报并获批建设&q