大数据2014年面临几道关

  大数据从“概念”走向“价值”,基于大数据的推荐与预测逐步流行,数据科学将兴起,安全与隐私成为重要问题,大数据产业成为战略性产业——这是中国计算机学会大数据专家委员会对“大数据”2014年十大趋势预测中的内容。在这份预测中,还包括数据商品化与数据共享联盟化,大数据生态环境逐步发展等。同时,大数据专家委员会预测,2014年,互联网和电子商务、金融(股市预测、金融分析)、健康医疗(流行病监控和预测等),生物信息、制药等方面将会有令人瞩目的应用。刚刚过去的2013年,大数据在医疗、金融、电子商务和城市管理等方面应用较多。

  “大数据”从2012年预热,到2013年被各行各业所提及,各种舆论声音纷杂,有人认为这是一个机遇,也有人认为这会是一场“泡沫”。2014年,大数据将面临的问题有哪些?

  数据开放仍是大问题

  数据应用的前提是数据开放,这已经是共识。中国工程院院士、中国互联网协会理事长邬贺铨指出,中国人口居世界首位,但2010年中国新存储的数据为250PB,仅为日本的60%和北美的7%。目前我国一些部门和机构拥有大量数据但宁愿自己不用也不愿提供给有关部门共享,导致信息不完整或重复投资。2012年中国的数据存储量达到64EB,其中55%的数据需要一定程度的保护,然而目前只有不到一半的数据得到保护。

  去年12月14日,在中国计算机学会青年科学家论坛(YOCSEF)上,中科院地理科学与资源研究所研究员、中国工程院院士孙九林先生回顾了我国科学数据开放共享历程:2003年,科技部在财政部的支持下设立了科技基础条件平台建设专项,科学数据共享工程作为重要组成部分纳入科技基础条件平台建设;2008年,科技部发布973计划资源环境领域数据汇交管理办法;2009年,第一批科学数据共享项目验收,转入运行服务阶段;2011年,国家科技基础条件平台组织首批认定。

  孙九林介绍了美国在数据开放方面的做法。美国政府提供政策和经费保障,使数据信息中心群成为国家信息生产和服务基地,保障数据信息供给不断,利用网络把数据和信息最便捷、及时地送到包括科学家、政府职员、公司职员、学校师生在内所有公民的桌上和家庭中,把全社会带进了信息化时代。

  “让每一位公民在数据、信息、知识、理论、决策、效益的各个环节上发挥才华,让民众把数据信息流动过程中和应用过程中的各种价值充分挖掘出来,国家为他们才华的发挥和价值的挖掘带好路、服务好、创造好环境。”孙九林认为这就是美国政府选择的数据信息共享的“大循环”道路。该思路在利益分配上的基本点就是让全社会受益,让整个国家受益。

  目前,我国还没有国家层面的专门适合数据共享的国家法律,只有相关的条例、法规、章程、意见等。

  针对于大数据利用的前端——数据共享的问题,孙九林认为,十多年的数据共享取得了很大的成效,特别是全社会的共享理念得到共识,但存在的问题仍然很突出:缺少国家层面的政策,已有分散的若干意见约束力不够,高层管理人员对数据开放共享的深刻意义的认识有待提高;现有国家数据共享平台难以满足国家发展和科技创新对数据资源的需求;缺少数据开放共享的专职队伍和相应的数据专家以及管理人才;缺少对专职数据共享服务人员的合理评价机制和标准等等。

  急需“国家大数据战略”宏观统筹

  “不要被大数据(Big Data)的 Big 误导,大数据更强调的不是数据大,而是数据挖掘。”在第十届国家信息化专家论坛上,邬贺铨院士指出,大数据需要更强调数据挖掘利用,关键的是要有国家大数据战略。

  邬贺铨提出,需要制定国家大数据发展战略,大数据是一个应用驱动性很强的服务,其标准和产业格局尚未形成,这是我国跨越发展的机会,但切忌一哄而起在目的不明的情况下到处建设大数据中心,到处搞“数据房地产”,而是需要从战略上重视大数据的开发利用,将它作为转变经济增长方式的有效抓手。同时,我国需要尽快制定“信息保护法”和“信息公开法”,既要鼓励面向群体而且服务于社会的数据挖掘,又要防止针对个体侵犯隐私的行为,提倡数据共享又要防止数据被滥用。

  中国计算机学会专家委员会指出:大数据时代有两点非常有利于中国信息产业的发展,第一是大数据技术发开源为主,迄今为止没有形成技术垄断;第二点,中国的人口和经济规模决定了中国的数据资产规模全球最大。因此,政府、学界、产业界和资本市场应该通力合作,在确保国家数据安全的前提下,最大程度地开放数据资产,释放大数据的巨大价值。

  目前已经有一批企业开始用数据创业。在国外已经有不少用数据提供服务、做数据分析、进行可视化研究的公司,有些已经取得不错的业绩,甚至有很好的前景而拒绝大公司收购。有人预测,如果国内互联网创业者,能从海量的“垃圾”信息中嗅出些端倪,找到某个切入点,没准能成为行业的佼佼者。不过,现在在国内找出个像样的“大数据”初创公司并非易事;但也有人认为,正是有这样的空白存在,才让人看到机遇。

  各国大数据人才紧缺

  大数据人才无疑是紧缺人才。Gartner咨询公司预测,大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预计,美国到2018年深度数据分析人才缺口将达14万~19万人,能够分析数据帮助公司获得经济效益的技术及管理人才有150万人的缺口。中国能理解与应用大数据的创新人才更是稀缺资源。

  IDC(互联网数据中心)发布预测报告称,2017年大数据技术和服务市场将增至324亿美元,实现27%的年复合增长率。此外还预测基于大数据的决策解决方案将开始取代或影响知识工作者角色,这势必引发人才转型。

  面对大数据人才的短缺,各国如何在培养数据科学家和数据工程师?《2013中国大数据技术与产业发展白皮书》是由中国计算机学会大数据专家委员会历时半年多编写的,其中专门梳理了对大数据人才的培养。

  在我国,香港中文大学从2008年起设立“数据科学商业统计”科学硕士学位;复旦大学从2007年起开设数据科学讨论班,2010年开始招收数据科学博士研究生,并从2013年起开设《数据科学》课程;北京航空航天大学于2012年设立大数据工程硕士学位。

  在美国,加州大学伯克利分校从2011年开设《数据科学导论》;伊利诺伊大学香槟分校从2011年起举办“数据科学暑期研究班”;哥伦比亚大学从2013年起开设《应用数据科学》课程,并从2013年起开设相关培训项目,还计划从2014年起设立硕士学位,2015年设立博士学位;纽约大学从2013年秋季起设立“数据科学”硕士学位……在英国,邓迪大学从2013年起设立“数据科学”科学硕士学位。

  大数据专家委员会认为,从目前各国的人才培养来看,数据科学家应掌握数学、统计学、数据分析、商业分析和自然语言处理等学科技能,具有较宽的知识面,具有独立获取知识的能力。复旦大学的课程设置强调了数据科学家是研究数据的科学家,而不仅仅是一个数据工程师或者数据分析师。

时间: 2024-11-10 10:39:15

大数据2014年面临几道关的相关文章

大数据2014年面临几道关 急需“国家大数据战略”宏观统筹

大数据从"概念"走向"价值",基于大数据的推荐与预测逐步流行,数据科学将兴起,安全与隐私成为重要问题,大数据产业成为战略性产业--这是中国计算机学会大数据专家委员会对"大数据"2014年十大趋势预测中的内容.在这份预测中,还包括数据商品化与数据共享联盟化,大数据生态环境逐步发展等.同时,大数据专家委员会预测,2014年,互联网和电子商务.金融(股市预测.金融分析).健康医疗(流行病监控和预测等),生物信息.制药等方面将会有令人瞩目的应用.刚刚过去

过分依赖大数据让乐高面临破产,让其转危为安的竟是一双旧鞋中的小数据

2003 年年初,乐高公司陷入困境,销售额同比下降了30% .2004 年,销售额又下降了10%.乐高CEO约恩·维格·克努德斯托普说:"我们一直亏本,都火烧眉毛了.公司还将面临债务违约的危险,很可能破产." 面对销售额的持续下滑,乐高找来了世界知名的营销大师马丁·林斯特龙,期待林斯特龙能够将乐高从低迷的业绩中拯救出来.林斯特龙从挖掘一双就运动鞋中的小数据出发,寻找用户需求,最终让乐高转危为安. 过分依赖大数据让乐高面临破产 这家丹麦玩具商怎么突然落到这步田地?乐高的问题大概要追溯到1

大数据征信面临的挑战与对策

随着征信市场化步伐加快,大数据征信成为热门话题,受到互联网金融和资本市场的追捧.征信与大数据有着基因层面的密切关系,一方面,征信数据是天然的大数据,理论上与消费者和企业相关的数据都可以用来作征信:另一方面,征信其实就是将分散在不同信贷机构.碎片化的局部信息,加工融合成为具有完整视觉效果的全局信息,从中挖掘出风险信息,破解交易过程中信息不对称问题.而大数据技术的优势就在于能够更好地利用IT先进技术,将支离破碎的数据整合起来,形成真正有用的信息.所以,大数据对传统征信业务模式的影响将是变革性的,甚至

浅析大数据时代信息安全面临的挑战与机遇

"世界的本质是数据,大数据开启了一次重大的时代转型,也是一场生活.工作与思维的大变革".随着世界各大国在陆.海.空.天.电.网多维度战略的紧张部署,信息技术爆炸式发展.基于大数据发展对国家.社会的组织结构和治理模式,对商业.企业的决策方式和业务策略,对个人的生活思维方式等各方面产生的深刻影响,各界逐渐开始关注"信息"本身而不只是"技术"了.在大数据时代,人类信息管理准则也将面临重新定位,而在信息安全问题日益突出的当下,大数据给信息安全带来新挑战的

Intel研究院院长吴甘沙演讲全文:大数据分析师的卓越之道(32PPT珍藏版)

亲爱的各位同仁,各位同学,早上好.大数据时代数据分析师应该做什么改变?我今天的标题是大数据分析师的卓越之道.这个演讲信息量比较大,我讲的不一定对,即使对的我也不一定真懂了,所以请大家以批判的方式去理解. 这是一个典型的数据分析的场景,下面是基础设施,数据采集.存储到处理,左边是数据处理,右边价值输出.连接数据和价值之间的是知识发现,用专业词汇讲,知识就是模型,知识发现就是建模和学习的过程.问题来了,大数据时代带来怎样的变化?首先数据变得非常大,数据是新的原材料,是资产.货币,所以大家对价值输出的

大数据2014论坛暨京津高村科技创新园推介会在京举行

ZDNet至顶网软件频道消息:7月31日,主题为"协同京津冀.决战大数据"2014论坛暨京津•高村科技创新园推介会在京举行.论坛围绕"两个问题展开讨论:一是,探讨我国大数据产业顶层设计.技术应用.商业模式等未来趋势:二是,探讨天津武清高村科技创新园区的产业定位.差异化竞争和核心竞争力. 来自天津市武清区政府领导.行业协会领导.世界500强科技企业的高管.国内中小微软件企业的创业者,政府数据中心部门主管.行业信息化专家.优秀CIO.知名媒体记者等近200位业内人士参会. 会上,

《数据分析变革:大数据时代精准决策之道》一第1章 了解运营型分析1.1 定义运营型分析

第1章 了解运营型分析 数据分析变革:大数据时代精准决策之道 毋庸置疑,巨大变革正在发生!运营型分析正在引领以分析为特征的工业革命,很多公司运用分析手段的疆界也因此不断向前推进.运营型分析将源源不断地显著增加那些必须执行分析来构建和加速的流程数目.后面我们会提到,诸如决策时限以及数据洞察时间等新概念将会成为影响如何投入以及决定关注方向的主要推动力. 运营型分析需要在整个企业内部建立一套规则明确.条理清晰的指导方法,同时还需要很多技术.流程甚至是企业文化方面的配套变更.人们起初并不习惯把许多日常决

赵国栋:大数据时代经济发展转型之道

文章讲的是赵国栋:大数据时代经济发展转型之道,2015年7月19日,以"开源大数据技术的生态与应用"为主题的"第四届中国大数据应用论坛"在北京大学隆重举办.本次论坛由北京大学信息化与信息管理研究中心和中国新一代IT产业推进联盟主办,北京大学CIO班教务办公室和北达软协办,CIO时代网承办.活动当天来自业界的专家领导.大数据专家.技术大咖.知名企业CIO.知名媒体等近200位嘉宾参与了此次盛会.本届论坛的主题聚焦开源大数据技术的生态与应用,嘉宾们分别从不同的侧面揭示了

《数据分析变革:大数据时代精准决策之道》一第2章 更多数据……巨多数据……大数据!

第2章 更多数据--巨多数据--大数据! 数据分析变革:大数据时代精准决策之道 如果你所在的企业正在利用大数据支撑运营型分析工作,本章讲的正是这时你需要掌握和了解的那些关乎大数据的重要趋势.过去的许多年间,企业积累的数据越来越多.尤其是到了近几年,数据累积的节奏开始加速.今天,数据格式往往呈现新颖化的趋势,分析手段往往呈现多样化的趋势.大数据正是在这个趋势上打的标签,它带来的是更大的数据挑战,更多的数据源,以及不同的数据格式. 当一家企业开始思考大数据,并且思考大数据将如何影响企业的业务分析流程