细数大数据领域待解决问题

大数据,现在已经不仅仅是人们日常工作和生活当中的必需品了,很多国家已经开始将大数据技术和应用上升到国家的战略层面,在2012年3月,美国政府就宣布将大数据以及相关产业上升为国家战略,很多行业包括军事、能源等都被列入到了大数据应用领域。

其实从上述内容我们不难看出,大数据的诞生和发展带给我们的不仅仅是机遇,同时在技术和应用层面用户也面临着很多挑战和困难,放眼国内的大数据领域市场,有很多行业压力摆在我们面前,本期我们就来说说国内目前的大数据仍然面临的几大问题。

数据来源良莠不齐

我们都知道,我国国内的人口众多,大数据给我们带来的机遇和压力都不小,作为一个新兴领域,尽管大数据意味着大机遇,拥有巨大的应用价值,但同时也遭遇工程技术、管理政策、人才培养、资金投入等诸多领域的大挑战。只有解决这些基础性的挑战问题,才能充分利用这个大机遇,让大数据为企业为社会充分发挥的最大价值与贡献。

丰富的数据源是大数据产业发展的前提。而我国数字化的数据资源总量远远低于美欧,每年新增数据量仅为美国的7%,欧洲的12%,其中政府和制造业的数据资源积累远远落后于国外。

现在很多企业时时刻刻都在产生着大量数据,但这些数据如何归集、提炼始终是一个困扰。而大数据技术的意义确实不在于掌握规模庞大的数据信息,而在于对这些数据进行智能处理,从中分析和挖掘出有价值的信息,但前提是如何获取大量有价值的数据。

大数据时代,我们需要更加全面的数据来提高分析预测的准确度,因此我们就需要更多便捷、廉价、自动的数据生产工具。除了我们在网上使用的浏览器有意或者无意记载着个人的信息数据之外,手机、智能手表、智能手环等各种可穿戴设备也在无时无刻地产生着数据。

云计算平台和大数据之间的相辅相成关系是现在IT业界所共识的,机等各种网络入口以及无处不在的传感器等,都会对个人数据进行采集、存储、使用、分享,而这一切大都是在人们并不知晓的情况下发生。

数据分析模型建设困难

现在越来越多的用户开始试图用大数据分析技术来去解决很多问题,但是大数据的大,一般人认为指的是它数据规模的海量。随着人类在数据记录、获取及传输方面的技术革命,造成了数据获得的便捷与低成本。

大数据的真正价值不在于它的大,而在于它的全面:空间维度上的多角度、多层次信息的交叉复现;时间维度上的与人或社会有机体的活动相关联的信息的持续呈现。

要以低成本和可扩展的方式处理大数据,这就需要对整个IT架构进行重构,开发先进的软件平台和算法。这方面,国外又一次走在我们前面。特别是近年来以开源模式发展起来的Hadoop等大数据处理软件平台,及其相关产业已经在美国初步形成。

用户使用权和隐私的平衡

很多人现在一说到大数据就“谈虎色变”,究其很重要的原因之一就是大数据挖掘和分析技术带来的用户隐私的泄露。有专业人士指出,中国人口居世界首位,但2010年中国新存储的数据为250PB,仅为日本的60%和北美的7%。2012年中国的数据存储量达到64EB,其中55%的数据需要一定程度的保护,然而目前只有不到一半的数据得到保护。

笔者在以前的文章当中曾经写过,大数据技术其实是一把双刃剑,我们如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私,逐步加强隐私立法,将是大数据时代的一个重大挑战。

数据增值的关键在于整合,但自由整合的前提是数据的开放。在大数据的时代,开放数据的意义,不仅仅是满足公民的知情权,更在于让大数据时代最重要的生产资料、生活数据自由地流动起来。

数据的管理难度

海量数据通过挖掘、收集、存储、分析、最后被应用在不同行业当中,这当中的众多步骤在管理方面都是需要仔细计划的。因为显而易见,大数据的用户体验效果很有可能直接影响到企业以及个人用户的一些决策。

大数据能够真正发挥作用,深层次看,还要改善我们的管理模式,需要管理方式和架构的与大数据技术工具相适配。大数据应用领域仍窄小,应用费用过高,制约大数据应用。国内能利用大数据背后产业价值的行业主要集中在金融、电信、能源、证券、烟草等超大型行业。

编辑的话

大数据技术作为当下最为火热的IT话题,已经开始在很多行业和企业当中进行了充分的应用,放眼国外一些领先企业的大数据解决方案我们不难发现,和云计算、虚拟化等诸多技术之间的整合作用是十分重要的,所以在未来国内的大数据市场发展当中,利用云平台的高扩展性进行灵活整合是我们需要关注的。

(责任编辑:mengyishan)

时间: 2024-10-17 06:24:51

细数大数据领域待解决问题的相关文章

电商改变了我们什么 细数大数据时代的O2O

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 2012年,我们开始谈论大数据时代,与此同时,随着移动互联网的快速发展,平板电脑和智能手机的普及运用,O2O终于摆脱团购的概念,正式被单独提及为一种新模式的存在.如果追溯这个模式,我们最早应该可以回顾到1995年的瀛海威和1999年的8848,这些电子商务网站的先驱者开创了一种崭新的购销模式,以后的黄金岁月里,依据营销实体的差异,B2B.B2

2017年大数据领域,这7大技术将退役!

文章讲的是2017年大数据领域,这7大技术将退役,我们已经在大数据领域进行了很长时间的探险了,虽然大数据已经不再让人眼前一亮和感到新鲜,但技术的不断更新足以让你时刻关注这个领域.同时,这也是很多企业技术更新最快的领域,但还是有一些技术会长期占据靠前的位置,直到有更好的替代品出现为止. 许多技术在未来面临着很大变化,或者重大升级.以下的这些技术,你或许可以考虑替换掉了: 1.MapReduce. MapReduce速度很慢,它很少成为解决问题的最佳方式.还有其他算法可供选择 - 最常见的是DAG,

大数据领域33个预测,开启未知的2016

数据平民崛起 甲骨文公司预测一种新型用户:数据平民(Data Civilian)会崛起.该公司称:"虽然复杂的数据统计可能仍局限于数据科学家,但数据驱动的决策不会是这样.在未来一年,更简单的大数据发现工具让业务分析员可以寻找企业Hadoop集群中的数据集,将它们重新做成新的混搭组合,甚至运用探索性机器学习方法来分析它们. "大数据"会消亡 Nucleus Research公司公开发表了不同意见,预测我们所知道的大数据会消亡.该公司称:"在过去两年,每家公司及其人员似

专访佰腾科技大数据团队,谈专利大数据领域的挑战与实践

11+大数据行业应用实践请见https://yq.aliyun.com/activity/156,同时这里还有流计算.机器学习.性能调优等技术实践.此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps:更多精彩内容参见大数据频道:https://yq.aliyun.com/big-data . 江苏佰腾科技有限公司成立于2006年,是一家专业从事知识产权服务的高科技服务企业,国内知名的知识产权服务机构

粤数大数据公司领跑广东省大数据产业发展

为加快推进广东省云浮市大数据产业的发展,日前,广东粤数大数据有限公司与广东省云浮市人民政府签订框架合作协议,正式参与云浮市大数据产业发展,力争将云浮市打造成辐射"珠三角"及"粤西南"地区大数据产业基地. 这是贯彻落实国家和广东省大数据战略的具体行动,也是云浮市搭上"大数据"发展快车的关键性里程碑. 政府支持 建设"中国云谷" 近年来,大数据作为"互联网+"以及大众创业.万众创新的重要组成部分和有效手段,逐渐

在“大数据”领域攻城略地的百度

昨天,百度百家The Big Talk上来了一位远道而来的客人--MIT动力实验室主任Alex Pentland,他给中国互联网圈带来了一个题为<大数据开启大未来>的分享.The Big Talk到此已经举办了三期,摒弃对业界.趋势的探讨,百度请来的都是技术气息颇重的大学教授,他们带来的技术及技术应用的理解确实让国内互联网界耳目一新. 国内一线互联网里称得上"技术驱动"的公司,数来数去恐怕就只有百度,其余腾讯.阿里加上后起之秀小米多半都是模式驱动.依托于中国庞大的网民数量,

未来 云计算将在大数据领域扮演怎样的角色?

企业存储环境主要是围绕记录系统构建起来的,侧重于这些问题:为数据记录长度固定的文件购买哪些类型的存储介质和管理系统,所存储数据的性质是实时数据.准实时数据,还是只是偶尔需要访问或完全可以用数据归档保存起来的批量填充的数据等. 自从大数据进入企业数据中心和业务部门,一切改变了――单个的大数据文件可以用数TB.甚至数PB来衡量.Hadoop等分析平台上的大数据并行处理与事务数据的按顺序处理有着明显区别.不出所料,存储方面要考虑的因素随之变化. 这种变化在数据分析和高性能计算领域体现得最为明显.这个领

大数据领域的“黑马”? OpenPOWER带来多样化选择

人类对科技的探索从未停止.科技发展融入生活的方方面面,带给人们更便捷的体验.电影<钢铁侠>中的托尼·斯塔克之所以能有如此建树,与他的智能"贴身管家"贾维斯密不可分.荧幕上的贾维斯帮助托尼提醒约会.计算路径.找出敌人弱点,完胜对手,生活中如果能拥有"贾维斯"就太棒了. 现实生活中的人工智能系统"贾维斯"早就真实存在的,他的名字也许你并不陌生:Watson(沃森).Watson具备超强的认知计算能力以及自我学习的能力,可以更好地跟人直接沟

惠普演示云计算、移动化、信息安全和大数据领域的创新解决方案

2013年5月8日,上海--惠普公司今日亮相2013中国(上海)国际技术进出口交易会.在270平米的专属展区内,惠普专家将围绕"IT新型态"这一主题全面讲解和演示惠普在云计算.移动化.信息安全和大数据领域的创新解决方案. 当今时代,一种IT新型态正在由云计算.移动化.信息安全与大数据等趋势的发展推动而成.它改变了技术消费和交付的方式,以及终端用户的使用方式.IT新型态意味着信息技术的使用更简便.灵活.速度更快.成本更低,将为企业带来新的发展机遇,帮助企业克服从传统模式转向IT新型态的过