浅谈大数据的发展:问题和挑战

   目前,几乎所有世界级的互联网企业,都将业务触角延伸至大数据产业。

  无论社交平台逐鹿、电商价格大战还是门户网站竞争,都有它的影子。大数据,正由技术热词变成一股社会浪潮,影响社会生活的方方面面。

  何谓大数据?大数据或称巨量资料,是指所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。(在 维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中,大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据的方法)大数据的4V特 点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。那么我们从定义上来理解一下“大数据”在《大数据时 代》所定义的四个特征中,我们可以大概感知得到它的价值:数据体量大,数据类型多,数据价值密度低,数据具有时效性。

  伴随着各种随身设备、物联网和云计算云存储等技术的发展,人和物的所有轨迹都可以被记录。在移动互联网的核心网络节点是人,不再是网页。在数据大爆炸的背景下,大数据,也面临着诸多挑战.

  来自于数据存储方面的挑战:大数据发展面临的问题是来自不同地方、不同标准、数据量大、多种结构形式、实时性等多样化要求的数据信息。这些问题无疑增加了数据采集和整合的困难,故此应修改基于块和文件的存储系统的架构设计,以克服存在的问题。

  来自于数据安全方面的挑战:数据的持续增长带来了数据的安全问题。首先,大数据因为目标大而在网络上更容易被发现;其次,大数据存在更敏感更有价值的数据,对潜在攻击者的吸引力更大。此外,个人信息的曝露,也会造成个人安全的问题。

  来自于数据显示方面的挑战:与 数据分析相比,很多用户往往更关心数据结果的显示。传统的以文本形式输出结果或者直接在电脑终端上显示结果的方法在面对小数据量或许是很好的选择,但是对 于形式复杂的海量数据是不可行的。这就需要引入可视化技术来可视化最终甚至是中间的计算结果,此外,还需要人机交互技术或者数据起源技术,使得用户在得到 结果的同时更好的理解结果的由来。

  来自于数据成本控制方面的挑战:对于那些正在使用大数据环境的企业来说,成本控制是关键的问题。想控制成 本,就意味着我们要让每一台设备都实现更高的“效率”,同时还要减少那些昂贵的部件。重复数据删除等技术已经进入到主存储市场,而且还可以处理更多的数据 类型,这都可以为大数据存储应用带来更多的价值,提升存储效率。在数据量不断增长的环境中,通过减少后端存储的消耗,哪怕只是降低几个百分点。当今,数据 中心使用的传统引导驱动器不仅故障率高,而且具有较高的维修和更换成本。如果用它替换数据中心的独立服务器引导驱动器,则能将可靠性提升多达100倍。并 且对主机系统是透明的,能为每一个附加服务器提供唯一的引导镜像,可简化系统管理,提升可靠性,并且节电率高达60%,真正做到了节省成本的问题。

  来自于数据分析方面的挑战:数 据分析是大数据处理流程的核心,因为大数据的价值就产生于分析的过程,但是它同样带来了很大的挑战。首先,数据量大带来更大价值的同时也带来了更多的数据 噪音,在进行数据清洗等预处理工作时必须更加谨慎,若清洗的粒度过细,很容易将有用的信息过滤掉,而清洗的粒度过粗,又无法达到理想的清洗效果,因此在质 与量之间需要进行仔细的考量和权衡,同时也对机器硬件和算法都是严峻的考验。其次,传统的数据仓库系统对处理时间的要求并不高,而在很多大数据应用场的要 求。

  大数据的意义是由人类日益普及的网络行为所伴生的。从海量数据中“提纯”出有用的信息,是一项非常庞大的工程,也是当下大数据时代面临的重大挑战。在经历了近几年来各界对大数据的批判、质疑、讨论、炒作之后,大数据的发展依旧任重道远。

时间: 2024-09-28 05:31:32

浅谈大数据的发展:问题和挑战的相关文章

浅谈大数据现状:误区严重 人才紧缺

文章讲的是浅谈大数据现状:误区严重 人才紧缺,大数据现在很热,企业.个人都在谈论,每个人对大数据有着自己不同的看法和观点,但是笔者通过日常与朋友们聊天,发现很多朋友对大数据仍然具有一些观念上的误区,比如很多人会认为大数据是一个最新的技术,还有一些朋友认为多有数据只服务自己一个人等等,这些问题我们在本期都会与大家讨论. 大数据不是一项最新技术 大数据现在已经融入我们的生活,人们在日常工作办公的时候都会接触到大数据,这些大量数据总会以不同的形式,以及庞大的数量存在和运用,这也导致了很多朋友认为大数据

浅谈大数据:如何成为大数据企业?

文章讲的是浅谈大数据:如何成为大数据企业,1.什么叫大数据? "大数据"是"数据化"趋势下的必然产物!数据化最核心的理念是:"一切都被记录,一切都被数字化".最近2年所产生的数据量等同于2010年以前整个人类文明产生的数据量总和,更重要的是,数据来源极大丰富,形成了多源异构的数据形态,其中非结构化数据所占比重逐年增大.牛津大学互联网研究所Mayer-Schonberger教授指出,"大数据"所代表的是当今社会所独有的一种新型的

《Hadoop与大数据挖掘》——第一篇 基 础 篇 第1章 浅谈大数据 1.1 大数据概述

第一篇 基 础 篇 第1章 浅谈大数据 当你早上起床,拿起牙刷刷牙,你是否会想到从拿起牙刷到刷完牙的整个过程中有多少细胞参与其中?这些细胞在参与的过程中会结合周围环境(可能是宏观的天气.温度.气压等,可能是微观的分子.空气中的微生物等),由你的意识控制而产生不同的反映.如果我说结合这些所有的信息,可以预测你接下来的0.000 000 01秒的动作,那么,你肯定说,这我也可以预测呀.比如正常情况下,你脚抬起来走路,那么抬起来后,肯定是要落下去的,这算哪门子预测呢?那如果我说可以预测你接下来一个小时

NEC参加CCS云计算高峰论坛,浅谈大数据的应用和基础

5月16日,中国云计算领域两大最高端实战.权威专业的云盛会之一的CCS云计算高峰论坛在京召开.NEC(中国)有限公司软件销售部部长李勇在"CCS云计算高峰论坛"上,发表了"浅谈大数据的应用和基础"的主题演讲,介绍了NEC在大数据方面的研究和举措,有听众当场表示受益匪浅,希望与NEC深入交流. 大数据时代的背景 近年来,随着互联网.智能手机及传感器等的普及,信息流量有了爆发性的增长,根据GreenIT协议会统计,2025年,社会的信息量将猛增至2006年的200倍.越

浅谈大数据的真正现状

大数据现在很热,企业.个人都在谈论,每个人对大数据有着自己不同的看法和观点,但是笔者通过日常与朋友们聊天,发现很多朋友对大数据仍然具有一些观念上的误区,比如很多人会认为大数据是一个最新的技术,还有一些朋友认为多有数据只服务自己一个人等等,这些问题我们在本期都会与大家讨论. 大数据不是一项最新技术 大数据现在已经融入我们的生活,人们在日常工作办公的时候都会接触到大数据,这些大量数据总会以不同的形式,以及庞大的数量存在和运用,这也导致了很多朋友认为大数据是当今一项最新的技术,其实不然,笔者认为,大数

浅谈大数据分析师

在大数据崛起的时代,数据分析师这个职业将会越来越受到大家的青睐.数据分析师的职业现状和发展如何?数据分析师有哪些专业要求?在工作中到底需要做什么?这些都是想走进数据分析这个行业的童鞋们的疑问,数据观小编整理了一些数据分析行业前辈们的分享内容,供大家参考. 数据分析师的职业现状和发展如何有哪些专业要求 数据分析师的职业现状和发展 前不久看到这样一条新闻"未来广告是否有效的关键是数据分析"不只是广告营销,越来越多的行业看重数据分析这一领域,在信息爆炸的今天,一个优秀的数据分析师可以帮助企业

浅谈大数据交易的价值和条件

2015年4月15日,贵阳大数据交易所正式运营, 预计到2020年,大叔局交易所将形成日均100亿的数据交易金额, 发展到1万家与大叔局有关的会员单位. 交易的数据是基于底层数据, 通过数据的清洗.分析.建模 .可视化后的结果, 大数据交易所本着以电子交易为主要形式,通过建立大叔局的网上交易系统,搭建交易平台. 数据的价值在于能够产生业务价值,而产生业务价值的多少取决于数据带来的视野的宽度和深度,以及对明智决策的支持度.从这个角度将,在资源不限的理想情况下,越多的数据来源,越能够带来宽度和广度,

浅谈大数据在出版业的应用

一.大数据的定义与特点 近几年来,"大数据"一词广泛见诸于网络.报纸以及电视等媒体,大数据的概念正在持续升温,而2014年"大数据"首次被写入我国<政府工作报告>,2015年9月,国务院印发<促进大数据发展行动纲要>,全面系统地部署了大数据未来的发展工作.值得一提的是,国务院总理李克强自2014年以来曾在各个场合多次提及"大数据"一词,在他看来,大数据对各行各业都有很大的帮助,其价值和意义正在日益体现. 作为全球最大的电子

浅谈大数据之语言和数据压缩比

不知道大家有没有看过这篇关于TWritter的文章<看Twitter如何应对大选:少些Ruby 多些Java>. 有兴趣的朋友可以去搜索一下看看. 文中说:奥巴马和罗姆尼的选举日当天,Twitter服务器每分钟处理的数目为327452条!当天人们在Twitter上发布了3100万条跟选举相关的内容,而Twitter访问量阶段性飙升,一度达到每秒15107条.在互联网世界里,真正成功的不是奥巴马,而是Twitter,因为Twitter这次没有宕机. "作为迁移Ruby的一部分,我们重新