大数据技术带来的那些常见挑战

大数据研究领域可谓炙手可热,然而对数据中的价值加以利用仍然充满挑战。今天,我们将对此类挑战进行详尽解析。

大数据的生成速度令人错愕,事实上90%的可用数据是在过去两年当中才刚刚出现。如今我们需要努力分析大数据,从而发现其中可用以指导决策及战略性业务转型的洞察结论。

大数据应用已经开始在改进产品、提升服务水平及客户服务等领域发挥作用。下面来看一组具体数字:只有17%的企业尚无任何计划建立大数据项目,而超过70%的企业已经开始使用大数据——包括将其整合至业务当中,或者作为试水性项目。数据技术正在逐步成熟,亦有越来越多组织机构准备将其纳入信息管理与分析基础设施当中。

然而,以下大数据带来的“大挑战”同样不容忽视。

找到用于交流大数据的语言

各类科学,包括化学乃至数学都凭借着一种特定语言的出现而获得巨大的推动作用。很明显,我们必须在大数据找到同样值得依赖的特定语言,从而像使用代数符号以及合适的编程语言那样更好地对其加以分析。

提升数据可靠性

随着可用数据量的不断增长,我们必须有效区分“数据”的“信号”以及“有价值信息”。遗憾的是,截至目前仍有很多企业难以找到最理想的数据以及具体使用方式。这区分“垃圾数据”与保障数据质量已经成为一大关键性难题。

数据访问

数据访问与连接性同样是一大障碍。麦肯锡公司调查显示,目前仍有大量数据点未能接入网络,因此企业往往还不具备管理整体业务所必需的数据平台。

将更多复杂数据纳入进来

如果说大数据的起步阶段是在同“简单”数据作斗争(例如数字表以及图形等),那么如今需要处理的数据正变得愈发复杂:图片、视频以及对物理乃至生活环境的描述等等。因此,我们有必要重新审视并构建大数据工具及架构,用以捕捉、存储并分析多样性数据。

更好地整合时间变量

时间维度亦是大数据发展中的一大重要挑战,即如何分析长期因果关系,而不仅仅是处理实时数据流。最后,这一问题亦会给存储领域带来挑战。我们需要认真选择以切实承载如此庞大的数据存储量。

IT架构

数据世界的技术环境正在快速发展,因此能够有价值数据的前提在于同拥有强大创新能力的技术伙伴开展合作,从而建立正确的IT架构以高效适应各类变化因素。

安全性

最后但同样的重要的是安全问题。我们需要利用团队中每位成员的对应身份进行数据访问管理,同时配合适当的数据加密机制,从而避免各类潜在风险。

大数据技术带来的规模化趋势同样给科学、经济以及政治等领域带来深远影响,甚至给人类的发展轨迹打上了深深的烙印。

大数据正挑战我们的分析能力以及对世界的认知方式。因此在迎接变化及不断成长的同时,我们亦应当坚守以人为本的原则,立足精益、与时俱进、秉持诚信并服务于整个世界。

本文作者:核子可乐

来源:51CTO

时间: 2024-11-14 11:26:25

大数据技术带来的那些常见挑战的相关文章

《Spark大数据分析:核心概念、技术及实践》大数据技术一览

本节书摘来自华章出版社<Spark大数据分析:核心概念.技术及实践>一书中的第1章,第1节,作者穆罕默德·古勒(Mohammed Guller)更多章节内容可以访问"华章计算机"公众号查看. 大数据技术一览 我们正处在大数据时代.数据不仅是任何组织的命脉,而且在指数级增长.今天所产生的数据比过去几年所产生的数据大好几个数量级.挑战在于如何从数据中获取商业价值.这就是大数据相关技术想要解决的问题.因此,大数据已成为过去几年最热门的技术趋势之一.一些非常活跃的开源项目都与大数据

媒体该如何应对“大数据”技术?

2011年,西方有关"大数据"(big data)的理论像旋风一样席卷知识界,大数据的学术讨论接连不断.媒体火热的爆炒,各种危言耸听的结论,充满种种迷思,谷歌上竟有13多亿条这方面的报道和言论.我国IT业和新闻界也开展了探讨,并发表多篇文章,西方的"数据驱动新闻"(data-driven journalism)."数据决定话语自由"(allowing the data to speak freely)的说法在国内流行起来.许多文章声称,媒体如不谙

大数据技术论坛(下):大数据时代的掘金术

[CSDN现场报道]2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办,以推进大数据科研.应用与产业发展为主旨的2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕. 用友软件高级工程师 白小勇 2014中国大数据技术大会第二日上午的大数据技术论坛,用友软件高级工程师白小勇主持了下午的论坛.前通联数据

云计算与大数据时代的投资机遇和挑战

2013中国国际云计算技术和应用展览会于4月7日在京举办,云基地执行董事秦捷受邀作为演讲嘉宾出席会议,并做<风险资本的投资机遇和挑战>主题演讲.他在会上阐述云计算与大数据时代带来的机会.挑战及问题,以及并解释Gartner's Hype Cycle 与风险投资的关系. 互联网化:资源集中和云服务 互联网的存在促使数据量急剧增大,在大数据量的基础上产生云计算,所以秦捷认为云计算革命在十年前就已经存在.他表示大数据产生的主要因素有四个:计算机的计算资源.存储.带宽.网络接入的增长. 为什么大型互联

视频云时代挑战下大数据技术及其应用发展趋势

近年来,云计算.云存储.大数据等技术在互联网行业得到了高速发展,技术.产品都得到了较好的市场检验,已被全社会广泛认可.在安防行业,在市场客观需求引领下,主流厂商积极将相关技术引入到行业内,并结合行业特征进行演进,推动云计算.云存储.大数据在行业内的高速发展,同时推出一系列广受市场认可的产品与理念,而云计算.云存储产品也成为各主流厂商主在有关平安城市解决方案中的核心系统之一,这其中所应用的核心技术就成为了衡量所属公司行业地位的关键指标. 视频云时代挑战下大数据技术及其应用发展趋势 视频监控技术趋势

大数据技术在发展 挑战与机遇并存

大数据技术是在传统数据处理手段无法应对海量数据的实时需求的情况下,采用新的信息技术来应对大数据爆发进行数据处理的技术.大数据技术一般可以包括基础架构支持.数据采集.数据存储.数据计算和数据展现交互等. 大数据技术的分类 大数据技术涵盖的范围十分广阔.基础架构支持方面主要包括了支撑大数据处理的基础架构级数据中心管理.云计算平台.云存储设备及技术.网络技术.资源监控等技术.而为了处理数据,则需要有大规模物理资源的云数据中心和具备高效的调度管理功能的云计算平台的支撑. 数据采集技术方面包含了数据采集的

大数据技术解读 引领未来也须应对挑战

大数据技术是在传统数据处理手段无法应对海量数据的实时需求的情况下,采用新的信息技术来应对大数据爆发进行数据处理的技术.大数据技术一般可以包括基础架构支持.数据采集.数据存储.数据计算和数据展现交互等. 大数据技术的分类 大数据技术涵盖的范围十分广阔.基础架构支持方面主要包括了支撑大数据处理的基础架构级数据中心管理.云计算平台.云存储设备及技术.网络技术.资源监控等技术.而为了处理数据,则需要有大规模物理资源的云数据中心和具备高效的调度管理功能的云计算平台的支撑. 数据采集技术方面包含了数据采集的

数据科学家和大数据技术人员工具包

数据科学家的常用工具与基本思路,数据分析师和数据科学家使用的工具综合概述,包括开源的技术平台相关工具.挖掘分析处理工具.其它常见工具等几百种,几十个大类,部分网址.为数据科学教育和知识分享,提高数据科学人员素质. 数据科学融合了多门学科并且建立在这些学科的理论和技术之上,包括数学.概率模型.统计学.机器学习.数据仓库.可视化等.在实际应用中,数据科学包括数据的收集.清洗.分析.可视化以及数据应用整个迭代过程,最终帮助组织制定正确的发展决策数据科学的从业者称为数据科学家.数据科学家有其独特的基本思

移动 云计算与大数据正面临严峻的安全挑战

由移动.云计算.社交技术以及大数据应用为主导的各类创新型方案可谓方兴未艾,但由此带来的又一轮安全风险同样不容忽视.上述技术的出现一方面满足了我们对于IT创新的需求,另一方面却也成为培养新型网络威胁的温床. 移动安全四面楚歌 移动计算所引发的潜在威胁主要源自移动通信本身"安全性低下或者说通道安全性低下"的客观现实.据该机构披露,此类系统中所使用的软件尚不够"成熟",而且由于自身"便携性"的原因此类设备很容易丢失或被盗.事实上,移动设备普及程度的不断