大数据时代已来临 分析成难点

11月8日,截止到2011年底,全球网民数达22.67亿;截止到2012年6月,中国网民达5.38亿。庞大的网民每时每刻产生大量的数据,据统计:每一分钟全球电子邮件用户共计发出2.04亿封电子邮件;谷歌会处理200万次搜索;Facebook用户会共享68.4万比特的内容……同时,同时,目前用户在网上不仅仅是资讯,同时用户发微博、上传照片、上传视频等,导致数据类型呈现多样性。用户所产生的数据量还将呈现出爆炸式的增长态势,大数据时代已经来临。

在用户的数据量在成几何级数增长的同时,无可否认海量用户数据将会创造出巨大的价值,巨大的价值来源于对大数据的分析,但从目前来看,大数据处理和分析的能力远远没有跟上,如何存储、检索、清理和分析大数据是难题。

在大数据储存和备份方面,许多互联网企业单日数据量以出现数十、数百TB(1TB=1024GB)速度的增加,而总数据量已达PB(1024TB)等级,其数据量已让传统的数据库难以储存大数据。同时对企业来说,数据备份是至关重要的,缺乏数据备份可能会到导致企业毁灭性打击。目前大数据时代数据量爆炸式增长增加了备份和恢复的时间,存储设备又是有限的,数据备份和恢复将越来越困难,同时得考虑数据储存和备份如何节省电力、节约空间、节约成本等问题。

在大数据分析之前,必须对数据进行清理,包括检查数据一致性、删除重复值、处理无效值和缺失值等,对大数据来说,也包括的海量数据“噪音”,利用传统的数据分析软件来清理这些“噪音”,难度较大。同时,需要快速把大数据中的核心数据抽取出来,高效分析这些核心数据,需要建立高级分析模型,只有对核心数据进行复杂分析,发现趋势和隐藏的信息,才能使大数据真正发挥作用,才能让企业洞察和发现商机。大数据挖掘需要软硬件结合,这对软件、硬件和人才提出了较高的挑战。

另外,大数据可视化也是难点。大数据可视化就是将大数据分析结果转化为公司能够使用的信息。只有大数据分析结果通过可视化处理后,非数据分析专业人士能够充分理解语言、图表等表述出大数据所蕴含的信息,才会给公司带来的价值。大数据所包含的数据量大,数据类型纷杂,数据模型复杂,数据结果抽象,可视化难度也较大。

大数据分析专业人才缺乏。大数据时代对数据分析师的要求更高,甚至会产生新职位,例如数据科学家,CDO(首席数据执行官)、数据可视化人员和数据调整代理人等,目前来看,大数据分析职位没有具体的从业标准。但是大数据分析师必须要涉足多个领域,至少需要下面四个方面的技能:技术(软件和系统等)、数学(统计、建模和算法等)、商业分析(从事领域的相关知识)和可视化(语言和图表等),目前一般业务用户分析师或传统的数据分析师仅具备上面一个或两个技能,并不具备开发预言分析应用程序模型的技能。

“大数据”已经降临,大数据所带的难题也将在探索中得以解决。

(责任编辑:蒙遗善)

时间: 2024-09-17 04:54:26

大数据时代已来临 分析成难点的相关文章

大数据时代已来临,分析成难点

截止到2011年底,全球网民数达22.67亿:截止到2012年6月,中国网民达5.38亿.庞大的网民每时每刻产生大量的数据,据统计:每一分钟全球电子邮件用户共计发出2.04亿封电子邮件:谷歌会处理200万次搜索:Facebook用户会共享68.4万比特的内容--同时,目前用户在网上不仅仅是资讯,同时用户发微博.上传照片.上传视频等,导致数据类型呈现多样性.用户所产生的数据量还将呈现出爆炸式的增长态势,大数据时代已经来临.    在用户的数据量在成几何级数增长的同时,无可否认海量用户数据将会创造出

全民大数据时代已来 阿里数加平台详解

文章讲的是全民大数据时代已来 阿里数加平台详解,业界流行一种说法,云计算与大数据就是一枚硬币的两面,相生相惜,不可分割.在当下互联网时代,数据的价值越来越受到社会的认可,并在今天,已然成为一种普惠资源,像水.电.能源一样支持社会发展.今天,2016年的阿里云栖大会首站在上海拉开帷幕,作为本场大会的重磅新闻,阿里云全球首发了可以提供一站式大数据处理能力的平台--"数加",并全新亮相了20款新产品,通过阿里云开放出来,让"普惠大数据"成为可能. DT时代 如何让数据从成

“大数据”时代已经来临

近来,无数专家和媒体频繁提到"大数据"时代已经来临,那么到底什么是大数据,仅从字面来理解,大数据的主要特点就是"大":除了以往传统方法获取的数据外,新的数据来源层出不穷源源不断,形成一个随时间变化的巨大数据流.这股数据流摧毁了当前的数据监测和研究行业,也彻底颠覆了人们的理解和想象. 大数据何以如此之"大"?其"大"到底从何而来?要回答这个问题,首先需要了解数据的来源,这里所提到的数据,出于企业营销的角度,我们暂且狭义地理解为消

大数据时代 还有什么分析不了

大数据时代 还有什么分析不了 责任编辑:editor004 作者:韩晶 | 2016-01-07 09:45:19 本文摘自:迅视财经 互联网时代,大数据给人无限遐想,而基金公司也深度挖掘其中投资机会,截止目前为止广发.天弘.南方.博时.银河等基金公司发行或者成立相关产品,大数据基金时代已经悄然开启. 2016新年伊始,泰达宏利基金也与"炒股神器"同花顺联合推出一只大数据基金--泰达宏利同顺大数据.据悉,该基金于今日开始发行,这也是泰达宏利2016年的首发基金. 据公开资料显示,泰达宏

大数据时代的空间分析

大数据时代的空间分析 张晓祥 近年来,大数据越来越多地被用来描述正在到来的信息爆炸的时代,也引起了产学研政府部门的高度重视.首先综述了大数据和空间大数据的特点和最新发展.其次,从GIS基础理论方法的角度回顾和评述了空间分析.空间建模和空间优化等三个地理信息科学的核心议题.在此基础上,引申出空间理论方法背后隐含的空间哲学和空间思维.最后指出了大数据时代地理信息科学发展的机遇与挑战. 大数据时代的空间分析

大数据时代的互联网分析引擎

随着互联网尤其是移动互联网的高速发展,互联网文档的数量.内容的丰富度和复杂度都大大增加,互联网正朝大数据时代迈进,而用户的信息需求也趋于复杂化.除了基本的信息检索需求外,对大量相关文档的深入理解与聚合分析的需求也越来越强烈,而传统的互联网搜索引擎已经无法满足人们对该类信息的需求.针对这一问题,提出"互联网分析引擎"的构想,阐述了其与搜索引擎和OLAP分析系统的区别,介绍了一种互联网分析引擎的架构,并详细讨论了实现该引擎的核心问题. 1 引言 随着移动互联网.智能手机.社交媒体.自媒体技

中国企业需要怎么来面对大数据时代的来临?

腾讯科技讯(娄池)3月8日消息,在Teradata天睿公司全球合作伙伴计划首席分析官Bill Franks看来,大数据并不是一个商业包装,而是即将改变全世界多个行业的重要工具,自己撰写<驾驭大数据>这本书的主要目的就是要提醒大众,大数据时代真的已经来了. 显然,大数据这一变革并非一蹴而就,而仍处在稳定的量变阶段.某种意义上,Teradata天睿公司的业绩本身就能证明这一行业确实正在增长,截至 2012年12月31日,Teradata天睿公司第四季度营收为7.4亿美元,同比增长10%.2012年

大数据时代正在来临 你准备好了吗?

制图:张雷 2014年两会期间,中央电视台新闻联播设立了<两会大数据>板块,每天通过政府工作报告相关主题和议论特点进行大数据分析,给出不同形式.不同内容的关注度以及经济社会发展预测等具体生动的分析图表,令人耳目一新."大数据"也随之登上热词榜.那么,到底什么是大数据,它又有何价值呢? A 大数据有多大 在当今信息网络时代,人们的网上操作,平时的一举一动,机器的运转活动,大自然的随时变化都会产生许许多多的数据.这些数据量大且复杂,用现有的计算工具难以处理,人们形象地称之为&q

大数据时代 信息文化将成推动济宁转型“左膀右臂”

昨日上午,我市召开深入学习贯彻习近平总书记视察济宁重要讲话精神加快推进经济文化强市建设座谈会.3年来,在省委.省政府的正确领导和中央有关部委的大力支持下,全市上下以学习贯彻习近平总书记重要讲话重要批示精神为强大动力,围绕加快实现"四大发展目标",创造出了系列重大发展机遇.在文化建设.转型发展.生态环保.民生事业.党的建设各个方面都取得了显著成绩,实现了稳增长.调结构.促改革.惠民生.强党建的"多丰收". 当前,我市正处在科学发展转型发展的关键时期,作为典型煤炭资源型