拍砖闲话大数据——中国数据量有多大?

这是一个注定要被拍砖的问题,但是这样拍着改着也可能就真明确了。所以无论如何,还是先抛出块砖头吧。

我们都在说大数据时代来临,信息和数据大爆炸。从2013年初开始,对于大数据爆发的焦虑感,紧迫感,不由自主地被卷入的甚至无力的感觉,驱动众多行业、企业和团体去关注和开始接触和了解大数据,自觉或不自觉的,主动或不得已地去融入这波洪流。但是,真的说到大数据,我们身边到底有多少数据量,它们都分布在哪些行业,哪些数据是目前可用的,哪些行业已经在使用数据,进入产业互联网和数据引导的变革了?

可能看到的版图依旧模糊。因此,我们怀抱很好的希望,以第一个吃螃蟹并期待来自行业的矫正和拍砖的态度,首先尝试对于国内各个领域,行业以及机构的数据拥有情况,使用情况以及未来路径做一个粗犷地调研、梳理和判断,对大数据时代我国各个领域数据资产的拥有和使用情况,也就是我们数据资产的家底做个盘点,也对各个行业、系统进军大数据,以及拥抱产业互联网的进度和未来做个简单判断。事实上,大数据之题无疑繁若星辰,然而只有在相对完整的视图下,繁星若尘,我们才可得以一窥天机。

闲话少叙,现在开始算账。

从我们手头掌握的数据来看,2013年度,中国存储市场出货容量超过1个EB,存储总量而IDC曾经发布的预测表明在未来的3-4年,中国存储总容量可能达到18个EB.从数据存储市场的需求来看,互联网、医疗健康、通信、公共安全以及军工等行业的需求是主要的,且上升态势明显。

鉴于存储和服务器的紧密相关,我们从已经获得的资料可以知道,目前全球运行的服务器总量超过5000万台,美国国内运行的服务器总体容量接近1000万台。从各种市场公开数据来看,2013年中国内地服务器销售总数接近为100万台。大体估算,截止到2013年底,中国内地整体在运行的服务器总数量在300万台以上。

从现有存储容量看,中国目前可存储数据容量大约在8EB-10EB左右,现有的可以保存下来的数据容量大约在5EB左右,且每两年左右会翻上一倍。这些被存储数据的大体分布为:媒体/互联网占据现有容量的1/3,政府部门/电信企业占据1/3,其他的金融、教育、制造、服务业各部分占据剩余1/3数据量。

公开数据显示,互联网搜索巨头百度2013年拥有数据量接近EB级别、阿里、腾讯声明自己存储的数据总量都达到了百PB以上。此外,电信、医疗、金融、公共安全、交通、气象等各个方面保存的数据量也都达到数十或者上百PB级别。

在目前被广泛引用的IDC和EMC联合发布的“2020年的数字宇宙”报告预测到2020年,全球数字宇宙将会膨胀到40000EB,均摊每个人身上是5200GB以上,这个量将会如何被有效存储和应用,我们眼下还很难想象。然而我们看到该报告指出,从现在起到2020年,全球数字宇宙的膨胀率大约为每两年翻一番。事实上,根据上述调查结论和服务器容量调查,我们也能做出个相对合理的推断:目前,全球产生的数据量中仅有1%左右的数据能够被保存下来,也就是说今天全球能够被保存下来的数据也就是在50EB左右,而其中被标记并用于分析的数据更是不到10%.

作为全球人口和计算设备保有量的大国,我国每年所能产生的数据量也极为庞大,有数据说2014年甚至可能达到ZB级别,但是真正被有效存储下来的数据仅仅是其中极微少部分,中国保存下来数据占全球数据的比例大约在10%左右,也就是上面说的5EB.这些数据中,目前已被标记并用于分析的数据仅达到500PB左右,也是接近10%的一个比例。

伴随着云计算迅速普及和各行业,各企业和部门对于数据资产保存和利用意识的增强,以及通过互联网、大数据对产业进行变革的意愿,未来2-3年一定会有越来越多的行业、大企业步入到PB、百PB、甚至EB级别数据俱乐部,未来3-3年中国的数据总量也将呈翻倍上升态势,我们预测2015年中国就可能突破10EB数据保有量,被标签和分析利用数据量也将上升到EB级别,这些数据增长中互联网、政务、医疗、教育、安全等行业和领域所做贡献最大,而相对传统的物流、生产制造、甚至农业等领域数据拥有量的增长将更加明显。

时间: 2024-10-26 10:23:23

拍砖闲话大数据——中国数据量有多大?的相关文章

好的服务器哪里找---中国数据!

问题描述 因为专业,所以信赖---中国数据中国数据联合南京上海镇江电信北京网通推出主机托管增值业务,中国数据是南京镇江唯一一家机房骨干接点网托管服务商,顶级网络环境和高强度电信级专用机架,为对运行环境有专门要求的高级网络运营提供托管服务及充足的带宽保证,并可为客户提供实时带宽监测与报告;托管客户可对设备有拥有和配置权.并可根据用户的要求为用户预留足够的发展空间.凡是主机托管,服务器租用的用户,可以随时提出参观机房环境.以及测试机房带宽等要求,中国数据拥有近10万家客户,代理商多达1800家,托管

2.8亿条、49.1TB数据免费用!中国人口与健康科学大数据首次对社会公布

2017年1月4日,国家人口与健康科学数据共享平台在国家人口与健康科技资源发布会上,首次向社会发布我国人口与健康领域的大数据资源.本次发布的大数据数据量高达49.1TB.2.8亿条,包括生物医学.基础医学.临床.公共卫生.中医药学.药学.人口与生殖健康七大类. 中国工程院院士.共享平台管理中心主任刘德培院士说,此次发布的数据较为详尽地反映了我国居民健康状况.以我国国民体质与健康数据库的建设为例,抽样调查了16个省份的48个县市居民,其中4省还进行了二次跟踪调查,指标涉及12大类.240余项,还包

中国人工智能学会通讯——从大数据到大知识——自然语言处理领域的投资机会

今天我报告的题目是<从大数据到大知识--自然语言处理领域的投资机会>.其实搞投资也是挺苦的事,我最近才开始学习,投资的活很专业,没有常人想象的那么风光.我今天讲的题目有四个方面,第一是对AI时代的看法:第二,NLP是AI皇冠上的明珠:第三,我们的AI之路及ABC融合的想法:第四,NLP领域的投资方向. 前面的不用讲了,我们不太愿意谈人工智能,但是不得不谈,因为大家都在谈.包括我们开复同学,前不久搞了一篇很高点击量的自媒体文章<我不是李开复,我是人工智能>.从投资的方向上来看,201

大数据,中国可实现技术和应用超越

12月6日下午,陕西省工信厅副厅长蔡苏昌在"2012西咸新区大数据高峰论坛"上演讲前讲了一件小事:一位北京的朋友在得知陕西要在北京召开关于大数据的论坛时调侃道:"你们陕西人一直挺实在的,怎么现在也学会忽悠了!"从物联网到智慧城市,从云计算到大数据,面对近几年信息技术领域日新月异的发展,习惯于从传统产业发展视角看信息技术发展的人着实感到眼花缭乱,而认为陕西发展大数据只是追风的怀疑显然是这种心态的折射. 事实上,就在12月4日,IBM在京举行了主题为"凝聚专家

Sybase中国技术总监卢东明:大数据时代的数据库挑战

日前,在Sybase IQ 15.4媒体活动上,CSDN联合几家技术媒体共同采访了Sybase中国技术总监卢东明.卢东明就大数据给传统数据库厂商的冲击.列式和行式数据库的比较.以及其他热点话题分享了看法. Sybase中国技术总监 卢东明 卢东明首先简单介绍了SAP旗下的5大数据库产品: Sybase Adaptive Server Enterprise简称ASE(行式数据库) Sybase IQ(列式数据库) Sybase SQL Anywhere(小型嵌入式数据库) HANA(完全基于内存.

产业互联网(大数据中国 第四期)

产业互联网(大数据中国 第四期) 我们看到互联网金融.互联网旅游.互联网购物.互联网制造以及在线的医疗.教育等,看到企业管理和组织方式.企业融资和销售方式,甚至一些企业内部的人力资源.法律.财务.会议组织.车辆使用等职能都在被互联网改造,或者在新的平台重组变成为新的产业.如果说以前我们的企业无视互联网的存在可能会失去竞争力,未来这样的企业根本不可能存在,就像现在没有企业说不需要水或者电这样的基础设施一样. 互联网对于传统行业的渗透.改造以及带来的创新能力和商业模式升级,带动的是企业管理和商业模式

云中的大数据:数据速度、数据量、种类、真实性

本文重点介绍使用大数据的应用程序,解释大数据分析背后的基本概念,以及如何将这些概念与商业智能 (BI) 应用程序和并行技术相结合,比如 "云扩展" 系列第 3 部分中介绍的计算机视觉 (CV) 和机器学习方法. 大数据分析与视频分析的区别在于所处理数据类型的广度上,而且与所使用的数据挖掘或 MapReduce 方 法相比,所提供的交互式分析和搜索工具可能更加复杂,而且比 Google BigQuery 的运行时间长得多.例如 ,Google BigQuery 使用列式搜索来压缩和加速海

落实国家战略 打造中国云谷 —— 山西阳泉大数据及智能物联网产业发展大会即将召开

在阳泉,这一位于山西省东部的新兴工业城市,由科技所推动的经济转型与产业升级正在发生.2017年9月1日,国务院印发<国务院关于支持山西省进一步深化改革促进资源型经济转型发展的意见>(国发[2017]42号)明确提出关于"支持山西(阳泉)智能物联网应用基地试点建设",阳泉市委.市政府正积极培育大数据物联网产业,不断加速大数据.云计算.物联网等技术领域与社会经济各个行业领域的融合. 当前,为迎接党的十九大的胜利召开,贯彻落实<国务院关于支持山西省进一步深化改革促进资源型经

2016大数据企业排行榜揭示中国数据发展

文章讲的是2016大数据企业排行榜揭示中国数据发展,7月14日,首席数据官联盟在京发布了2016年<中国大数据企业排行榜>.据悉,本次排行榜由北京大学电子政务研究院.中国新一代IT产业推进联盟共同指导,由首席数据官联盟专家组依据大数据企业评价指标体系对国内大数据企业进行综合评定而成. ▲现场出席专家以及企业代表合影 据了解,此次<中国大数据企业排行榜>得到业界的大力支持,发布会由中华网.中关村智能硬件产业联盟.北京优智活孵化器协办.机械工业信息中心处长白涌如.北京大学电子政务研究院