文章讲的是何刚:Hadoop成为打开大数据之门金钥匙,2013年11月22-23日,作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会,2013 Hadoop中国技术峰会(China Hadoop Summit 2013)于北京福朋喜来登集团酒店隆重举行。来自国内外各行业领域的近千名CIO、CTO、架构师、IT经理、咨询顾问、工程师、Hadoop技术爱好者,以及从事Hadoop研究与推广的IT厂商和技术专家将共襄盛举。
▲IT168专题报道:http://www.it168.com/redian/Hadoop2013/
Hadoop中国技术峰会由China Hadoop Summit专家委员会主办,由IT168、ITPUB、ChinaUnix协办,渠达传媒负责承办。本届大会将秉承“效能、应用、创新”为主题,旨在通过开放、广泛的分享和交流,着力于促进中国企业用户提高应用Hadoop的能力和水平,降低Hadoop技术应用门槛和投资预算门槛,推广大数据的应用价值。以下为京东技术副总裁兼首席科学家何刚先生的演讲实录。
2010年以来,随着网络社交的成熟,移动互联网的飞速发展,网络购物的强势增长,以及云计算、物联网的广泛应用,产生了更多更复杂的应用,也使更多的移动设备和智能终端接入到网络,个人家庭和企业基本实现了24小时在线状态,由此产生的数据及增长速度比历史上时期都要快。信息量每年以59%的速度在增长,IDC的研究全球数据量大约每两年翻一番,预计2020年世界上存储总量达到35个GB.
用户的文档、网络内容、社交媒体等,数据种类的格式也日渐丰富,半结构化和非结构化的数据也是几何级数的增长,数据的采集和处理也必须是实时迅速的,总之海量多样和实时是大数据的显着特征。
中国作为世界大国之一,作为全球为数不多的快速发展经济体,国内网民规模、移动用户规模、智能终端用户规模和增速在全世界都是首屈一指。企业和政府的信息化有巨大的挖掘的广度和深度,意味着中国的数据市场是全球含金量最大的大数据金矿。也许2012年大数据高富帅的时髦词汇,2013年屌丝和土豪也可以跟你聊聊什么是大数据。2013年是全民大数据时代已经上升为国民战略,奥巴马将大数据战略上升为国家意志,这是未来的“新石油”,将成为综合国力的重要的组成部分。
未来对数据的占有和控制甚至将成为路权、海权、空权之外的另一种国家资产,随着数据的爆炸,数据的采集、挖掘、分享等任务将是牵一发动全身的挑战,人类可以发现新的知识和价值,带来大科技、大知识、大发展。
今年大数据也走进了中国政府的视野,广州和重庆发布了政府大数据计划,十三届三中全会多出提及统计、税收、房地产等关键领域的统一数据平台,大数据是推动政府转型的重要的礼器。大数据也将成为中国的国家战略。
我们面前是一个体量非常大的数据集,采集、存储、计算是以往无法完成的,2006年Hadoop诞生,随着越来越多的用户的加入,不断的使用贡献和完善,形成了强大的生态企业,从09年开始随着云计算和大数据飞速发展,Hadoop作为海量数据分析的最佳解决方案,开始受到IT厂商和互联网企业的关注,出现了很多Hadoop的商业版和支持Hadoop的产品,例如雅虎使用四千个节点的机群运行,包括存储日志和数据,Hadoop技术凭借可以关联结构化和非结构化数据的能力,扩展的成本低廉,高可靠、高性能等优势正在对全球大数据产业发挥着重要的技术工具作用。
国内基于Hadoop的应用也已经落地开花,尤其是互联网领域,熟练掌握了并在广告搜索等领域广泛的Hadoop技术,京东商城Hadoop商城也是应用仓储配送等数据,中国的高校和科研院所基于Hadoop包括系统优化和安全性上做了研究,多以开源的形式回馈给Hadoop社区。新的业务模式会不断的涌现,Hadoop也在向电信、电子商务、生物制药等领域拓展,相信中国这片大数据沃土让,依靠所有同行的创造性工作,Hadoop技术将会不断完善,Hadoop的商业项目会遍地开花,为中国大数据产业发展提供更多的推动力。
各位,大数据浪潮已经不可逆转,以Hadoop为代表的技术成为了推动历史的车轮,让我们共同来完成我们的历史使命吧,我的演讲到此结束,并预祝大会顺利召开,谢谢大家!
作者:陶然
来源:IT168
原文链接:何刚:Hadoop成为打开大数据之门金钥匙