何刚:Hadoop成为打开大数据之门金钥匙

文章讲的是何刚:Hadoop成为打开大数据之门金钥匙,2013年11月22-23日,作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会,2013 Hadoop中国技术峰会(China Hadoop Summit 2013)于北京福朋喜来登集团酒店隆重举行。来自国内外各行业领域的近千名CIO、CTO、架构师、IT经理、咨询顾问、工程师、Hadoop技术爱好者,以及从事Hadoop研究与推广的IT厂商和技术专家将共襄盛举。


▲IT168专题报道:http://www.it168.com/redian/Hadoop2013/

  Hadoop中国技术峰会由China Hadoop Summit专家委员会主办,由IT168、ITPUB、ChinaUnix协办,渠达传媒负责承办。本届大会将秉承“效能、应用、创新”为主题,旨在通过开放、广泛的分享和交流,着力于促进中国企业用户提高应用Hadoop的能力和水平,降低Hadoop技术应用门槛和投资预算门槛,推广大数据的应用价值。以下为京东技术副总裁兼首席科学家何刚先生的演讲实录。


▲京东技术副总裁兼首席科学家 何刚

  2010年以来,随着网络社交的成熟,移动互联网的飞速发展,网络购物的强势增长,以及云计算、物联网的广泛应用,产生了更多更复杂的应用,也使更多的移动设备和智能终端接入到网络,个人家庭和企业基本实现了24小时在线状态,由此产生的数据及增长速度比历史上时期都要快。信息量每年以59%的速度在增长,IDC的研究全球数据量大约每两年翻一番,预计2020年世界上存储总量达到35个GB.

  用户的文档、网络内容、社交媒体等,数据种类的格式也日渐丰富,半结构化和非结构化的数据也是几何级数的增长,数据的采集和处理也必须是实时迅速的,总之海量多样和实时是大数据的显着特征。

  中国作为世界大国之一,作为全球为数不多的快速发展经济体,国内网民规模、移动用户规模、智能终端用户规模和增速在全世界都是首屈一指。企业和政府的信息化有巨大的挖掘的广度和深度,意味着中国的数据市场是全球含金量最大的大数据金矿。也许2012年大数据高富帅的时髦词汇,2013年屌丝和土豪也可以跟你聊聊什么是大数据。2013年是全民大数据时代已经上升为国民战略,奥巴马将大数据战略上升为国家意志,这是未来的“新石油”,将成为综合国力的重要的组成部分。

  未来对数据的占有和控制甚至将成为路权、海权、空权之外的另一种国家资产,随着数据的爆炸,数据的采集、挖掘、分享等任务将是牵一发动全身的挑战,人类可以发现新的知识和价值,带来大科技、大知识、大发展。

  今年大数据也走进了中国政府的视野,广州和重庆发布了政府大数据计划,十三届三中全会多出提及统计、税收、房地产等关键领域的统一数据平台,大数据是推动政府转型的重要的礼器。大数据也将成为中国的国家战略。

  我们面前是一个体量非常大的数据集,采集、存储、计算是以往无法完成的,2006年Hadoop诞生,随着越来越多的用户的加入,不断的使用贡献和完善,形成了强大的生态企业,从09年开始随着云计算和大数据飞速发展,Hadoop作为海量数据分析的最佳解决方案,开始受到IT厂商和互联网企业的关注,出现了很多Hadoop的商业版和支持Hadoop的产品,例如雅虎使用四千个节点的机群运行,包括存储日志和数据,Hadoop技术凭借可以关联结构化和非结构化数据的能力,扩展的成本低廉,高可靠、高性能等优势正在对全球大数据产业发挥着重要的技术工具作用。

  国内基于Hadoop的应用也已经落地开花,尤其是互联网领域,熟练掌握了并在广告搜索等领域广泛的Hadoop技术,京东商城Hadoop商城也是应用仓储配送等数据,中国的高校和科研院所基于Hadoop包括系统优化和安全性上做了研究,多以开源的形式回馈给Hadoop社区。新的业务模式会不断的涌现,Hadoop也在向电信、电子商务、生物制药等领域拓展,相信中国这片大数据沃土让,依靠所有同行的创造性工作,Hadoop技术将会不断完善,Hadoop的商业项目会遍地开花,为中国大数据产业发展提供更多的推动力。

  各位,大数据浪潮已经不可逆转,以Hadoop为代表的技术成为了推动历史的车轮,让我们共同来完成我们的历史使命吧,我的演讲到此结束,并预祝大会顺利召开,谢谢大家!

作者:陶然

来源:IT168

原文链接:何刚:Hadoop成为打开大数据之门金钥匙

时间: 2024-09-23 08:01:55

何刚:Hadoop成为打开大数据之门金钥匙的相关文章

Hadoop成为打开大数据之门金钥匙

2013年11月22-23日,作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会,2013 Hadoop中国技术峰会(China Hadoop Summit 2013)于北京福朋喜来登集团酒店隆重举行.来自国内外各行业领域的近千名CIO.CTO.架构师.IT经理.咨询顾问.工程师.Hadoop技术爱好者,以及从事Hadoop研究与推广的IT厂商和技术专家将共襄盛举. Hadoop中国技术峰会由China Hadoop Summit专家委员会主办,由IT168.ITPUB.ChinaUn

美妆视频小红唇如何打开大数据之门

        小红唇是美妆类的短视频社区电商,各种快速上线的新功能和线上线下的营销活动的效果数据,对于产品计划和公司策略有着决定性的指导意义.但随着业务的快速发展,小红唇面临着如下瓶颈:如何从纷繁的日志.业务数据中提取出有价值的信息,并通过产品数据来指导每一步的运营决策,是小红唇快速发展中亟待解决的问题.       "在使用数加之前,我们采用报表自开发的模式,随着业务的不断拓展,BI的需求越来越多强烈."小红唇技术负责人王洋说,报表开发代码量越来越大.也越来越复杂,维护十分吃力,弊

零售业如何用Hadoop开启大数据之门?

文章讲的是零售业如何用Hadoop开启大数据之门,在过去几年,全球零售商一直试图利用大数据创造价值.由于其大数据分析基础架构的限制,许多工作被一再推迟.Hadoop为这些零售商打开了新的大门,它可以解决他们在过去几年在大数据领域面临的许多问题和挑战. Hadoop:跨多门编程语言的大数据解决方案 Hadoop背后的技术最初是由Google大约在10年前开发的.核心代码主要是用Java编写的,但有一些是用C编写的.然而,它运行在一个称为MapReduce的编程模型中,这允许开发人员用其他语言创建新

拥抱Hadoop领跑大数据 实现价值回报

本文讲的是拥抱Hadoop领跑大数据 实现价值回报,当大数据风暴来临的时候,你是否已经做好准备?2012年对于企业来讲最为企业CIO所关心的话题之一必然要属于大数据.我们看到无论是个人还是企业,随着互联网.3G技术的普及以及企业自身数据的积累,大量的数据被产生,而这些大数据最终在存储.安全以及价值转换将成为企业关注的焦点. 相关数据调查显示,到2020年,电子数据存储量将在2009年的基础上增加44倍,达到35万亿GB.根据IDC数据显示,截止到2010年,这个数字已经达到了120万PB,或1.

打开大数据研究的潘多拉魔盒

导语 近年来,大数据研究方法逐渐应用于社会学科领域,运用大规模用户数据,社科领域研究者得以从新的视角理解用户媒介使用习惯.语言.与情感.然而,在大数据研究不断普及的背景下,如何规范大数据研究的伦理准则,如何保证研究对象的隐私权,以及如何研究现有互联网公司的伦理问题,这些问题看似遥远,但是却直接影响大数据研究者的行为准则.此外,回答与大数据研究.实践相关的伦理问题,将有助于增加普通公众对大数据的了解.本期[大数据与社会]栏目将以案例讨论的形式梳理在大数据研究和实践中所涌现出的若干问题,解释大数据研

Facebook专家:Hadoop不足以处理大数据

文章讲的是Facebook专家:Hadoop不足以处理大数据,随着大数据在各个业务领域的发展和应用,相关的技术和工具也层出不穷,其中Hadoop框架受到更多的关注和应用.Facebook分析主管Ken Rudin最近在纽约举行的一个Strata+Hadoop世界大会发表主题演讲时表示,不要小看关系型数据库技术的价值.他认为,Hadoop编程框架可能是"大数据"运动的代名词,但它并不是企业从大规模存储的非结构化信息中得到价值的唯一工具. 有很多很普及的大数据的观念需要被质疑,首先一点就是

Hadoop之后:大数据的未来

ZDNet至顶网服务器频道 04月03日 :在实时数据世界里,为什么我们还这么执着于Hadoop?根据451 Research调查数据显示,围绕批处理架构的Hadoop仍然是大数据[注]的代表技术,尽管其声誉仍然超过实际部署情况. 还没有真正部署Hadoop的企业可能想要再等一等.而随着Apache Spark等其他技术(Storm.Kafka等)的出现,我们似乎与Hadoop的批处理渐行渐远,逐渐转向实时数据的未来. 批处理不是重点 Cloudera的Doug Cutting是一个非常聪明的人

Apache Hadoop已成为大数据行业发展背后的驱动力

随着互联网技术的发展,当今网络中每天都在产生海量的信息,这其中包括半结构化和非结构化的数据.组织可以通过对海量信息的分析了解到他们客户真正需要的以及为什么需要的原因.如今Apache Hadoop已成为大数据行业发展背后的驱动力. Facebook的工程师相信他们运行着最大的基于Hadoop的数据收集平台.Facebook基础设施工程副总裁Jay Parikh表示Facebook大多数的网站数据存储在单一的集群之中,容量可达100PB,Facebook的集群相比于其他公司的集群可谓是独树一帜.

Hadoop在电信大数据业务系统中的应用

文章讲的是Hadoop在电信大数据业务系统中的应用,2013年11月22-23日,作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会,2013 Hadoop中国技术峰会(China Hadoop Summit 2013)于北京福朋喜来登集团酒店隆重举行.来自国内外各行业领域的近千名CIO.CTO.架构师.IT经理.咨询顾问.工程师.Hadoop技术爱好者,以及从事Hadoop研究与推广的IT厂商和技术专家将共襄盛举. ▲IT168专题报道:http://www.it168.com/re