Amr Awadallah:通过来自Cloudera的Hadoop来压缩大数据 - 产品和技术

Amr Awadallah:通过来自">Cloudera的Hadoop来压缩大数据 发布时间:2012.05.25 10:31      来源:赛迪网     作者:赛迪网

【赛迪网讯】Cloudera创始人兼CTO Amr Awadallah近日访华,他表示,我们都知道如何去存储数据,但不知道如何去处理或者是回答一些关于数据的问题。我们可以通过使用Hadoop让数据存留时更长,完成数据良好的测算和计算。

不管是什么操作系统,都有两个核心任务:存储文件,以及在文件之上运行应用程序。Hadoop将其合二为一,不仅能够存储文件而且还能够运行应用程序,在文件顶层运行程序,而且它是在很多的服务器之上,来做这样的一个数据操作中心。

Amr Awadallah表示Hadoop能提供三个业务价值,具体表现在:

1. 灵活性,扩展性。传统数据库的管理系统是通过用一个程序进行,当你载入这些数据,这个程序已经进行预定义了,如果有些东西是它没有定义的,就不能够载入,这个程序让大家在读取数据时候非常快。但是,它没有足够的灵活性,而Hadoop则能够使用边读边写的程序,我们只需要处理一些文件,把这些文件原模原样给Hadoop,不管什么格式我都可以进行处理。

2. 可以扩展性。所谓的扩展就是能够扩展硬件,计算机,也能够扩展人的能力。用传统方式的话说,不管设计任务还是其他的程序,你必须按照预定义的方式,进行复杂操作,才能够成功扩展。Hadoop只需要增加服务器,不需要做表或者其他层面上的操作,也不需要写程序,这样以来,系统会被你分配更多的服务器。

时间: 2024-10-01 08:15:44

Amr Awadallah:通过来自Cloudera的Hadoop来压缩大数据 - 产品和技术的相关文章

Hadoop之后:大数据的未来

ZDNet至顶网服务器频道 04月03日 :在实时数据世界里,为什么我们还这么执着于Hadoop?根据451 Research调查数据显示,围绕批处理架构的Hadoop仍然是大数据[注]的代表技术,尽管其声誉仍然超过实际部署情况. 还没有真正部署Hadoop的企业可能想要再等一等.而随着Apache Spark等其他技术(Storm.Kafka等)的出现,我们似乎与Hadoop的批处理渐行渐远,逐渐转向实时数据的未来. 批处理不是重点 Cloudera的Doug Cutting是一个非常聪明的人

2013 Hadoop Summit 大数据产品汇总

大数据是当下IT领域最活跃的话题之一.没有比近日在圣何塞举行的Hadoop Summit 2013更好的地方去了解关于大数据的最新动态了. 有超过60家大数据公司参与其中,既包括像英特尔和Salesforce.com这样的知名厂商,也有像Sqrrl和Platfora这样成立没有多久的初创公司.以下是这次峰会上展示的13款全新的或者增强的大数据产品. 1. Continuuity开发公司现在支持批量处理 Continuuity发布了支持批量处理的Continuuity Developer Suit

Hadoop Summit 2013:最受关注的13款大数据产品

大数据是当下IT领域最活跃的话题之一.没有比近日在圣何塞举行的Hadoop Summit 2013更好的地方去了解关于大数据的最新动态了. 有超过60家大数据公司参与其中,既包括像英特尔和Salesforce.com这样的知名厂商,也有像Sqrrl和Platfora这样成立没有多久的初创公司.以下是这次峰会上展示的13款全新的或者增强的大数据产品. Continuuity开发公司现在支持批量处理 Continuuity发布了支持批量处理的Continuuity Developer Suite 1

Facebook专家:Hadoop不足以处理大数据

文章讲的是Facebook专家:Hadoop不足以处理大数据,随着大数据在各个业务领域的发展和应用,相关的技术和工具也层出不穷,其中Hadoop框架受到更多的关注和应用.Facebook分析主管Ken Rudin最近在纽约举行的一个Strata+Hadoop世界大会发表主题演讲时表示,不要小看关系型数据库技术的价值.他认为,Hadoop编程框架可能是"大数据"运动的代名词,但它并不是企业从大规模存储的非结构化信息中得到价值的唯一工具. 有很多很普及的大数据的观念需要被质疑,首先一点就是

Hadoop在电信大数据业务系统中的应用

文章讲的是Hadoop在电信大数据业务系统中的应用,2013年11月22-23日,作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会,2013 Hadoop中国技术峰会(China Hadoop Summit 2013)于北京福朋喜来登集团酒店隆重举行.来自国内外各行业领域的近千名CIO.CTO.架构师.IT经理.咨询顾问.工程师.Hadoop技术爱好者,以及从事Hadoop研究与推广的IT厂商和技术专家将共襄盛举. ▲IT168专题报道:http://www.it168.com/re

何刚:Hadoop成为打开大数据之门金钥匙

文章讲的是何刚:Hadoop成为打开大数据之门金钥匙,2013年11月22-23日,作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会,2013 Hadoop中国技术峰会(China Hadoop Summit 2013)于北京福朋喜来登集团酒店隆重举行.来自国内外各行业领域的近千名CIO.CTO.架构师.IT经理.咨询顾问.工程师.Hadoop技术爱好者,以及从事Hadoop研究与推广的IT厂商和技术专家将共襄盛举. ▲IT168专题报道:http://www.it168.com/r

拥抱Hadoop领跑大数据 实现价值回报

本文讲的是拥抱Hadoop领跑大数据 实现价值回报,当大数据风暴来临的时候,你是否已经做好准备?2012年对于企业来讲最为企业CIO所关心的话题之一必然要属于大数据.我们看到无论是个人还是企业,随着互联网.3G技术的普及以及企业自身数据的积累,大量的数据被产生,而这些大数据最终在存储.安全以及价值转换将成为企业关注的焦点. 相关数据调查显示,到2020年,电子数据存储量将在2009年的基础上增加44倍,达到35万亿GB.根据IDC数据显示,截止到2010年,这个数字已经达到了120万PB,或1.

Apache Hadoop已成为大数据行业发展背后的驱动力

随着互联网技术的发展,当今网络中每天都在产生海量的信息,这其中包括半结构化和非结构化的数据.组织可以通过对海量信息的分析了解到他们客户真正需要的以及为什么需要的原因.如今Apache Hadoop已成为大数据行业发展背后的驱动力. Facebook的工程师相信他们运行着最大的基于Hadoop的数据收集平台.Facebook基础设施工程副总裁Jay Parikh表示Facebook大多数的网站数据存储在单一的集群之中,容量可达100PB,Facebook的集群相比于其他公司的集群可谓是独树一帜.

Cloudera与MongoDB共赴大数据“爱河”

MongoDB与Cloudera已经宣布建立合作伙伴关系,将在今后的发展中就销售.营销以及技术资产等方面开展深入协作--此项消息一出,甲骨文.IBM等现任巨头与VMware Pivotal等初创公司纷纷表示形势严峻.压力很大. 双方于本周二正式公布结盟消息,未来NoSQL数据库厂商MongoDB将与Hadoop厂商Cloudera就技术方案的销售及市场推广方面进行合作,而更重要的是双方还将派遣技术工程师努力实现彼此软件方案的集成与协作. 就在此次合作关系确立之前,Cloudera公司才刚刚于三月