大数据主流工具,你知道几个?

业内有这样一种说法,SQL虽然在大数据分析领域久经考验,但是无奈长江后浪推前浪,和炙手可热的Hadoop相比,SQL已经过时了。这个说法有点言过其实,现在很多的项目都是将Hadoop作为数据存储,然后利用SQL进行前端查询。这说明Hadoop需要一种高级查询语言的支持。 Hadoop MapReduce虽然能够进行数据分析,但是太复杂了。于是,开发人员开发出了类似SQL的Pig和Hive。

大数据时代,我们有很多的查询工具可以选择。虽然SQL占据着绝对优势,但是随着大数据的持续升温,也给了Apache Pig和Hive很大的发挥空间。工欲善其事必先利其器,如果选择了合适的平台和语言,会让数据的提取,处理和分析达到事半功倍的效果。未来,数据会越来越大,数据分析必须要更易操作。处理速度快和操作简单必定成为大数据分析的主流趋势。

Apache Pig,Apache Hive和SQL是当今主流的大数据工具。它们各有优势,下面我们就先来简单介绍Apache Pig、Apache Hive和SQL。

  SQL

结构化查询语言(SQL)是程序员的最佳伴侣,主要用于处理和提取数据。大数据改变了数据处理和可视化的方式。但是SQL严格的关系数据库模式和声明特性依然是数据分析的标杆。尽管SQL市场广阔,但是大数据也对SQL的功能和性能提出了挑战。

Pig

Apache Pig适合有SQL背景的程序员学习,其有以下两个特点:

1.放宽了对数据存储的要求

2.可以操作大型数据集

Apache Pig是雅虎在2006年开发,除了上述特点,它还有很好的可扩展性和性能优化。 Apache Pig允许开发人员跟踪多个查询方法,从而降低了数据的重复检索。它支持复合数据类型(Map、Tuple、Bag),支持常见的数据操作,例如筛选、排序和Join。Apache Pig的这些特性得到了世界各地用户的认可,就连雅虎和推特也采用了Apache Pig。

Hive

尽管Apache Pig性能优异,但是它要求程序员要掌握SQL之外的知识。Hive和SQL非常相似,虽然Hive查询语言(HQL)有一定的局限性,但它仍然是非常好用的。Hive为MapReduce提供了很好的开源实现。它在分布式处理数据方面表现很好,不像SQL需要严格遵守模式。

数据的提取、处理和分析没有一个万全之策,需要综合多种因素来选择,例如数据存储方法,编程语言结构以及预期的结果。下面我们就来对比一下Pig、Hive和SQL,看看它们各自都适合什么样的场景。

Pig VS SQL

SQL在DBMS系统的运行速度要比MapReduce(Pig运行在PigLatin平台)快。然而,RDBMS的数据加载很具挑战,设置困难。 PigLatin在声明式执行计划、ETL流程和管道修改方面更有优势。

在很大程度上,SQL是声明式语言,而PigLatin是过程语言。SQL主要是指定完成的对象,即要完成“什么”,而Pig主要是制定完成的方式,即“如何”执行一个任务。在执行之前,Pig脚本要转化成MapReduce任务。不过,Pig脚本比相应的MapReduce任务要短,显著缩短了开发时间。

Hive VS SQL

SQL是一个被广泛用于事务性和分析查询的通用数据库语言。而Hive是以数据分析为目标而设计的,这也决定了Hive会缺少更新和删除功能,但是读取和处理海量数据的能力会很强。Hive和SQL是非常相似的,最主要的区别就是Hive缺少更新和删除功能。

尽管Hive和SQL有所区别,但是如果你有SQL背景,就可以平稳过渡到Hive。另外,一定要注意两者在结构和语法上的差异。

相信大家通过上面对Pig、Hive和SQL的介绍,对它们都有了一定的了解,下面我们就来介绍一下它们的具体适用场景。

Apache Pig的适用场景

Apache Pig适用于非结构化的数据集,可以充分利用SQL。Pig无需构建MapReduce任务,如果你有SQL学习的背景,那么入门会非常快。

Apache Hive的应用场景

很多企业都需要对历史数据进行分析,Hive就是一款分析历史数据的利器。但是Hive只有在结构化数据的情况下才能大显神威。Hive的软肋是实时分析,如果想要进行实时分析,可以采用HBase。

SQL的应用场景

SQL是三者之中资历最老的数据分析工具,随着用户需求的不断变更,SQL也在不断的自我更新,现在仍然是一个与时俱进的工具。对专业的数据分析师来说,毫无疑问,SQL比Excel要强,但是,它在快速处理和分析数据方面仍然存在着短板。如果数据要求不是很苛刻,SQL是一个很好的选择,它的广泛性和灵活性得到了开发人员的认可。因为绝大数的开发人员都熟悉SQL,所以可以马上上手,同时SQL还提供了一些扩展和优化功能,可以根据需求来定制产品。

现在还没有任何一个工具可以适用所有的数据,SQL、Pig和Hive都有各自的适用场景,所以适合自己应用场景的工具就是最好的工具。

本文转自d1net(转载)

时间: 2024-09-17 00:13:53

大数据主流工具,你知道几个?的相关文章

视广通钱勇:大数据是工具 不是目的

9月11日,视广通受邀参加了北京市经济和信息化委员会举办的北京市大数据企业第一次调研会.视广通公司的参会代表汇报了公司业务情况,介绍了企业对大数据的认识,并与各企业同行做了深度交流. 资料照片:视广通总经理 钱勇 作为一家充分应用大数据技术的公司,视广通一贯以来对大数据有着独到的理解.视广通总经理钱勇曾不止一次提到:大数据是工具,不是目的,是实现企业目标的手段.如果只是追求大数据这一新奇的概念,为了大数据而大数据,不考虑其如何为商业模式服务,那就把大数据变成了摆在桌上的花瓶,起不到实际的作用和应

数据新闻周报:资本活跃,“数据美国”在线大数据可视化工具上线

行业趋势 近日,麻省理工学院推出了一款名为"数据美国"的在线大数据可视化工具,可以实时分析展示美国政府公开数据库.用户只需要输入任意美国地名,就可以检索到反映当地人口统计数据的可视化图表,包括平均家庭收入.房价等.该工具不但对求学.就业.生活.旅游.购物具有极高的参考价值,而且这些社会学大数据经过各种不同的可视化图表展示,可以生成大量"数据新闻",揭示超出人们经验范围的数据.同时,"数据美国"也是政务公开大数据造福社会的一个活生生的应用案例.该项

一季度大数据热门工具相关事件整理

文章讲的是一季度大数据热门工具相关事件整理,今年一季度,大数据开源圈内最热闹的一件事大概就是Hadoop迎来了它的十岁生日,收到了来自世界各地的各种祝福.Hadoop正式诞生于2006年1月28日,作为一个开源项目的生态系统,它从根本上改变了企业存储.处理和分析数据的方式:Hadoop可以在相同的数据上同时运行不同类型的分析工作. 那一周,有媒体整理了Hadoop这十年来的数据变化:核心Hadoop中目前的代码行数为170万+.自2006年来对Hadoop的提交数量超过12000.自2006年来

做项目首先要选好大数据可视化工具

       数据化运营越来越流行,很多企业都忙着运营起一个个大大小小的项目.但是还是有很多企业的IT人员没能把项目做好,问题漏洞百出.其实做项目首先的一步,就是选好一款适用的大数据可视化工具.俗话说得好,要先工其事,必先利其器.一款好的大数据可视化工具会更有利于数据可视化分析项目的后续开展.那么,大数据可视化工具该怎么选呢,接下来我们来看看.          市面上各式各样的大数据可视化工具有很多,有的是自助式的小型BI,有的是比较复杂的高端BI.项目有大有小,当有的项目没那么复杂,如果配上

大数据同步工具DataX与Sqoop之比较

DataX是一个在异构的数据库/文件系统之间高速交换数据的工具,实现了在任意的数据http://www.aliyun.com/zixun/aggregation/34332.html">处理系统(RDBMS/Hdfs/Local filesystem)之间的数据交换,由淘宝数据平台部门完成.Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以

五个不容忽视的“非主流”大数据技术工具

大数据的生态系统如今已经非常庞大,涌现大量主流数据处理框架如Hadoop.Spark.Flink.Google的Tensorflow以及其他不计其数的Apache开源项目(最受欢迎的十个开源大数据技术). 今天我们要推荐的五个"非主流"开源大数据技术项目,在某些特定的应用场合,往往能助您出奇制胜. 一.Luigi Luigi是Spotify开发的数据管线批处理工具,热度正在不断飙升.Luigi的定位不是取代底层数据处理工具如Hive或者Pig,而是在众多任务间创建工作流.Luigi原生

2014年20大数据可视化工具及资料

巴西的新闻网站Visualoop,这是一家汇集来自互联网的信息图表和数据为中心的可视化网站,今年,他们继续评选出这一年最优秀的大数据可视化相关工具. "我们很艰难的选出这20个新的平台或工具-如果你是我们每周数据新闻报道的忠实读者,你可能记得我们列表中的几个."在这个榜单中他们忽略了新的版本和现有工具的更新,例如:CartoDB, Mapbox, Tableau, D3.js, RAW, Infogr.am 等等. 下面,就是2014年Visualoop从他们的报道中提取的20大可视化

Java程序员使用哪些大数据开发工具?

这是作者在另一个帖子中发布的一项近期调查结果,调查为作者询问一些Java程序员,其在12个月内使用了什么框架开发工具.本次调查中覆盖了大数据工具. 以下是调查所覆盖的主题: 1.语言 2.Web框架 3.应用服务器 4.SQL数据访问工具 5.SQL数据库 6.大数据 7.构建工具 8.云提供商 今天让我们来看看大数据. 根据维基百科,大数据是一个广义的术语,所包含的的内容十分庞大且复杂,以至于传统的数据处理应用程序根本不足以应对. 在许多情况下,使用SQL数据库用于存储/检索数据已经足够了.但

比特币创业公司21Inc推出新大数据搜集工具

比特币创业公司中的翘楚21Inc.公司最近推出了一项全新的概念性证明,这一证明旨在解释该公司旗下针对比特币研发的软件和硬件是如何采取新方法收集比特币数据并进行货币化模拟的. 21 Inc.公司推出的产品叫Sensor21,这一产品的设计原理着重概述了如何将本产品与21 Inc.公司的电脑连接,使得该产品如同一个精度仪表,处理指定的信息,例如气压,海拔和温度. 通过这一网络,21 Inc.公司称,用户可以通过该产品访问其他地区的信息,进而使得用户可以得出一张信息全面的针对指定区域的天气波动情况图表