开源SQL in Hadoop解决方案:我们处于什么位置?

  随着Facebook开源了最近发布的Presto,已经非常拥挤的SQL in Hadoop市场变得更加错综复杂。一些开源工具正在努力获得开发者的注意:Hortonworks 围绕着Hive创建的Stinger、Apache Drill、Apache Tajo、Cloudera的Impala、Salesforce的Phoenix(用于HBase)以及现在的Facebook Presto。

  已经在产品环境中使用Hadoop的组织需要交互式的SQL查询支持,同时能够与已有的BI工具进行平滑的集成。来自于eBay的Vijay Madhavan在他的博客Hadoop场景中的SQL一文中声称:

  现在大部分基于Map-Reduce的分析系统能够在非交互式和批量SLA领域良好地工作,包括当前版本的Hive、Pig、Cascading。许多产品正在努力通过提供交互式“SQL in Hadoop”解决方案支持实时交互式SLA。

  SQL in Hadoop解决方案的用例包括支持交互式ad-hoc查询;支持使用MicroStrategy 或者Tableau 这样的BI系统进行报表/可视化;支持多来源(multi-source)数据,例如HDFS中的行为型数据必须被连接到RDBMS或者其他来源中的人口统计数据。

  很多这样的SQL in Hadoop解决方案在某些方面有共同点:

  在元数据层面上,好像HCatalog/Hive Metastore将它们自己制定成了跨不同数据源管理模式事实上(de-facto)的标准。

  然后有某些数据格式,例如Parquet和ORC,它们对于选择的工作负载而言正在变得越来越流行,同时在自然环境中使用的也越来越广泛。

  大部分解决方案好像都支持各种各样的ANSI SQL(不同的版本:1992、1999、2003)。

  上面几点可以帮助用户在不同的SQL in Hadoop解决方案之间迁移,不会有很多令人头痛的问题。但是也有一些值得注意的区别,如下所示:

  解决方案中的一部分是由Apache支持的,同时也伴随着社区的支持(Stinger、Drill、Tajo);其他的则是由单独的实体组织拥有(Impala、Phoenix、Presto)。

  另外,有一部分解决方案在数据源方面有一些限制,它们能够查询Hadoop生态系统;而另一些从架构的角度看更加灵活,可以查询关系型数据库和NoSQL数据存储(Presto、Drill)。

  另一点是允许在数据上执行的操作不同:有一些是纯(分布式)查询引擎,而另一些则允许执行更新操作。

  在过去的10到18个月中,有越来越多的人和商业实体已经决定尝试一下,对存储在Hadoop中的数据实现低延迟、ad-hoc SQL访问。无论怎样,从长远来看由于重叠的用例和环境喜好的不同有适合多种SQL in Hadoop解决方案生存的空间。

时间: 2024-09-23 08:54:35

开源SQL in Hadoop解决方案:我们处于什么位置?的相关文章

SQL Server+Hadoop 变身大数据解决方案

文章讲的是SQL Server+Hadoop 变身大数据解决方案,在数据库市场中,微软的SQL Server是最受关注的产品之一.在数据库知识网站DB-Engines每月公布的数据库流行度排行榜中,SQL Server几乎稳占第二名的位置.但从这个榜单每月的变化中也可以看出,大量NoSQL数据库的排名不断上升,已经开始威胁到传统数据库的地位. "以不变应万变"不再是大数据时代应有的策略,老牌数据库厂商在保持传统市场领先的基础上,不断拓展新市场,微软就是其中的一个代表.微软的改变最早是为

Hadoop教程:SQL Server+Hadoop变身大数据解决方案

在数据库市场中,微软的SQL Server是最受关注的产品之一.在数据库知识网站DB-Engines每月公布的数据库流行度排行榜中,SQL Server几乎稳占第二名的位置.但从这个榜单每月的变化中也可以看出,大量NoSQL数据库的排名不断上升,已经开始威胁到传统数据库的地位. "以不变应万变"不再是大数据时代应有的策略,老牌数据库厂商在保持传统市场领先的基础上,不断拓展新市场,微软就是其中的一个代表.微软的改变最早是为了向Bing提供高质量的搜索结果,这与Google的情况类似,互联

Apache Eagle:eBay开源分布式实时Hadoop数据安全引擎

日前,eBay公司隆重宣布正式向开源业界推出分布式实时安全监控方案:Apache Eagle,该项目已于2015年10月26日正式加入Apache基金会成为孵化器项目. http://goeagle.io  Apache Eagle提供一套高效分布式的流式策略引擎,具有高实时.可伸缩.易扩展.交互友好等特点,同时集成机器学习对历史模型训练建立用户画像以实现智能实时地保护Hadoop生态系统中大数据的安全. Eagle在eBay的使用场景 目前,Eagle的数据行为监控系统已经部署到一个拥有250

盘点SQL on Hadoop中用到的主要技术

考虑到系统使用的广泛程度与成熟度,在具体举例时一般会拿Hive和Impala为例,当然在调研的过程中也会涉及到一些其他系统,如Spark SQL,Presto,TAJO等.而对于HAWQ这样的商业产品和apache drill这样成熟度还不是很高的开源方案就不做过多了解了. 系统架构 Runtime Framework v.s. MPP 在SQL on Hadoop系统中,有两种架构,一种是基于某个运行时框架来构建查询引擎,典型案例是Hive;另一种是仿照过去关系数据库的MPP架构.前者现有运行

开源MySQL高效数据仓库解决方案:Infobright详细介绍_Mysql

Infobright是一款基于独特的专利知识网格技术的列式数据库.Infobright是开源的MySQL数据仓库解决方案,引入了列存储方案,高强度的数据压缩,优化的统计计算(类似sum/avg/group by之类),infobright 是基于mysql的,但不装mysql亦可,因为它本身就自带了一个.mysql可以粗分为逻辑层和物理存储引擎,infobright主要实现的就是一个存储引擎,但因为它自身存储逻辑跟关系型数据库根本不同,所以,它不能像InnoDB那样直接作为插件挂接到mysql,

SQL on Hadoop的最新进展及7项相关技术分享

大数据最大的魅力在于通过技术分析和挖掘带来新的商业价值.SQL on Hadoop是非常关键的一个方向.CSDN云计算特别邀请梁堰波撰写这篇文章,对7种最新技术做深度阐述.文章较长,但相信一定有收获.2013年12月5日-6日,以"应用驱动的架构与技术"为主题的第七届中国大数据技术大会(Big Data Technology Conference 2013,BDTC 2013)召开之前,我们还将组织好友就热点技术进行深入讨论,如果有问题,欢迎在评论部分留言. 大数据是现在非常热门的一个

大数据Hadoop解决方案

根据最新的Forrest报告,有很多公司都在努力挖掘他们拥有的大量数据,包括结构化.非结构化.半结构化以及二进制数据等,探索对大数据的深入利用.下面是报告结论的其中一点: 大多数公司估计他们只分析了已有数据的12%,剩余88%还没有被充分利用.大量的数据孤岛和分析能力的缺乏是造成这种局面的主要原因.另外一个难题是如何判断数据是否有价值.尤其是在大数据时代,你必须采集并存储这些数据.一些看起来与业务无关的数据,如手机GPS数据,将来也可能是座金矿. 所以,大量公司都寄希望于使用Hadoop解决如下

大数据Hadoop解决方案的形势

根据最新的Forrest报告,有很多公司都在努力挖掘他们拥有的大量数据,包括结构化.非结构化.半结构化以及二进制数据等,探索对数据的深入利用.下面是报告结论的其中一点: 大多数公司估计他们只分析了已有数据的12%,剩余88%还没有被充分利用.大量的数据孤岛和分析能力的缺乏是造成这种局面的主要原因.另外一个难题是如何判断数据是否有价值.尤其是在大数据时代,你必须采集并存储这些数据.一些看起来与业务无关的数据,如手机GPS数据,将来也可能是座金矿. 所以,大量公司都寄希望于使用Hadoop解决如下难

Dell与Cloudera 共推Hadoop 解决方案

文章讲的是Dell与Cloudera 共推Hadoop 解决方案, 在企业中部署Hadoop时,如何从数据中获取商业价值,而不用担心如何管理Hadoop软件框架.为了实现这样的愿望,Dell和Cloudera联合推出了Hadoop解决方案Cloudera Enterprise. 成功应用Cloudera的Hadoop发行版对大量结构化和非结构化数据进行分析的最快方式就是采用Cloudera Enterprise.通过使用完全开源的Cloudera Enterprise技术,可以借助现有团队的经验