Strata+Hadoop World(SHW)大会是全世界最大的大数据大会之一。
SHW大会为各种技术提供了深度交流的机会,还会看到最领先的大数据技术、最广泛的应用场景、最有趣的用例教学以及最全面的大数据行业和趋势探讨。
https://yqfile.alicdn.com/ed52f5c03989d443cd07c419add8a2409f578ec6.png" >
SequoiaDB 作为现场的参展商之一,也是中国唯一一家参展的厂商,我们也在展会中着重了解了跟我们的产品息息相关的部分,也就是新型数据库。大会现场不仅有多家参加演讲和展示的数据库厂商,更有许多的数据库资深研发人员和架构师来到现场。为此,我们也总结了一些有关数据库的资讯和未来数据库领域发展的预测。
- 新型数据库的不断壮大
众所周知,关系型数据库已经出现了近40年,并且在很长一段时间里一直是数据库领域当之无愧的王者。如今,新型数据库,包括NoSQL以及NewSQL两种主要类型,这位后起之秀正在进入越来越多的应用领域。
新型数据库厂商的参加也是本届SHW大会亮点之一,其中有NoSQL界的佼佼者,如Couchbase、Aerospike、Marklogic和SequoiaDB等,也有NewSQL的许多厂商,如:MemSQL、VoltDB、ScaleDB和CitusDB等等。这些企业在现场和Cloudera、Hortonworks这些大数据领头羊一样,得到了广泛的关注。
随着“大数据时代”的到来,在高并发、大数据量、分布式以及实时性的要求之下,传统的关系型数据库,因为其数据模型以及预定义的操作模式,在很多情况下不能很好的满足以上的需求,所以新型数据库如今在大数据的场景下,取代了传统关系型数据库成为主导。相信未来随着大数据的发展,新型数据库将会颠覆数据库领域。
正如MemSQL的CTO Eric Frenkiel在主题演讲中说道:“We need a new kind of database to do things we have never done before!”
- SQL与Hadoop的集成遇到了挑战
值得注意的是,除了NoSQL等新型数据库技术以外,传统的数据库厂商也在寻求能让关系型数据库完美对接Hadoop等大数据架构的方法,但是仍然没有找到能很好解决的方法。
展会上,IBM的工程师们分享了他们在SQL与Hadoop的结合上进行的尝试。其中提到,SQL和Hadoop的对接主要的难点之一是SQL语句如何在Hadoop上执行,因为Hadoop的文件系统HDFS的设计并不能有效的运行SQL。IBM则正在探究如何更好的解决这一个SQL和Hadoop对接的核心问题。大会上IBM分享的就是基于IBM的BigInsight的BigSQL实现的SQL与Hadoop对接。
同样作为传统RDBMS领头羊的Oracle也在大会上发布了最新版的Oracle BigDataSQL以及Oracle NoSQL等等大数据产品。
这些RDBMS先驱们的这些举动也从侧面说明了,新型的数据库的出现不仅很有必要,而且完全有能力替代很大一部分关系型数据库的应用场景。
- 大数据架构加强对NoSQL的支持
NoSQL在数据库领域的影响力日渐壮大,领头羊MongoDB,Cassandra和Redis已经在DB-Engine的数据库排名上进入了前十。所以许多的大数据架构、平台也都在越来越强化对于NoSQL数据库的支持。
Cloudera的CTO, Amr Awadallah 在他的演讲中介绍了未来Hadoop的发展规划,其中很重要的一点就是加强对NoSQL数据库的支持:“We will improve the integration with NoSQL database to make Hadoop more versatile.”
无独有偶,在另外一场主题演讲中,Databricks的CTO Matei Zaharia,也介绍了Spark 在2015年的新的发展方向,包括新增机器学习的流水线功能,R语言的集成,当然也包括了更好的支持NoSQL数据库。
可以看到,NoSQL数据库在大数据生态系统中的作用和地位正在不断的提升,相信在大数据渐渐普及的将来,NoSQL甚至有希望取代关系型成为数据库的先锋。
总结:
数据库作为底层的数据存储和管理工具,是大数据生态系统中不可或缺的一环。传统的关系型数据库已经存在了几十年,虽然有其适合的场景,但是对于大数据的应用下,存在较多的局限性。新型的数据库是本届SHW大会的焦点话题之一。高性能、高可用、灵活的数据结构等等主要特性,都让他成为大数据存储分析的不二之选。所以我也希望大家能更多的关注新型数据库的发展。
https://yqfile.alicdn.com/cc04e64694525175935cbe7f061bbb54ed6fa81c.png" >
文章转载自 开源中国社区 [http://www.oschina.net]