新技术架起 Oracle、Hadoop、NoSQL数据存储之间的桥梁

  一直以来,大数据的使用远远不及大数据收集能力,就起原因主要是目前企业的数据主要分散在不同的系统或组织,大数据战略的杀手锏就是能够更深度的,更丰富的挖掘所有数据系统中的有价值的信息,从而更准确的预测客户行为,发现商业价值,但是目前很难将这些数据移到一个单独的数据存储中,另外,安全和监管问题也得不到保障,Oracle Big Data SQL的推出解决了现在面临的难题。

  以下为译文:

  发现企业或组织对数据管理架构的需求,Oracle推出Big Data SQL软件来整合包括Hadoop、NoSQL和Oracle数据库等在内的各种各样的数据源。

  一套完整的解决方案是使Oracle的大数据设备和Big Data SQL结合起来,Cloudera的 Hadoop 分布式和Oracle自己的 NoSQL 数据库。开始时Oracle Big Data SQL只支持Apache Hive和Hadoop File System,其他供应商需要移植SQL关系数据库到Hadoop上运行。

  

  Oracle提供大数据设备和Big Data SQL的一套完整解决方案

  Oracle Big Data SQL产品意味着管理员在处理非关系型数据库或Hadoop中的信息时,不用再学习其他查询语言,Oracle的大数据分析主管Neil Mendelson说。

  我们可以使用我们已经习惯使用的Oracle SQL语言——完整的SQL语言,我们现在可以直接访问这三个中的任何一个数据源或其中任意组合,他解释道。

  类似的工具都可以在开源社区如Stinger中获得,这使得你可以使用SQL命令来查询Hadoop中数据,或使用旨在NoSQL系统上实现SQL命令的CQL语言(Cassandra查询语言)。

  创建这个大数据管理系统的目标是希望SQL查询能够运行在不同的数据源上,并且使企业或组织能够利用现有的技术维护企业级数据安全,以及管理敏感的信息。Oracle表示这项技术其独特的架构和Smart Scan继承于Oracle Exadata,同时能够允许Oracle Big Data SQL查询所有形式的结构化和非结构化数据,并且最小化数据移动。

  这也促进了Oracle数据库的安全功能,包括组织现有的安全策略,扩展到Hadoop和NoSQL数据。

  Oracle的Dan McClary说,产品的开发已经有一段时间了,而且它超越了现有的技术。他同时表示Big Data SQL与HDFS DataNodes和YARN NodeManagers能够co-resident,另外,从新的外部表的查询被发送到这些服务能够保证直接路径读取和数据本地化。

  Cloudera创始人、董事长兼首席战略官Mike Olson说:“在oracle的大数据设备上运行Cloudera的软件集比DIY集群部署更具成本效益并且速度更快。在Hadoop查询数据时,我们已经看到客户对SQL强烈的需求。”

时间: 2024-09-30 15:44:19

新技术架起 Oracle、Hadoop、NoSQL数据存储之间的桥梁的相关文章

如何让你的内存中的 NoSQL 数据存储适合企业级应用

对于关注用户体验的每一个Web或移动应用而言,基于内存的NoSQL数据存储系统(例如开源的 Redis和Memcached)正在成为事实标准.由于性能.可扩展性和可用性面临的诸多挑战,很多大企业已经在试图采用这些数据库系统. 非常幸运的是,现代编程语言(例如Ruby.Node.js.Python等)和开发平台(例如Rails.Sinatra.Django等)已经内置了很多工具和开发库(libraries).这些工具和开发库能够有效利用内存数据库的高性能和各种操作命令,能够实现当前流行的多种应用项

基于云上分布式NoSQL的海量气象数据存储和查询方案

前言 气象数据是一类典型的大数据,具有数据量大.时效性高.数据种类丰富等特点.气象数据中大量的数据是时空数据,记录了时间和空间范围内各个点的各个物理量的观测量或者模拟量,每天产生的数据量常在几十TB到上百TB的规模,且在爆发性增长.如何存储和高效的查询这些气象数据越来越成为一个难题. 传统的方案常常采用关系型数据库加文件系统的方式实现这类气象数据的存储和实时查询,这种方案在可扩展性.可维护性和性能上都有一些缺陷,随着数据规模的增大缺点越来越明显.最近几年,学界和业界开始不约而同的转向利用分布式N

Nosql 数据管理系统与模型的比较

NoSQL 简介 NoSQL数据尝试着提供那些关系数据库所不能提供的功能,无论是为了存储简单的键值对(key-value),更短的时间长度,高速缓存,还是保持数据的非结构化集合(比如collections),这些都是在关系型数据库和SQL(Structured Query Language)中很难实现的. 在这篇DigitalOcean的文章中,我们将介绍各种流行的NoSQL数据库系统,介绍他们的作用以及功能,因而帮助你,根据你的易用系统的需求来决定选择哪一个NoSQL数据库. 术语表 1. 数

《Spring Data实战》——第1章 Spring Data项目 1.1为Spring开发人员提供的NoSQL数据访问功能

第一部分 背景知识 第1章 Spring Data项目 Spring Data项目是在"Spring One 2010开发者大会"上创建的,该项目起源于当年早些时候Rod Johnson(SpringSource)和Emil Eifrem(Neo Technologies)共同参与的一场黑客会议.他们试图把Neo4j图形数据库整合到Spring框架中,并评估了各种不同的方式.这次会议最终为初始版本的Spring Data Neo4j模块奠定了基础,这个新的SpringSource项目旨

《虚拟数据中心构建指南》——3.6 数据存储

3.6 数据存储 在VMware中,存储空间被称作数据存储(datastore).数据存储是保存VM.模板或者ISO映像的存储资源的虚拟表现形式.数据存储隐藏了不同技术和存储解决方案的复杂性,为ESX服务器提供一个统一的模型,无须考虑实现的存储类型.数据存储的类型有VMFS和NFS. 注意:VMware的最佳实践建议适当地将用于存储模板或者ISO映像的数据存储与用于VM的数据存储分离.我们还建议监控数据存储的可用空间.应该始终有至少25%至30%的可用空间.这些空间对快照或者备份操作以及VM交换

Hive简介、什么是Hive、为什么使用Hive、Hive的特点、Hive架构图、Hive基本组成、Hive与Hadoop的关系、Hive与传统数据库对比、Hive数据存储(来自学习资料)

1.1 Hive简介 1.1.1   什么是Hive Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能. 1.1.2   为什么使用Hive Ø  直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大   Ø  为什么要使用Hive 操作接口采用类SQL语法,提供快速开发的能力. 避免了去写MapReduce,减少开发人员的学习成本. 功能扩展很方便. 1.1.3   H

Oracle:NoSQL数据库+大数据机 - 产品和技术

Oracle:NoSQL数据库+大数据机 发布时间:2012.04.16 14:22 &http://www.aliyun.com/zixun/aggregation/37954.html">nbsp;    来源:信息服务     作者:信息服务 Oracle针对大数据的策略显得非常直接,使用NoSQL数据库和Big Data Appliance的组合,让客户直接拥有处理非结构化海量数据的能力. Oracle NoSQL Database在上一篇文章中已经有所提及,他们的Big

吞噬大数据存储领域新机制——NoSQL模式解析

在过去几年,一种新兴的大型数据存储机制正吞噬大数据存储市场.这种存储解决方案与传统的RDBMS有显著的区别,它们被称之为NoSQL. 在NoSQL世界中有以下关键的成员,包括 ●Google BigTable.HBase.Hypertable ●Amazon Dynamo.Voldemort.Cassendra.Riak ●Redis ●CouchDB.MongoDB 而这些解决方案又有一些共同的特点 ●基于键-值存储 ●系统运行在海量的普通机器上 ●数据在经过分区和复制后分布在集群中 ●放宽对

《Hadoop与大数据挖掘》——第2章 大数据存储与运算利器—Hadoop 2.1 Hadoop概述

第2章 大数据存储与运算利器-Hadoop 本章主要介绍了Hadoop框架的概念.架构.组件.生态系统以及Hadoop相关编程,特别是针对Hadoop组件HDFS.MapReduce.YARN,Hadoop MapReduce编程做了较详细的介绍.在介绍各个知识点的同时,结合动手实践章节,帮助读者理解对应的内容. 2.1 Hadoop概述 2.1.1 Hadoop简介 随着现代社会的发展,各种信息数据存量与增量都非常大,很多情况下需要我们能够对TB级,甚至PB级数据集进行存储和快速分析,然而单机