Google BigQuery使用SQL在云端处理大数据

如今,大数据的话题正围绕着企业内部部署的系统之中,Google正在建设在云中分析大数据的服务。Google的这项服务被称为BigQuery,Google 产品经理Ju-Kay Kwek在近日在纽约举行的GigaOM会议上表示BigQuery将有助于企业在没有硬件基础设施的情况下分析他们的数据。同时可以建立应用程序和数据共享的所有服务。

BigQuery是Google推出的一项Web服务,该服务让开发者可以使用Google的架构来运行SQL语句对超级大的数据库进行操作。 BigQuery允许用户上传他们的超大量数据并通过其直接进行交互式分析,从而不必投资建立自己的数据中心。Google曾表示BigQuery引擎可 以快速扫描高达70TB未经压缩处理的数据,并且可马上得到分析结果。

但Google目前只为少数客户提供服务,对于何时完全开放服务现在还不确定。参与测试的客户通过各种方式测试BigQuery服务,客户将它们的他们的数据流上传到服务器,然后通过Google的算法和查询语言来分析数据。

大数据在云端模型具备很多优势,BigQuery服务无需组织提供或建立数据仓库。而BigQuery在安全性和数据备份服务也相当完善。

Google高管看到了云时代BigQuery模式的机遇,Google内部已经制定相关的工具并在使用。Kwek表示在数据爆炸的时代,(Google 搜索引擎)索引网页就是大数据的问题。同时Google的Gmail也面临同样的问题。而Google成功的关键就在于可保持所产生的所有数据的细粒度。 在线广告商就通过收集范围内相关的数据。例如用户在行为,然后收集这些数据以便更精准的投放广告。

Google产品经理Ju-Kay Kwek还表示,新的BigQuery服务提供了全新的REST API,开发人员可以将此项服务编译进他们的代码中,并且可以有效地实现多任务管理及权限控制。查询的数据表还可以导出到Google的云存储服务中。此外,BigQuery还带来了一个新的Web界面,提供更加清洁的查询结果显示。

时间: 2024-10-25 05:04:26

Google BigQuery使用SQL在云端处理大数据的相关文章

Google BigQuery:在云端处理大数据

BigQuery是Google推出的一项Web服务,用来在云端处理大数据.本文简单地介绍了一下Google BigQuery,及BigQuery使用SQL在云端处理大数据的优势. 如今,大数据的话题正围绕着企业内部部署的系统之中,Google正在建设在云中分析大数据的服务.Google的这项服务被称为BigQuery,Google 产品经理Ju-Kay Kwek在近日在纽约举行的GigaOM会议上表示BigQuery将有助于企业在没有硬件基础设施的情况下分析他们的数据.同时可以建立应用程序和数据

浅析基于SQL Server PDW大数据解决方案

文章讲的是浅析基于SQL Server PDW大数据解决方案,随着越来越多的组织的数据从GB.TB级迈向PB级,标志着整个社会的信息化水平正在迈入新的时代 – 大数据时代.对海量数据的处理.分析能力,日益成为组织在这个时代决胜未来的关键因素,而基于大数据的应用,也在潜移默化地渗透到社会的方方面面,影响到每一个人的日常生活,人们日常生活中看到的电视节目.浏览的网页.接收到的广告,都将是基于大数据分析之后提供的有针对性的内容. 微软在大数据领域的战略重点,在于更好地帮助客户"消费"大数据,

甲骨文Oracle大数据SQL加速企业大数据部署

[天极网服务器频道7月25日消息]甲骨文公司推出了Oracle大数据SQL(Oracle Big Data SQL),该款基于SQL的软件,可跨Hadoop.NoSQL和Oracle数据库进行同一个SQL查询.Oracle大数据SQL在Oracle大数据机(Oracle Big Data Appliance)上运行,可与Oracle Exadata数据库云服务器配合使用. Oracle大数据SQL提供基于SQL的流行商务智能工具和应用,更易于访问传统数据仓库以外的Hadoop和NoSQL数据源.

sql server-SQL SERVER 大数据脚本,怎以执行?

问题描述 SQL SERVER 大数据脚本,怎以执行? SQL SERVER 数据量200万条,一用SSMS打开就报内存益出,用OSQL命令执行数据导出不正常,各位大神支个招呀? 解决方案 今天正在对mysql cluster 的部分测试,测试过程当中我对两个系统的同样结构的表格进行了查询,结果出人意料.脚本如下:DROP TABLE IF EXISTS urllog;CREATE TABLE urllog(? ID int(11) NOT NULL auto_increment,? url v

当Hadoop SQL工具与大数据框架携手同行

目前,SQL-on-Hadoop的采用率仍然偏低,但是其发展似乎是与Hadoop本身的采用有着相似的步调.2015年由IT研究和教育机构TDWI进行的一项对新兴技术的调查证实了这一结论. 在320位受访者中只有16%的人表示他们所在的企业正在使用商业SQL-on-Hadoop引擎作为商业智能或分析应用程序的一部分: 344位受访者中有22%的人说Hadoop SQL技术正用于管理数据.在后一种情况中,部署水平与前一种是接近的,而这也符合调查当时以及计划三年内的情况,这表明大多数Hadoop用户同

行在云端,大数据时代的智能生活

从滴滴快的的平台上,可以看到全国各个城市每天交通的情况.车辆行使情况.路网情况以及打车需求情况,运转时可以很清晰看到北京从24小时内车辆分布情况,包括聚集情况. 从滴滴快的的平台上,可以看到全国各个城市每天交通的情况.车辆行使情况.路网情况以及打车需求情况,运转时可以很清晰看到北京从24小时内车辆分布情况,包括聚集情况. 滴滴快的打车技术副总裁朱磊在没有看该平台之前,认为北京每天早上6点到8点间,三.四环是高峰,然而该平台却清楚地显示出,机场高速才是最繁忙和高峰的路段.下午1点,则统计出金融街对

那些年Google公开的大数据方面论文

Mikio L. Braun柏林工业大学机器学习学博士后,TWIMPACT联合创始人兼首席数据科学家.在其个人博客上总结了Google近几年大数据领域的论文,并发表了自己的见解. 以下为译文: 主流的大数据基本都是MapReduce的衍生,然而把目光聚焦到实时上就会发现:MapReuce的局限性已经渐渐浮现.下面将讨论一下自大数据开始,Google公布的大数据相关技术,以及这些技术的现状. MapReuce.Google File System以及Bigtable:大数据算法的起源 按时间算第一

那些年Google公开的大数据领域论文

Mikio L. Braun柏林工业大学机器学习学博士后,TWIMPACT联合创始人兼首席数据科学家.在其个人博客上总结了Google近几年大数据领域的论文,并发表了自己的见解. 以下为译文: 主流的大数据基本都是MapReduce的衍生,然而把目光聚焦到实时上就会发现:MapReuce的局限性已经渐渐浮现.下面将讨论一下自大数据开始,Google公布的大数据相关技术,以及这些技术的现状. MapReuce.Google File System以及Bigtable:大数据算法的起源 按时间算第一

Google的内部报告:大数据的类型和数量同样重要

一份来自Google的内部报告显示,大数据在构建面向消费者的服务(如智能手机中的http://www.aliyun.com/zixun/aggregation/10648.html">语音搜索)时尤其重要.用来训练人工智能模型的数据越多,它越有可能猜出你下一句会说啥.虽然这份报告背后的数学知识可能超出大部分人的理解范围,但是原理并不复杂.报告还提到了为何大家都对"大数据"这一概念如此兴奋,以及选择恰当的数据来训练智能模型的重要性. Google一直秉承着这样一个观点:&