微软PolyBase打响SQL Server和Hadoop整合第一枪

我们一直强调,大数据和传统的">关系数据库并不对立,未来公司的的业务将会是大数据和关系型数据库的整合。微软的PolyBase打响了SQL Server和Hadoop整合的第一枪。

在2012年度的SQL Server(PASS)峰会(SQL Server专业人士的技术会议)上,微软公布了代码名为”PolyBase”的新功能。微软鲜明地阐述了未来大数据和传统的关系数据库的紧密联系。微软或许不是第一个试图整合关系型数据库和Hadoop的公司,但毫无疑问将会是最具冲击力的一个。

PolyBase 将于 2013 年上半年中发布,作为SQL 服务器 PDW 的下一个版本的一部分。PDW是SQL Server数据仓库的一体机。Polybase 允许使用SQL (结构化查询语言)直接查询存储在Hadoop的数据,甚至可以和本地的关系型的表进行join的操作(如下图所示)

PolyBase的吸引力在于它的两个特点

1.在第一阶段PolyBase支持使用SQL语言对HDFS进行查询, 第二阶段Polybase将引进基于成本的优化器。优化器基于性能分析,可以决定是否利用MapReduce进行查询或者直接使用SQL对HDFS进行查询. 请注意当前类SQL的Hadoop应用象Hive,Pig或着Sqoop都是依赖于MapReduce的分布式计算引擎来抽取数据。直接访问HDFS被认为具有更好的性能和效率。当然这只是总体而言,某些查询用MapReduce可能效率更高些,例如如果源数据的量太大的时候,不用MapReduce来抽取这些数据会导致读取端较大的负担。所以PolyBase必须有较好的优化器来决定最优的查询计划,这是PolyBase第二阶段主要工作

2.虽然PolyBase目前首先只在SQL Server PDW出现,但它极有可能也集成到下一个版本的 SQL Server里面.
整合SQL Server和Hadoop将给一些BI应用带来难以想象的广阔前景。试想一下你的报表和分析服务将会是一个数据源独立的应用,可以随心所欲地从Hadoop或者关系数据库里面抽取数据并搭建商业智能应用。商业智能的领域将会变得更广更实用。虽然微软没有正式承诺PolyBase除了PDW也会出现在下个版本的SQL Server里面,但我想不出微软不这么做的理由。在未来的企业里面,大数据将会和关系数据库整合在一起,成为企业数据系统的一部分。PolyBase已经迈出了第一步。

时间: 2024-11-02 21:50:44

微软PolyBase打响SQL Server和Hadoop整合第一枪的相关文章

将MS SQL Server 2005 SP2整合到安装文件——脚本修正

刚入手新本本,一阵忙活,装好系统.小黑的驱动真不少,七七八八也有二三十个文件要下载.安装.轮到安装开发软件更是崩溃,一堆堆的sp等着我们打!微软留给我们的噩梦啊,所以,开始下载整合了SP补丁的软件,唯独没有找到SQL Server2005的整合版下载,只能自己动手,做个整合版了.网上一阵Google,见到园子里面这篇文章:将 MS SQL Server 2005 SP2 整合到安装文件,写的很不错,方法都有了,一看还有个脚本集成,很不错,可惜一执行下来,一堆错误,自己手动稍微调整了下,已经测试通

SQL Server引入Hadoop大数据处理能力

运行SQL Server的微软客户将通过Hadoop的引入获得真正的大http://www.aliyun.com/zixun/aggregation/14345.html">数据处理能力. 微软已经发布了早期代码,让客户可以将这个Java架构接入到SQL Server 2008 R2.SQL Server Parallel Data Warehouse以及下一代微软数据库. Doug Cutting受到Google MapReduce的启发而发明了开源Hadoop,现在它已经在某种程度上成

微软工程师讲解SQL Server阻塞

server|微软 SQL服务器阻塞的解决方法. 阻塞定义 当来自应用程序的第一个连接控制锁而第二个连接需要相冲突的锁类型时,将发生阻塞.其结果是强制第二个连接等待,而在第一个连接上阻塞.不管是来自同一应用程序还是另外一台客户机上单独的应用程序,一个连接都可以阻塞另一个连接. 说明:一些需要锁保护的操作可能不明显,例如系统目录表和索引上的锁.大多数阻塞问题的发生是因为一个进程控制锁的时间过长,导致阻塞的进程链都在其它进程上等待锁. 常见的阻塞情形 1. 提交执行时间长的查询. 长时间运行的查询会

拉拢Oracle用户:微软向客户提供SQL Server免费授权与培训

尽管刚刚才宣布了有关SQL Server 2016的大量内容,但微软还决定向客户提供免费的SQL Server授权,以帮助其从Oracle数据库软件迁移到自家平台.需要指出的是,仅有Software Assurance订户能够享受到这一政策("软件保障"是微软向大客户提供的一种企业授权协议).除了免费授权,微软还会为客户提供免费的SQL Server数据库管理员培训和部署补贴,以抵消改变基础软件的资金成本. 微软宣称迁移可带来性能上的提升.成本上的削减.支持跨所有工作负载的内存中操作(

微软-在与 SQL Server 2014 建立连接时出现与网络相关的或特定于实例的错误

问题描述 在与 SQL Server 2014 建立连接时出现与网络相关的或特定于实例的错误 解决方案 1.打开Sql server 管理配置器 ? ?? ? ? ? ?或者在命令行输入:SQLServerManager10.msc ? ? 2.点击MSSQLSERVER的协议,在右侧的页面中选择TCP/IP协议 ? ?? ? ? 3.右键点击TCP/IP协议,选择"属性",需要修改连接数据库的端口地址 ? ?? ? ? 4.跳出来的对话框,里面有好多TCP......答案就在这里:与

初体验SQL Server 2012的Hadoop连接器

本文讲的是初体验SQL Server 2012的Hadoop连接器,电影<天下无贼>中一句经典的"21世纪什么最贵?人才!",体现了以人为本的价值观.而实际上,深处大数据时代的我们,是不是也应该幽默一回:"21世纪什么最值钱?数据!".对于企业而言,除了人才,数据也是最重要资产之一. "大"数据的价值 面对如此庞大的数据,企业该如何挖掘其中的商机呢?这里给出一些应用场景,简单梳理一下大数据的价值所在: ·在以用户为中心的SNS网络中,

谈谈我的微软特约稿:《SQL Server 2014 新特性:IO资源调控》

原文:谈谈我的微软特约稿:<SQL Server 2014 新特性:IO资源调控> 一.本文所涉及的内容(Contents) 本文所涉及的内容(Contents) 背景(Contexts) 篡写经历(Experience) 特约稿正文(Content-body) 第一部分:生活中资源调控器: 第二部分:SQL Server中资源调控器: 第三部分:SQL Server资源调控器运用场景-CPU: 第四部分:SQL Server资源调控器运用场景-IO: 第五部分:总结: 第六部分:作者简介:

MSSQL - 架构分析 - 从SQL Server 2017发布看SQL Server架构的演变

title: MSSQL - 架构分析 - 从SQL Server 2017发布看SQL Server架构的演变 author: 风移 摘要 美国时间2017年10月2日,微软正式发布了最新一代可以运行在Linux平台的数据库SQL Server 2017.SQL Server 2017给用户带来了一系列的新功能特性的同时,也体现了微软关于自家关系型数据库平台建设方面的最新设计与思考.这篇文章旨在介绍SQL Server 2017新特性,以及微软是如何从架构层面的演进来快速实现Linux平台的S

MSSQL · 架构分析 · 从SQL Server 2017发布看SQL Server架构的演变

摘要 美国时间2017年10月2日,微软正式发布了最新一代可以运行在Linux平台的数据库SQL Server 2017.SQL Server 2017给用户带来了一系列的新功能特性的同时,也体现了微软关于自家关系型数据库平台建设方面的最新设计与思考.这篇文章旨在介绍SQL Server 2017新特性,以及微软是如何从架构层面的演进来快速实现Linux平台的SQL Server 2017产品. SQL Server 2017发布 早在2016年,当微软宣布SQL Server将很快在Linux